Stephen Heller a écrit des articles pour plusieurs journaux musicaux mais plus particulièrement pour la Revue et Gazette Musicale de Paris. Il pouvait alors s'agir de critiques d’œuvres ou de comptes-rendus d'événements musicaux auxquels il avait pu participer. Il pouvait parfois utiliser un pseudonyme comme Jean qui Rit ou Eusebius Florestan pour des articles moins conventionnels comme son mémoire sur Beethoven de l'an "2879".
Parmi les critiques, nous pouvons remarquer quelques œuvres de Berlioz comme Roméo et Juliette, les Nuits d'été et la Symphonie fantastique. Berlioz étant un ami intime, nous ne pouvons exclure un possible manque d'objectivité même si Heller ne manque pas d'arguments pertinents.
Certaines critiques ont été écrites en Allemand pour la revue Neue Zeitschrift für Musik, toujours sous le pseudonyme de Jean Qui Rit.
Nous les plaçons ici par ordre chronologique :
04 juillet 1841 : Critique des Nuits d'été de Berlioz, dans la Revue et Gazette Musicale de Paris.
04 février 1844 : Compte-rendu de la deuxième matinée de la société des concerts avec diverses critiques d'oeuvres de Mozart et Beethoven, dans la Revue et Gazette Musicale de Paris.
18 février 1844 : Compte-rendu de la troisième matinée de la société des concerts avec, en particulier, la Symphonie de Schwenke et le choeur des chasseurs d'Euryanthe, de Weber, dans la Revue et Gazette Musicale de Paris.
06 novembre 1864 : Critique des Quatuors de H-W. Ernst (1812-1865).
Heller et Ernst ont composé ensemble les Pensées Fugitives, op.30 pour violon et piano, publiées en 1843. Heller tient avant tout à rendre hommage à ce compositeur. Moins d'un an avant sa mort, celui-ci est déjà très affaibli.