Parece ser que el joven Marx se interesó desde muy temprana edad por el mundo de la música; sin embargo no la estudió de una forma seria hasta su ingreso en la universidad. Su obra presenta la influencia de Robert Schumann, Johannes Brahms o Max Reger.

Según el historiador musical Brendan Carroll, fue un "maestro absoluto de la armonía", como atestiguan sus lieder, en la tradición de Aleksandr Skriabin.

Frecuentó regularmente a otras personalidades de la vida musical austriaca, como Franz Schmidt, Franz Schreker, Leopold Godowsky, Wilhelm Kienzl, Karl Böhm, Rudolf Hans Bartsch, Clemens Krauss, Anton Wildgans o Angelo Kessisoglu.

Música coral:

• Ein Neujahrshymnus (Himno de Año Nuevo) para coro mixto y orquesta (1914).
• Berghymne (Himno montañés) para coro mixto y orquesta (1910).
• Herbstchor an Pan (Coro otoñal a Pan) para coro mixto, coro infantil, órgano y orquesta (1911).
• Morgengesang (Canción matinal) para coro masculino y orquesta (1910).
• Abendweise (Melodía de la tarde) para coro masculino, cuivres, timbal y órgano (1912).
• Gesang des Lebens (Canción para la vida) para coro masculino y órgano (1914).

Canciones:

• 150 lieder, acompañados o no con orquesta.
• Verklartes Jahr (El año transfigurado) para barítono y orquesta (1932).

Música orquestal:

• Eine Herbstsymphonie (Sinfonía de otoño, 1921).
• Eine symphonische Nachtmusik (Noche musical sinfónica, 1922).
• Idylle - Concertino über die pastorale Quart (1925).
• Eine Frühlingsmusik (Música de primavera, 1925).
• Nordland-Rhapsodie (Rapsodia nórdica, 1929).
• Alt-Wiener Serenaden (Antiguas serenatas vienesas, 1941).
• Sinfonia in modo classico para orquesta de cuerdas (1944).
• Partita in modo antico para orquesta de cuerdas (1945).
• Feste im Herbst (Ensoñaciones otoñales, 1946).

Conciertos:

• Concierto para piano "Romántico" en mi mayor (1919-20).
• "Castelli Romani" para piano y orquesta en mi bemol mayor (1929-30).

• Seis piezas para piano (1916).
• Cuartero para cuerdas en la mayor (1936, revisado en 1948 y llamado Cuarteto Cromático).
• Quartetto in modo antico (1938).
• Quartetto in modo classico (1941).
• Dos sonatas para violín.
• Obras para violoncelo y piano.
• "Trio-Phantasie".
• Tres cuartetos con piano.
• Piezas para órgano.
• Piezas para piano inéditas.
• Obras para conjunto vocal de cámara.

• International Joseph Marx Society (en inglés y alemán)