David nació en Eferding. Fue niño del coro del monasterio de St. Florian y estudió en una escuela de formación de maetros episcopales en Linz, 1912-1915, después de lo cual se convirtió en maestro de escuela. Estudió brevemente (1921-22) tanto en la Musikhochschule, donde fue alumno de composición de Joseph Marx,^[2]​ así como en la Universidad de Viena, donde estudió con Guido Adler. Regresó a Linz en 1922, donde ejerció como director musical de la "Kunststelle" de Linz hasta 1924. Desde enero de 1925 hasta el otoño de 1934 fue profesor en una escuela católica local, fundó y dirigió un coro de Bach y fue organista en una iglesia protestante en Wels. Luego fue nombrado profesor de composición y teoría en la Musikhochschule de Leipzig (noviembre de 1934 - enero de 1945). De 1945 a 1947 fue profesor de música en el Mozarteum de Salzburgo y, finalmente, de 1948 a 1963, profesor de teoría y contrapunto (prácticamente: composición) en la Musikhochschule de Stuttgart. En Stuttgart, también dirigió el coro Bruckner (1949-52) y la orquesta de cámara de la academia (1950-53).

David escribió varias obras orquestales, incluidas ocho sinfonías (de las cuales se ha grabado la quinta, al igual que otras obras, incluido un disco de música para órgano), varios conciertos, incluido un concierto para órgano y tres conciertos para violín, obras instrumentales, incluidas muchas para órgano o con órgano, y muchas obras corales. Su estilo general cambió de las tendencias modales que se ven en sus dos primeras sinfonías al sonido más ácido, aunque todavía tonal, de las posteriores.

David murió a los 83 años en Stuttgart. Su hijo, Thomas Christian David (1925-2006), también fue compositor.

Entre sus alumnos se encuentran Hans Georg Bertram (1936-2013), Seóirse Bodley (1933-2023), Johan Kvandal (1919-1999), Helmut Lachenmann (nacido en 1935), Hans Stadlmair (1929-2019) y Ruth Zechlin (1926-2007).