Erlebach fue bautizado en su lugar de nacimiento, Esens, hijo del exmúsico de la corte del conde Ulrico II de Frisia oriental y más tarde Vogt Johann Philipp Erlebach (1604 - 1660) . Fue educado probablemente en la corte de Frisia oriental en Aurich.

Ya en 1681, el conde Albert Anton lo nombró maestro de capilla, y en su título de nombramiento se describen con detalles sus deberes y obligaciones: «tendrá su cargo los aspectos musicales comunes, tanto en las iglesias como en la mesa de banquetes, donde podrá interpretar sus propias composiciones o de otros, de acuerdo a su conveniencia».^[1]​

Fue uno de los principales compositores de su época en el centro de Alemania, especialmente de música sacra y más concretamente de cantatas, de las que escribió varios centenares. Erlebach probablemente recibió su primera formación musical en la corte de Frisia Oriental.

A través de las conexiones familiares de la casa gobernante fue enviado con una recomendación a Turingia, donde trabajó de 1678 a 1679, primero como músico y ayuda de cámara y luego, a partir de 1681, como maestro de capilla, en la corte del conde Alberto Anton von Schwarzburg-Rudolstadt. En Rudolstadt entró en un animado ambiente musical. Durante sus 33 años como maestro de capilla no sólo logró convertir este pequeño establecimiento en un importante centro de actividad musical en Turingia, sino que también se hizo un nombre considerable como compositor en el centro de Alemania.

Disfrutó de relaciones tanto musicales como personales con J.P. Krieger, maestro de capilla de la corte de Weissenfels, y visitó la corte ducal de Brunswick-Wolfenbüttel y Nuremberg, donde se imprimieron varias de sus obras. En 1705 participó, como miembro del séquito de Alberto Antón, en una ceremonia de homenaje al emperador José I en Mühlhausen, donde, con la orquesta de la corte de Rudolstadt, dirigió una obra ceremonial de gran escala, que había compuesto para la ocasión y que es su única música que se conserva en una copia autógrafa. Escribió varias piezas para los funerales de Albert Anton (1710) y de su consorte (1707).

Cuando Ludwig Friedrich, el hijo de Alberto Antón, subió al trono en 1711, el evento se celebró con una serie de cantatas festivas, todas las cuales también compuso Erlebach. En sus últimos años fue venerado y buscado sobre todo como maestro; Johann Caspar Vogler, que también estudió con Bach, fue uno de los muchos músicos que aprendieron de él los rudimentos de su oficio. Después de su muerte, la corte de Rudolstadt compró su colección de música a su viuda; Incluía muchas obras sacras y seculares que fueron destruidas por un incendio en 1735 y que ahora sólo se conocen a partir de dos extensos catálogos.

Erlebach compuso en casi todas las formas habituales de la época y tuvo igualmente éxito en obras instrumentales y vocales. De sus aproximadamente 120 obras instrumentales sólo sobreviven seis suites, seis sonatas en trío y una marcha. Las suites muestran la influencia de las suites orquestales francesas y las sonatas en trío la de la sonata da cámara italiana; En todas estas obras, Erlebach logró unir elementos formales extranjeros con rasgos alemanes, que se pueden ver sobre todo en el carácter claramente folklórico de parte del material melódico y que también produce sonoridades que recuerdan a las de la música vocal.

Erlebach fue más prolífico como compositor de música religiosa, que fue el campo en el que comenzó su carrera como compositor alrededor de 1680. Su música sacra abarca motetes a capela para cuatro o más voces, salmos e himnos concertados, misas, oratorios (las historias y piezas de Navidad, Pascua, Resurrección y Pentecostés para el Año Nuevo) y varios tipos de cantata. Todos los oratorios se han perdido y sólo se conservan algunos de sus textos. Pero sus mejores obras en otros géneros dan testimonio de su maestría como compositor de música sacra. Sus composiciones de salmos, que se adhieren al estilo del concierto sacro para grandes fuerzas, son interesantes especialmente por sus coloridas armonías, contrastes de tempo y dinámica indicados con precisión y el uso libre de motivos madrigálicos: estas características, siguiendo la estela de los logros de Schütz, ayudaron a realzar la importancia de obras de este tipo, al menos en Alemania central.

Erlebach pronto comenzó a especializarse como compositor de cantatas. La mayoría de ellas están perdidas, pero sus textos muestran un desarrollo lógico desde aquellos que se adhieren estrechamente a pasajes del Evangelio, pasando por aquellos que contienen arias y texturas tipo concierto concebidas en líneas solistas, hasta cantatas basadas en textos libres con arias recitativas y da capo, y cantatas solistas con un instrumento obbligato.

• Partituras libres de Philipp Heinrich Erlebach en el Proyecto Biblioteca Internacional de Partituras Musicales (IMSLP).