Harpe nació en Buer (que en la actualidad forma parte de Gelsenkirchen) en lo que entonces era la Provincia de Westfalia del Reino de Prusia. Siendo joven se integró en el Ejército alemán.

Harpe se unió al Ejército alemán el 28 de septiembre de 1909 como Fahnenjunker (Cadete) y fue transferido al 56.º Regimiento de Infantería en 1911. Allí fue promocionado a Teniente el 20 de marzo de 1911 y llegó a participar con su regimiento en la Primera Guerra Mundial. Al final de la contienda, en 1918, ostentaba la posición de comandante de compañía.

Después de la guerra Harpe siguió sirviendo en el Reichswehr, durante la República de Weimar. En 1931, bajo el pseudónimo de Direktor Hacker, fue uno de los jefes de una secreta Escuela de tanques germano-soviética (Organización Kama) en Kazán, en el interior de la Unión Soviética. El 1 de agosto de 1934 ascendió a Oberstleutnant (Teniente coronel) y el 15 de octubre de 1935 se convirtió en comandante del 3.er Regimiento "Panzer". Volvió a ascender el 1 de enero de 1937 y fue puesto a cargo de la 1.ª Brigada Panzer con el rango de Oberst (Coronel).^[1]​ En 1940 tomó el mando de la Escuela de tropas "panzer" de Wünsdorf. A partir de 1941 sirvió en el Frente Oriental, donde dirigió el XXXXI Cuerpo Panzer entre julio de 1942 y octubre de 1943, y el Grupo de Ejércitos A entre septiembre de 1944 y enero de 1945.^[1]​ Sin embargo, el 20 de enero de 1945 fue relevado del mando por Hitler, dada la imposibilidad de las tropas bajo su mando de detener los avances soviéticos durante la Ofensiva del Vístula-Óder. Terminó la contienda con el rango de Generaloberst, estando destinado en el Frente Occidental al mando del 5.º Ejército Panzer.^[1]​

Como comandante en jefe del 9.º Ejército, durante la retirada de Ucrania en marzo de 1944 ordenó la detención y reclutamiento forzoso de todos los civiles aptos para el servicio. Paralelamente, también ordenó la deportación de todos aquellos familiares que no pudieran trabajar o no pudieran valerse por sí mismos a la ciudad bielorrusa de Osarichi, y posteriormente a la ciudad de Bobruisk. Como consecuencia de estas órdenes, entre el 12 y el 19 de marzo alrededor de 9.000 civiles murieron en el Campo de Concentración de Osaritschi que se había improvisado para su reclusión.^[2]​^[3]​^[4]​

Al finalizar la contienda fue hecho prisionero por los norteamericanos y mantenido en cautiverio hasta 1948.^[1]​ Harpe falleció en 1968 en la ciudad de Núremberg.

• Cruz de Hierro (1914) 1.ª y 2.ª Clase^[5]​
• Medalla de herido en negro (1914)
• Broche de la Cruz de Hierro 1939 1.ª y 2.ª Clase
• Cruz alemana en oro (1943)^[6]​
• Cruz de Caballero con Hojas de Roble y Espadas (1943)^[7]​
• Ehrenkreuz für Frontkämpfer 1914-1918 – Cruz de Honor para los combatientes del Frente de 1914-1918 (Alemania)
• Spanienkreuz, Gold mit Schwertern und Brillanten – Cruz de España en oro con Espadas y Diamantes (Alemania).
• Medaille zur Erinnerung an den 1. Oktober 1938 - Medalla conmemorativa del 1 de octubre de 1938 (Alemania)
• Medaille zur Erinnerung an den 13. März 1938 – Medalla conmemorativa del 13 de marzo de 1938 (Alemania)
• Spange des Medaille zur Erinnerung an den 1. Oktober 1938 - Broche para la Medalla conmemorativa del 1 de octubre de 1938 (Alemania)
• Dienstauszeichnung der Wehrmacht II. Klasse, 18 Jahre – Premio de la Wehrmacht de 2.ª Clase por 18 años de Servicios (Alemania)
• Panzerkampfabzeichen – Insignia de combate de tanques (Alemania).
• Deutsches Kreuz in Gold – Cruz alemana en oro (Alemania)
• Medaille “Winterschlacht im Osten 1941/42“ – Medalla "Batalla de invierno en el Este 1941/42" (Alemania)

•   Wikimedia Commons alberga una categoría multimedia sobre Josef Harpe.
• Josef Harpe - Lexikon der Wehrmacht
• Josef Harpe - das-ritterkreuz.de