Era un alemán de una familia sajona de Transilvania nacido en la Transilvania húngara (ahora Rumania).^[1]​^[2]​

Comenzó su servicio en el Ejército Imperial y Real en el Tercer Regimiento de Fusileros Imperial Tirolés en Viena. Fue designado con el rango de cadete-suboficial con antigüedad desde el 1 de septiembre de 1900, segundo teniente con antigüedad desde el 1 de noviembre de 1901 y teniente con antigüedad desde el 31 de octubre de 1907.

En 1911, fue asignado a la 11.a Brigada de Infantería en Graz como oficial de estado mayor, siendo oficial excedente del Batallón de Fusileros de Campaña Húngaro nº 11 en Gradisca d'Isonzo. Durante la Primera Guerra Mundial fue oficial del Estado Mayor c y k. Fue designado con el grado de mayor con antigüedad a partir del 1 de agosto de 1916.^[3]​

En el período de entreguerras sirvió en el ejército del Reino de Rumanía, alcanzando el grado de teniente general y comandante de las tropas de montaña.

En 1941 decidió alistarse en el ejército alemán. Se unió a la 5.ª División Panzergrenadier SS "Wiking". Rápidamente ascendió de rango y después de un tiempo tomó el mando del Regimiento de Westland. En 1942, Heinrich Himmler le encargó la creación de una nueva unidad Waffen-SS de Volksdeutsche que vivía en los países balcánicos. La nueva unidad de Phleps, denominada 7.ª División de Montaña de Voluntarios de las SS "Prinz Eugen", se utilizó en los Balcanes en operaciones de contrainsurgencia. Inicialmente era una formación puramente voluntaria, pero debido a las pérdidas se ordenó el servicio militar obligatorio.^[4]​^[5]​ Durante los combates con las tropas de Tito, la división cometió muchos crímenes contra civiles.^[6]​

En reconocimiento a sus logros de liderazgo, el 20 de abril de 1942,fue ascendido al rango de SS-Obergruppenführer y general de las Waffen-SS, y luego tomó el mando del 5.º Cuerpo de Montaña de las SS. Su composición incluía, entre otros: La indisciplinada 13.ª División de Montaña SS Handschar. El cuerpo luchó contra los partisanos en Bosnia. En septiembre de 1944, regresó a Rumania para supervisar los preparativos para repeler la ofensiva soviética en Iasi (dirigida por Rodion Malinovsky). Mientras estaba en el campo de batalla cerca de Arad, fue capturado por los soviéticos. Los rusos no se dieron cuenta de a quién habían capturado. Durante un ataque aéreo alemán, Phleps y sus colegas recibieron disparos.

Recibió la Cruz de Caballero en 1943 y las Hojas de Roble (póstumamente) en 1944. Su nombre fue dado al 13º Regimiento de Montaña Voluntario de las SS.