Nació en 1978.^[1]​ Estudió en la Universidad de Burundi y obtuvo una maestría en estadística. Trabajó como planificador e investigador para diversas organizaciones, entre ellas CARE Internacional, Oxfam y el Fondo Mundial.^[2]​ En 2020, fue elegido miembro del Parlamento de Burundi, representando a la provincia de Ruyigi, en la zona oriental del país.^[1]​ Tras su elección, presidió la comisión parlamentaria de seguimiento de la gestión de recursos públicos, finanzas, asuntos económicos y planificación nacional.^[2]​

El 9 de diciembre de 2024, el presidente burundiano Évariste Ndayishimiye nombró a Ntahontuye como nuevo ministro de Finanzas y Planificación Económica, en reemplazo del destituido Audace Niyonzima. ^[3]​ Su nombramiento se produjo después de que la Oficina de Ingresos de Burundi informara un déficit de 110 mil millones de francos burundianos. ^[3]​ Asumió el cargo el 12 de diciembre.^[1]​ Se desempeñó durante ocho meses como ministro de finanzas de Burundi antes de ser designado por Ndayishimiye como nuevo primer ministro de Burundi el 5 de agosto de 2025.^[4]​ Juró el cargo el mismo día.^[1]​ Reemplazó a Gervais Ndirakobuca, quien dejó el cargo para convertirse en el nuevo presidente del Senado.^[5]​