Nsengiyumva nació en octubre de 1971.^[1]​^[2]​^[3]​ Obtuvo una licenciatura en la Universidad Católica de África Oriental.^[1]​ Trabajó como uno de los principales negociadores comerciales del gobierno de Ruanda antes de convertirse en Secretario Permanente del Ministerio de Comercio e Industria.^[4]​ Después de eso, se desempeñó como Secretario Permanente en el Ministerio de Educación antes de dejar el puesto en 2008.^[1]​ En noviembre de 2008, fue arrestado y luego condenado por cargos de corrupción.^[1]​^[5]​ Después, dejó Ruanda para ir a Kenia, donde obtuvo una maestría en la Universidad de Nairobi.^[1]​

Tras graduarse en la Universidad de Nairobi, Nsengiyumva se mudó al Reino Unido y obtuvo la ciudadanía británica.^[1]​ Allí, asistió a la Universidad de Leicester, donde obtuvo un Doctorado en Filosofía.^[1]​ Trabajó como asistente de cátedra de posgrado en Leicester y posteriormente fue director de la escuela secundaria católica All Hallows en Salford.^[6]​ Nsengiyumva trabajó durante cinco años para la organización Refugee Action como director de desarrollo de políticas e investigación y fue fideicomisario nacional de la Unidad de Ayuda a la Inmigración del Gran Manchester.^[6]​ También fue director comunitario del Sir John Deane's College.^[6]​

Nsengiyumva también trabajó como funcionario público en el gobierno británico, sirviendo como economista para el Departamento de Trabajo y Pensiones y luego como asesor económico sénior en la Oficina de Ferrocarriles y Carreteras, el regulador de los ferrocarriles británicos.^[7]​ Después de haber estado fuera de Ruanda desde 2008, regresó en 2025 y fue nombrado vicegobernador del Banco Nacional de Ruanda por el presidente Paul Kagame en febrero de 2025.^[1]​^[7]​ Anteriormente había sido indultado junto con otras 380 personas por Kagame en 2023.^[5]​ El 23 de julio de 2025, Kagame nombró a Nsengiyumva nuevo primer ministro de Ruanda, en reemplazo de Édouard Ngirente.^[1]​