En su juventud, en la extinta República de Rodesia, su escuela lo expulsó. Entonces, se mudó a Checoslovaquia para estudiar con una beca del NDP con la ayuda de Rupiah Banda, Secretario Internacional de la Unión de Estudiantes de Zambia. Banda estableció contacto entre Sekeramayi y el NIB . En junio de 1964 se trasladó de Checoslovaquia a Lund, Suecia, con una beca del NIB. Estudió genética en la Universidad de Lund, se convirtió en representante de ZANU en Suecia y luego asistió a la escuela de medicina.^[3]​ En Lund estudió con Alexander Chikwanda del Partido de la Independencia Nacional Unida de Zambia .^[7]​

En 1969, Sekeramayi solicitó la asistencia de SIDA en su función de Secretario General de la Unión de Estudiantes de Zimbabue en Europa. También coordinó las visitas de Herbert Chitepo y Richard Grove a Suecia.^[3]​ En 1976 se trasladó a Mozambique.

Conseguida la Independencia de Zimbabue tras el fin de la guerra civil de Rodesia, en la década de 1980 participó en las masacres de Matabelelandia, conocidas como Gukurahundi.^[8]​

En 2001, el ministro de Defensa, Moven Mahachi, murió en un accidente automovilístico y Sekeramayi se convirtió en el nuevo ministro de Defensa.^[5]​ En 2005, William Mervin Gumede mencionó a Sekeramayi como uno de los principales políticos que podrían haber sucedido a Robert Mugabe como Presidente de Zimbabue, debido, sobre todo, a la gran simpatía que tenía entre los militares.^[9]​

Considerado un aliado cercano de Emmerson Mnangagwa, expresidente del Parlamento,^[5]​ y de la excvicepresidenta Joyce Mujuru,^[10]​ Sekeramayi ganó el escaño de la Asamblea Nacional correspondiente al distrito electoral de Marondera East, en la Provincia de Mashonalandia Oriental, como candidato de la Unión Nacional Africana de Zimbabue - Frente Patriótico en las elecciones parlamentarias de marzo de 2005. Según los resultados oficiales, derrotó al candidato del Movimiento por el Cambio Democrático (MDC), Iain Kay, con 19.912 votos contra los 10.066 votos de Kay; esta victoria fue cuestionada sobre la base de que se dijo que el número total de votos excedía la participación de votantes.^[11]​

En las primarias de ZANU-PF para las elecciones parlamentarias de marzo de 2008, Sekeramayi nuevamente buscó la nominación del partido como su candidato para el escaño de la Asamblea Nacional por Marondera East, pero fue derrotado.^[12]​^[13]​ En cambio, fue nominado como candidato de ZANU-PF para el Senado por Marondera-Hwedza en la Provincia de Mashonalandia Oriental.^[14]​ Sekeramayi ganó este escaño según los resultados oficiales, recibiendo 24.571 votos contra los 17.370 votos para Jane Chifamba, de la facción MDC-Tsvangirai, y los 6.994 votos para Molai Penelope, de la facción MDC-Mutambara.^[15]​

El 7 de enero de 2009, The Herald informó que Sekeramayi había sido nombrado Ministro interino de Minas y Desarrollo Minero tras la destitución de Amos Midzi, quien no logró obtener un escaño en las elecciones de 2008.^[16]​ Cuando el gobierno de unidad nacional prestó juramento el 13 de febrero de 2009, Sekeramayi se convirtió en ministro de Seguridad del Estado. En este momento se lo veía como el probable sucesor de Mugabe menos controvertido.^[17]​

Tras el Golpe de Estado en Zimbabue de 2017, y la disolución del Gabinete de Zimbabue en 2017, se anunció que Mnangagwa permitió que solo Patrick Chinamasa y Simbarashe Mumbengegwi permanecieran como ministros en funciones de Finanzas y Relaciones Exteriores, respectivamente, hasta el nombramiento de un nuevo gabinete, perdiendo así Sekeramay su cargo.^[18]​