Mwinyi nació el 8 de mayo de 1925 en la aldea de Kivure, región de Pwani, donde también creció.^[3]​ Posteriormente se trasladó a Zanzíbar y cursó sus estudios primarios en la Escuela Primaria Mangapwani, en Mangapwani, región occidental de Zanzíbar. Posteriormente, asistió a la Escuela Secundaria Mikindani Dole, también en Dole, región occidental de Zanzíbar.^[4]​  De 1945 a 1964 trabajó sucesivamente como tutor, profesor y director en diversas escuelas antes de decidirse a dedicarse a la política nacional.^[4]​

Al mismo tiempo, Mwinyi obtuvo su Certificado General de Educación por correspondencia (1950-1954) y luego estudió para obtener un diploma de docente en el Instituto de Educación de la Universidad de Durham en el Reino Unido.^[5]​  No abandonó Inglaterra hasta 1962, cuando, a su regreso, fue nombrado director del Zanzibar Teaching Training College en la Región Oeste de Zanzíbar.^[5]​

Durante su gobierno revirtió las políticas socialistas de su antecesor, Julius Nyerere,^[6]​ Relajó las restricciones a la importación y fomentó la empresa privada.^[7]​ Fue durante su segundo mandato que se introdujo la política multipartidista bajo la presión reformista de fuentes nacionales e internacionales. Conocido a menudo como Mzee Rukhsa ("todo vale"), impulsó la liberalización de la moral, las creencias, los valores (sin infringir la ley) y la economía.^[8]​

Pese a estos cambios, su segundo gobierno fue acusado de corrupción y evasión. Durante la presidencia de Mwinyi, las prácticas corruptas empeoraron bajo sus políticas económicamente liberales.  Se volvió tan endémica que algunos donantes congelaron la ayuda en 1994 en respuesta.  Durante la elección multipartidista de Tanzania en 1995, los partidos de oposición utilizaron los resentimientos de la gente hacia la corrupción en curso como combustible político.  El candidato del CCM Benjamin Mkapa también pudo usar la corrupción a su favor, ya que era visto como no contaminado por ninguno de los escándalos de corrupción que empañaron la administración de Mwinyi.^[9]​ También hubo una importante inflación y una situación económica generalmente mala en el país.

Ali Hassan Mwinyi se casó con Siti Mwinyi en 1960, con quien tuvo seis hijos y seis hijas. Tras su jubilación, se mantuvo alejado de la fama y continuó viviendo en Dar es Salaam.^[2]​  Publicó sus memorias, "Mzee Rukhsa: El viaje de mi vida" , en 2021.^[10]​

En noviembre de 2023, Mwinyi fue hospitalizado por una enfermedad pulmonar.^[11]​  Murió de cáncer de pulmón en el hospital Mzena en Dar es Salaam, el 29 de febrero de 2024, a la edad de 98 años.^[12]​^[13]​ ^[14]​