Ali nació en Oakland, California, aunque se crio en Hayward, California. Su nombre procede de una frase en idioma hebreo del Antiguo Testamento,^[3]​ donde aparece como «majer-shalal-jash-baz» siendo su traducción literal del hebreo «muy pronto habrá saqueo y destrucción».

En su etapa universitaria en el Saint Mary's College of California jugó al baloncesto cuatro temporadas con los Gaels, bajo el nombre de Mahershala Gilmore, en las que tuvo un promedio de 3,6 puntos y 1,1 rebotes por partido.^[4]​^[5]​

Debutó profesionalmente en el escenario del California Shakespeare Festival, y obtuvo un máster en actuación por la Tisch School of the Arts de la Universidad de Nueva York.^[6]​

Su debut televisivo se produjo en 2001, cuando interpretó al Dr. Trey Sanders en la serie Crossing Jordan. Su participación se extendió a lo largo de diecisiete episodios y más tarde realizó apariciones episódicas en otras series como NYPD Blue y CSI. En 2003 se incorporó al reparto de Threat Matrix, pero la cadena ABC canceló la serie cuando aún no había finalizado su primera temporada. Formó parte del reparto principal de Los 4400, donde interpretó a Richard Tyler durante las tres primeras temporadas de la serie y apareció en otros dos episodios de la última temporada. También es conocido por su interpretación de Nathan Clay en la serie Alphas de la cadena televisiva SyFy, durante las dos temporadas de la serie, como protagonista.

Luego se dio a conocer por su papel de Remy Danton en la serie de Netflix House of Cards, también por ser Cornell Stokes en Luke Cage de Marvel, y el Colonel Boggs en Los juegos del hambre: Sinsajo - Parte 1 y Parte 2. Otros trabajos incluyen papeles en El curioso caso de Benjamin Button, Predators, The Place Beyond the Pines, Free State of Jones, y Hidden Figures.

Por su papel en Moonlight (2016), recibió numerosos elogios y ganó varios premios como el Óscar al mejor actor de reparto, siendo el primer musulmán en ganar un Óscar.^[7]​

Interpretó a Don Shirley en la película de 2018 Green Book, recibiendo su segundo Óscar como actor de reparto, y ganando varios premios y reconocimientos.^[8]​^[9]​

En enero de 2019 se estrenó la tercera temporada de la serie de HBO True Detective, donde era el protagonista.^[10]​^[11]​

En la convención anual de la San Diego Comic-Con, en julio de 2019, se anunció que interpretaría al personaje Blade en una futura película dentro del UCM de Marvel, papel que anteriormente había interpretado Wesley Snipes.^[12]​

Ali se convirtió a la Comunidad Ahmadía en el año 2000, cambiando su apellido de Gilmore a Ali. En diversas entrevistas ha afirmado haber sido objeto de perfiles raciales en aeropuertos y bancos, después de los atentados del 11 de septiembre de 2001.^[33]​^[34]​^[35]​

• Página web oficial (en inglés).
• Mahershala Ali en Internet Movie Database (en inglés).