Mallikarjun nació el 21 de julio de 1942 en Varawatti, Bhalki Taluk, Distrito de Bidar, Karnataka en una familia dalit de Saibavva y Mapanna Kharge.

En 1948, perdió a su madre y hermana en un incendio provocado por los Razakars del Nizam de Hyderabad, mientras que él mismo escapó por poco a la edad de 7 años. Terminó sus estudios en Nutan Vidyalaya en Gulbarga y obtuvo una licenciatura en Artes en el Government College, Gulbarga y su título de abogado en el Seth Shankarlal Lahoti Law College en Gulbarga. Comenzó su práctica legal como junior en la oficina del juez Shivaraj Patil y luchó en casos para sindicatos al principio de su carrera legal.

Kharge se casó con Radhabai el 13 de mayo de 1968; tienen dos hijas y tres hijos. Kharge es políglota y habla inglés, hindi, urdu, canarés, telugu y marathi. Su hijo Priyank Kharge es un asambleísta estatal del distrito electoral de Chitapur y su yerno Radhakrishna es un diputado de la Casa del Pueblo representando Gulbarga, el antiguo escaño de Kharge en dicha cámara.

Es el presidente fundador de Siddharth Vihar Trust, que construyó el Buddha Vihar en Gulbarga, India. También es mecenas del Chowdiah Memorial Hall, una sala de conciertos y teatro en Bangalore. Ayudó al centro a saldar sus deudas y apoyó sus planes de renovación.

Kharge comenzó su carrera política en la política estatal, siendo elegido como asembleísta estatal para el distrito electoral de Gurmitkal y el distrito electoral de Chittapur consecutivamente de 1972 a 2008. Durante su mandato en la política estatal, se desempeñó como ministro en los ministerios de SM Krishna, Veerappa Moily, Sarekoppa Bangarappa y R. Gundu Rao, en muchas carteras importantes, incluidos los ministerios del Interior y de Ingresos. En la oposición, Kharge se desempeñó como líder de la oposición en dos ocasiones y lideró al Comité del Congreso de Karnataka Pradesh en las elecciones a la Asamblea Legislativa de Karnataka de 2008 como presidente del KPCC, obteniendo 15 escaños para el partido y terminando segundo. Renunció a la legislatura en 2009 para postularse para diputado de la Casa del Pueblo.

Kharge fue elegido por primera vez para la Lok Sabha en las elecciones generales de 2009 por Gulbarga. Esta fue su décima victoria electoral consecutiva.

En las elecciones generales de 2014, Kharge fue elegido por Gulbarga, venciendo a Revunaik Belamagih del Partido Popular Indio con un margen de 13.404 votos. En junio, fue nombrado líder del partido del Congreso en la Casa del Pueblo.

En las elecciones generales de 2019, Kharge compitió por el mismo escaño parlamentario, sin embargo esta vez perdió ante Umesh G. Jadhav del BJP con un margen de 95.452 votos.

El 12 de junio de 2020, Kharge fue elegido (sin oposición) para la Casa de los Estados representando a Karnataka, a la edad de 78 años. El 12 de febrero de 2021, Kharge fue nombrado líder de la oposición en dicha cámara federal.

Kharge ha sido nombrado observador por el INC para varios estados en el pasado, incluidos Assam en 2014, Punjab en 2021 y Rajastán en 2022. Ha sido criticado por su supuesta incapacidad para resolver problemas internos del partido en estos tres estados y, por lo tanto, causar la derrota en Assam y Punjab, y la vergüenza pública en Rajastán.

Es conocido por su historial de derrotar a todos los candidatos de la oposición en su carrera, excepto uno. En 2023, recibió el Premio a la Trayectoria de los Premios Parlamentarios de Lokmat.

El 1 de octubre de 2022, presentó nominaciones para competir en las elecciones internas para la presidencia del Congreso Nacional Indio y ganó con 7897 votos. Fue el primer presidente del INC que no pertenecía a la familia Gandhi en 24 años. En los primeros 2 años de su liderazgo, el Congreso formó gobiernos en Himachal Pradesh en 2022, Telangana en 2023 y formó una coalición en Jharkhand en 2024, mientras que perdió el poder en Chhattisgarh y Rajastán en 2023. El Congreso optó por salirse del gobierno de Omar Abdullah en Jammu y Cachemira después de que buscara dos ministerios, pero solo se le ofreció uno a pesar de que ambos partidos se presentaron a las elecciones en alianza. Había ganado solo seis de los 39 escaños que disputó en el estado.

Kharge fue propuesto como candidato a primer ministro de la Alianza Nacional Inclusiva para el Desarrollo de la India para las elecciones generales de 2024. La propuesta fue presentada por la ministra jefe de Bengala Occidental y líder del Congreso Trinamool, Mamata Banerjee, y contó con el apoyo del ministro jefe de Delhi y líder del Partido del Hombre Común, Arvind Kejriwal. Sin embargo, otros líderes de alto rango de la alianza, como el ministro jefe de Bihar, Nitish Kumar, y el líder del Rashtriya Janata Dal, Lalu Yadav, desaprobaron la propuesta.