Nació en el ingenio azucarero La Matilde, de San Antonio de las Vueltas, en Las Villas, el 4 de noviembre de 1873.

Abandonó sus estudios de Medicina para combatir en la Guerra Necesaria (1895-1898) por la independencia de Cuba, donde alcanzó el grado de coronel. En 1900 renunció al puesto de capitán de la Guardia Rural, retomó sus estudios de Medicina y se graduó en 1901, pero casi no ejerció su profesión.

Con el advenimiento de la República, fue elegido diputado como miembro del Partido Liberal, cargo que desempeñó desde 1901 hasta 1923. Cuando el Partido Liberal se dividió en varias corrientes, una de ellas estuvo acaudillada por Mendieta. En 1917 participó en la fallida Guerra de La Chambelona en el bando liberal sublevado contra la reelección del presidente Mario García Menocal.

Sufrió prisión desde agosto de 1931, primero en la Fortaleza de La Cabaña y luego en el Presidio Modelo por intentar junto al expresidente Mario García Menocal un golpe de Estado contra la dictadura de Gerardo Machado. El 9 de enero de 1932 quedó en libertad por una Amnistía promulgada por Machado, y emigró. Derrocado Machado en agosto de 1933, Mendieta regresó a Cuba.

El 18 de enero de 1934 es designado presidente por las fuerzas políticas y el coronel Fulgencio Batista, jefe del Ejército, con el apoyo de Jefferson Caffery, enviado especial del presidente estadounidense y futuro embajador (23 de febrero de 1934), después que Batista obligara a Ramón Grau San Martín a dimitir el 15 de enero, y las renuncias sucesivas de los presidentes Carlos Hevia y Manuel Márquez Sterling por falta de aceptación popular.

El hecho más importante durante su año de presidente fue sin dudas la obtención por parte de Cuba de la derogación de la Enmienda Platt en el Tratado de Relaciones del 29 de mayo de 1934, apéndice constitucional que minaba la soberanía de la isla, al permitir que los Estados Unidos pudiesen intervenir en Cuba cuando lo considerasen necesario. La Enmienda Platt era un rezago neocolonial de los casi cuatro años de protectorado estadounidense sobre Cuba (1899-1902). Otro logro de su gobierno fue la aprobación del voto femenino en las elecciones (Ley Constitucional de 1934, febrero de 1934), antes ilegal. En noviembre de 1934 fue aprobada una Ley Orgánica para reestructurar el ejército cubano, que en 1935 cambió su nombre de Ejército Nacional a Ejército Constitucional.

Tuvo que hacer frente a las huelgas, en especial a la huelga general del 7 al 15 de marzo de 1935, que asolaban continuamente el ámbito político cubano y fue muy criticado por la represión ejercida, razón por la que renuncia en diciembre de 1935, y fue sustituido por su secretario de Estado José A. Barnet, como establecía la Ley Constitucional de 1935 promulgada en su gobierno.

El 15 de junio de 1934 fue objeto de un fallido atentado con una bomba-reloj que explotó en el Distrito Naval del Norte de la Marina de Guerra, en La Habana, cuando el presidente estaba dando un discurso; sufrió una lesión leve en una mano. El atentado fue realizado por marinos pertenecientes a la organización opositora Joven Cuba.

En sus últimos años, tras intentos fallidos de retomar su carrera política, se retiró de la política y de la vida pública, hasta que el general Fulgencio Batista dio el Golpe de Estado del 10 de marzo de 1952. Tras dicho golpe, Mendieta y Cosme de la Torriente tomaron una posición conciliadora, sin mucho éxito.

En sus últimos años, Carlos Mendieta se dedicó a la cría de gallos y falleció de causas naturales en La Habana, el 27 de septiembre de 1960, a los ochenta y seis años de edad.