Fue fundada el 16 de junio de 1874, comenzando a funcionar el 9 de julio de ese mismo año.^[1]​^[2]​

El 20 de mayo de 1873, siendo Mariano Acosta gobernador de la provincia de Buenos Aires, se elevó a la Legislatura un proyecto de ley para la fundación de dos escuelas normales: una de varones y otra de mujeres. En esa época la mitad de la población adulta era analfabeta: de 736 923 habitantes, el 71% no sabía leer ni escribir.

El decreto de la creación de la escuela fue promulgado el 16 de junio de 1874, cuando Mariano Acosta era vicepresidente de Nicolás Avellaneda.^[3]​ Su primera sede provisoria funcionó en la planta baja (luego se ocuparon el primer piso y el subsuelo) de una casa situada en Balcarce y Adolfo Alsina (antes Potosí), conocida por la Casa de Cambaceres, como lo recuerda una placa colocada en el edificio del Ministerio de Planificación que hoy ocupa esa esquina.^[1]​

En 1881, luego de la Federalización de Buenos Aires, la Escuela Normal de Varones de la Provincia de Buenos Aires fue nacionalizada y con motivo de crearse la carrera del profesorado pasó a denominarse Escuela Normal de Profesores.

El 31 de enero de 1889 la Escuela Normal de Profesores comenzó a funcionar en su nuevo, propio y actual edificio, ubicado en la calle General Urquiza 277, barrio de Balvanera. Fue diseñado por el arquitecto italiano Francesco Tamburini, Director de Arquitectura de la Nación y autor de la Casa Rosada y el proyecto original del Teatro Colón.^[4]​

En 1944, el edificio fue ampliado con una construcción anexa.

En 1924, al cumplirse 50 años de su fundación, el entonces Presidente de la Nación y exalumno de la escuela, Marcelo Torcuato de Alvear, designó al establecimiento con el nombre actual de Mariano Acosta, en homenaje a su fundador.

La Ley Nacional Nº 25.171, sancionada el 15 de septiembre de 1999, declaró al Edificio «Monumento Histórico Nacional».^[5]​

Debido a una resolución ministerial, en 1988 se separaron los Profesorados Superiores de la Escuela Normal, creándose con ellos el Instituto Nacional de Enseñanza Superior Nº 2. Desde el 1 de enero de 1994 en adelante pertenece al Gobierno de la Ciudad de Buenos Aires. A partir de esa fecha pasó a denominarse Instituto de Enseñanza Superior Nº 2 «Mariano Acosta».^[6]​

• Felipe Boero (1884-1958). Compositor y docente argentino.
• José Luis Romero (historiador) (1909-1977). Historiador e intelectual argentino.
• Isaac Rojas (1906-1993). Oficial naval argentino y vicepresidente de facto desde 1955 a 1958.
• Américo Ghioldi (1899-1984). Político y maestro argentino del Partido Socialista Democrático.
• Abel Santa Cruz (1915-1995). Guionista, productor, argumentista, autor y dialoguista argentino.
• Manuel Sadosky (1914-2005). Matemático, físico y científico de la computación argentino.
• Marcelo Torcuato de Alvear (1868-1942). Presidente de la Nación Argentina.
• Enrique Santos Discépolo (1901-1951). Compositor, músico, dramaturgo y cineasta argentino.
• Leopoldo Marechal (1900-1970). Poeta, dramaturgo, novelista y ensayista argentino.
• Julio Cortázar (1914-1984). Escritor y traductor argentino.
• Wos (músico) (1998). Rapero, freestyler, cantante y actor argentino.
• Juan Germán Fernández. (1982) "Piti". Músico y compositor, cantante de la banda Las Pastillas del Abuelo.
• Fermín Estrella Gutiérrez (1900-1990) Escritor, poeta, y profesor académico.
• Vicentico (1964) Cantante, músico, y compositor argentino.
• Ricardo Darín (1957) Actor, Productor, y director de cine argentino.
• Pablo Pizzurno (1865-1940) Educador argentino.
• Leandro iLlescas (Buenos Aires 1968-2023 Toronto) Artista visual argentino, pintor abstracto, director artístico y escenografo en la industria cinematográfica canadiense.
• Turrobaby (2007) Cantante de trap y productor argentino.