La vivienda comenzó su construcción en 1769 por encargo de Mateo de Toro Zambrano al arquitecto portugués Joseph de la Vega. Terminó su construcción en 1779, y se convirtió en la primera residencia en contar con una fachada de dos pisos, lo que fue una innovación debido a las características sísmicas del país.^[1]​^[3]​

Luego de la independencia, el entorno de la casa comenzó a cambiar de una zona aristocrática, a una zona comercial y financiera, con una arquitectura que buscaba modernizar el paisaje urbano para eliminar las referencias coloniales. El inmueble resistió a estos cambios, y continuó en manos de la familia de Toro Zambrano hasta 1945, cuando fue adquirida por la Sociedad de Renta Urbana^[4]​ y se convirtió en una galería comercial denominada «Galería Colonial», que albergó 37 negocios y restaurantes.^[1]​^[5]​

El 8 de mayo de 1963 la Casa Colorada sufrió un incendio producto de un cortocircuito en el altillo de madera del local 36, correspondiente a la imprenta de Carlos Gómez Laiz. El incendio generó la explosión de una bombona de gas licuado, y además dejó 13 personas heridas y daños por un valor de 500 mil escudos.^[6]​^[7]​

En octubre de 1953 la Municipalidad de Santiago presentó el primer proyecto para desmantelar la Casa Colorada y reemplazarla por un edificio de rentas de doce pisos en su lugar.^[8]​ En noviembre de 1954 el administrador del cerro Santa Lucía, Salvador Castro Letelier, presentó a la entonces alcaldesa de Santiago, María Teresa del Canto, un proyecto para trasladar la Casa Colorada al Patio de Armas del Castillo Hidalgo, con la fachada principal mirando hacia la calle Merced, a fin de convertirlo en un museo de arte colonial o en una taberna.^[9]​^[10]​

El 30 de abril de 1960, en el marco de las celebraciones del sesquicentenario de la Primera Junta de Gobierno, fue publicada la Ley 13936, que declaraba como Monumento Nacional a la Casa Colorada y a la vez ordenaba su traslado y reconstrucción en la Plaza Santa Ana, ubicada frente a la iglesia homónima,^[11]​ con un proyecto a cargo de los arquitectos Luis Garretón y Carlos Cañas y que buscaba instalar en su interior el «Museo de Santiago».^[12]​^[13]​ El proyecto fue retomado en mayo de 1969 al ser publicado el Decreto 447 que autorizaba los planos y materiales que se necesitarían para el traslado de la edificación,^[14]​ aduciendo la necesidad de ensanchar la calle Merced,^[15]​ encontrando una férrea oposición por parte de arquitectos y académicos;^[16]​^[17]​ en diciembre de 1969 el Colegio de Arquitectos de Chile se manifestó en contra del traslado de la demolición y traslado de la estructura.^[18]​

Continuó con su uso comercial hasta 1977, cuando mediante el Decreto Ley 1869 se declaró como monumento histórico para albergar las sedes de las Academias Chilenas de la Historia y de la Lengua y se adquirió por parte de la Municipalidad de Santiago; al mismo tiempo fueron derogados los artículos de la Ley 13936 que determinaba su traslado hacia la Plaza Santa Ana.^[19]​ Sin embargo, en 1981, y luego de una restauración debido a un incendio a fines de los años 1970, comenzó a albergar el Museo de Santiago.^[1]​^[20]​

El terremoto de 2010 dejó al inmueble con daños estructurales, en especial en las vigas de roble y en el mortero de los muros de piedra sillar, por lo que el museo se cerró al público.^[1]​ En 2020 comenzó una etapa de rehabilitación arquitectónica y una renovación del museo,^[5]​^[20]​ que concluyó en 2024 con la reapertura del edificio el 31 de agosto de 2024, recibiendo sus primeros visitantes el 3 de septiembre.^[21]​

Su fachada, construida en ladrillo, cuenta con dos pisos de altura, y su primer nivel presenta una cubierta de piedra. Además tiene arcos de medio punto y balcones de piedra con fierro forjado.^[5]​

Sus muros son de piedra sillar, y su techumbre es de madera de roble, mientras que el entrepiso es de canelo, con armazones de coligüe. Su distribución interna sigue los patrones de la época de su construcción, con patios interiores rodeados por las habitaciones.^[1]​