Originalmente, el edificio era una mansión construida en 1819^[1]​ por Aarón Cardozo, un próspero comerciante de origen luso-sefardí, asentado en Gibraltar. En esta época, era la mansión privada más grande de Gibraltar.^[2]​ Con una altura de tres plantas, la casa dominaba la plaza de John Mackintosh.

Fue construida en el lugar donde se encontraba un antiguo hospital y la capilla de la Santa Misericordia, posteriormente convertida en prisión.^[1]​ Al no ser protestante, a Cardozo no le estaba legalmente permitido tener propiedades en Gibraltar. Sin embargo, debido a su amistad con Horatio Nelson, le fue permitido construir una casa en la Alameda con la condición de que fuera un ornamento para la plaza.^[2]​

Después de su muerte en 1834, la mansión fue convertida en el Club House Hotel.^[1]​ Más adelante fue comprada en 1874 por Pablo Antonio Larios, comerciante y banquero nacido en Gibraltar, pero miembro de la poderosa familia malagueña de los Larios, quien la reformó completamente.^[1]​ En 1922, su hijo Pablo Larios, Marqués de Marzales, vendió el edificio a las autoridades coloniales de Gibraltar, que pretendían convertirlo en sede de correos. Sin embargo, finalmente sirvió como sede del recientemente creado Ayuntamiento de Gibraltar.^[3]​ El edificio fue posteriormente ampliado con una planta adicional y una nueva ala hacia el norte, modificando así su simetría original.

• Benady, Tito (1996). The Streets of Gibraltar. Gibraltar Books. pp. 17-18. ISBN 0-948466-37-5. 
• Bond, Peter (2003). 300 Years of British Gibraltar 1704-2004. Peter-Tan Publishing Co. 

•   Wikimedia Commons alberga una categoría multimedia sobre Casa consistorial de Gibraltar.