Se ubica en la confluencia de la plaza de la Concepción y la calle General Ezponda (antes calle Empedrada), en la ciudad extremeña de Cáceres, capital de la provincia homónima. En la organización territorial de la ciudad, pertenece al barrio de la Plaza Mayor, en el distrito Centro-Casco Antiguo.^[1]​

La construcción de la torre se remonta al siglo XV y la de la fachada principal al XVIII. Este palacio constituye una de las primeras edificaciones singulares que se realizaron extramuros de la ciudad vieja.

El palacio cuenta con dos zonas claramente diferenciadas: una zona noble de vivienda y una zona de servicios, formada por las dependencias propias del servicio y cocheras. El edificio, desarrollado principalmente en dos plantas, cuenta con una tercera en su fachada a la plaza de la Concepción y con una torre, además de un patio central de forma rectangular en torno al cual nacen las dependencias.^[2]​

La planta por la que se accede al edificio se encuentra por debajo de la rasante de la plaza de la Concepción, por lo que la entrada se realiza por la calle General Ezponda. La puerta adintelada de dos grandes hojas de madera y herrajes conduce a un gran vestíbulo de forma cuadrada a través del cual y de una verja se encuentra el patio central, cuya arquería clásica realizada en piedra de granito conforma una galería abovedada, enfoscada y enjabelgada. Desde esa galería se accede a una primera estancia tras subir un peldaño que se comunica con la planta baja de la torre, de forma cuadrada. Desde aquí se pasa a estancias comunicadas entre sí y con la galería mediante dos peldaños, cuya fachada corresponde a la plaza de la Concepción. El lado opuesto al de la entrada, al fondo de la galería, hace medianería por lo que no surge ninguna habitación. En el otro lado y completando el recorrido, hay tres estancias comunicadas entre sí, elevadas un escalón con respecto al nivel del patio, teniendo la última de ellas iluminación por fachada principal.^[2]​

En la planta primera, en el lugar correspondiente al vestíbulo de la planta baja, hay un salón con una pequeña antesala. Se trata de un salón con un pico artesanado entarimado de madera con incrustaciones de marquetería. Dicha estancia da a la calle General Ezponda mediante tres notables balcones. Junto al salón y en la parte correspondiente a la fachada de la plaza de la Concepción se encuentra la capilla del Palacio, con un pasadizo de salida al claustro del patio. Siguiendo por el ala que corresponde a la fachada de la plaza de la Concepción, se encuentran dos dependencias, a las cuales se entra directamente desde el claustro, no estando comunicadas entre sí y con balcones a dicha fachada. Igualmente tiene el techo de artesonado de madera y el suelo de parqué. El último lado del cuadrado hay dos habitaciones con el techo de bóveda rebajado, enfoscado y enjabelgado, con suelo de parqué; se accede a ellas desde la galería, estando comunicadas entre sí y la última con la antesala de salón. En estas estancias hay unas lunetas en las bóvedas que producen unos bellos lucernarios que dan a la terraza superior, por donde se iluminan y ventilan dichas estancias. Con esta planta el claustro está cerrado en las cuatro fachadas, produciéndose unos balcones en las intercolumnas de los arcos. El techo del claustro está construido con bóvedas rebajadas, enfoscadas y enjabelgadas.^[2]​

En la planta segunda, el claustro se convierte en terraza y el patio está rematado de fábrica de ladrillo, enfoscado y labrado. Desde ella se accede a la única dependencia del nivel, que ocupa toda la fachada de la plaza de la Concepción y desde la cual se accede a la torre, que en esta planta tiene salida al matacán situado en la fachada principal. La torre se remata con cubierta a dos aguas.^[2]​

A pesar del nombre por el que es conocido, este soberbio edificio fue solar de los Carvajales, al que pertenece la torre con matacán del siglo XV.^[3]​

Pedro de Carvajal Ulloa reformó el palacio, hizo levantar el hermoso patio toscano e incorporó la casa al mayorazgo familiar a principios del siglo XVII.

Posteriormente, a finales del siglo XVIII, Diego de Carvajal y Flores y su esposa Ana María de Ulloa y Vasconcelos le dieron su estilo neoclásico a la fachada principal, que se organizó a partir de una portada adintelada. También la dotaron de sus piedras armeras^[4]​de Carvajal y Ulloa .

Es mucho más tarde, en la segunda mitad del siglo XIX, cuando Gonzalo Carvajal y Arce sucedió a su primo García de Arce en el marquesado de Camarena la Vieja, quedando vinculado solo entonces el palacio a este título.^[5]​

En él siempre vivieron miembros de la familia Carvajal hasta que ya en el siglo XX fue vendido por los herederos de los marqueses de Camarena.

El arquitecto Gerardo Ayala^[6]​realizó entre 1986 y 1989 una reforma integral para adecuar la casa a sede del Colegio Oficial de Arquitectos. El espacio interior se transformó completamente y la torre aumentó su altura. También se añadió la logia que se abre hoy a la plaza de la Concepción.^[7]​

Actualmente alberga las sedes del Colegio Oficial de Arquitectos de Extremadura^[8]​ y del Ateneo de Cáceres.^[9]​

El inmueble fue declarado Bien de Interés Cultural en la categoría de monumento el 30 de junio de 1992, mediante un decreto publicado en el Diario Oficial de Extremadura el 9 de julio de ese mismo año, con la rúbrica del presidente de la Junta de Extremadura, Juan Carlos Rodríguez Ibarra, y del entonces consejero de Educación y Cultura, Jaime Naranjo Gonzalo.^[2]​

• Este artículo incluye contenido derivado de una disposición relativa al proceso de protección, incoación o declaración de un bien cultural o natural publicada en el Diario Oficial de Extremadura n.º 54 el 9 de julio de 1992 (texto), el cual está libre de restricciones conocidas en virtud del derecho de autor de conformidad con lo dispuesto en el artículo 13 de la Ley de Propiedad Intelectual española.