El palacio tiene su origen en la judería nueva de Cáceres, que se ubicaba al oeste de la plaza mayor de la villa y se desarrolló especialmente a partir de la década de 1470, cuando la comunidad sefardí local fue expulsada de la judería vieja que se ubicaba en la parte oriental del barrio de Intramuros.^[5]​^[6]​ El edificio fue construido inicialmente en el siglo XV por iniciativa de Sergas Cohen, banquero y último rabino que tuvo la villa, quien instaló aquí su vivienda. En 1492, al no aceptar la conversión al cristianismo impuesta por el Edicto de Granada, Cohen vendió el inmueble a la familia noble Messía-Ovando, que en el siglo XVI vendería la casa a la familia noble Dávila.^[2]​

El aspecto actual del edificio data principalmente de varias reformas que tuvieron lugar en el siglo XVI.^[7]​^[8]​ Aunque las reformas fueron iniciadas por las familias nobles que fueron propietarias del edificio, destaca la ejecutada al finalizar el siglo por el obispo Pedro García de Galarza, quien adquirió el inmueble a los Dávila y acabó dando su apellido al palacio. Las reformas acercaron el edificio al estilo plateresco.^[2]​

El edificio recibió el nombre de «casa de los Trucos» como consecuencia de una leyenda que lo relaciona con la guerra de sucesión portuguesa. Según la tradición local, el rey Felipe II de España y I de Portugal encargó al obispo Galarza que custodiara un niño que sería hijo extramatrimonial del Prior de Crato, y que habría sido secuestrado en Barcelos por tropas españolas cuando tenía muy corta edad. Bajo la orden real de educarlo como noble y no revelarle nunca su origen portugués, el niño habría vivido en este palacio, que habría sido conectado al palacio episcopal a través de un pasadizo subterráneo bajo la plaza mayor.^[2]​ Aunque no hay documentos que acrediten esta historia, a mediados del siglo XX se hallaron, durante unas obras en el palacio episcopal, restos de un pasadizo subterráneo que aparentemente apuntaba hacia el palacio de Galarza, y que fue recorrido en sus primeros metros por un sacerdote.^[9]​

Tras fallecer el obispo Galarza, el edificio fue heredado por sus familiares del mismo apellido, que en el siglo XVII obtuvieron como título nobiliario el condado de la Oliva de Gaytán, y cuyos descendientes serían propietarios del palacio hasta mediados del siglo XX. Debido a su gran tamaño y a su ubicación céntrica, su uso acabó siguiendo el modelo de edificio privado multiusos, dividido horizontalmente en áreas con diversas funciones, por lo que actualmente conserva pocos elementos monumentales más allá de su característica torre en esquina. Diversas partes del complejo fueron utilizadas como viviendas y garajes, pero también albergaron locales comerciales como salón de billar, cristalería, despacho de farmacia, fonda, imprenta y frutería.^[2]​^[10]​^[11]​

El edificio fue recuperado del olvido histórico por las Damas Apostólicas, quienes fueron adquiriendo los distintos pisos vacíos del complejo a mediados del siglo XX para establecer aquí un colegio de primaria, que compartía instalaciones con las que previamente tenían en la calle Santa Gertrudis.^[11]​ En 1963, el Ministerio de Educación les autorizó provisionalmente a funcionar en el palacio con dos clases graduadas para niñas y una para niños.^[12]​ En 1975 se reorganizó definitivamente como escuela de EGB, con un aula para cada uno de los ocho cursos, más un aula de preescolares.^[13]​^[14]​ Las Damas Apostólicas también usaron el palacio como residencia universitaria femenina.^[2]​^[15]​ En 1989, el colegio pasó a ser autogestionado por los propios maestros como cooperativa.^[16]​ Sin embargo, ante la dificultad para reformar las instalaciones del palacio por su estatus de bien de interés cultural, en 1995 la cooperativa decidió abandonar el edificio histórico. El centro educativo sigue existiendo bajo el nombre de colegio Giner de los Ríos, en el barrio de Los Fratres.^[17]​

Tras finalizar su uso como colegio, el edificio fue vendido en 1996 por las Damas Apostólicas a la diócesis de Coria-Cáceres, que estableció aquí una de sus sedes sociales, bajo el nombre de «casa de la Iglesia».^[2]​^[10]​

El inmueble posee una estructura compleja, fruto de los múltiples usos que tuvo a lo largo de su historia. Su parcela catastral, un solar de 1321 m², sigue estando dividida horizontalmente, con el área cultural formando un inmueble de 1835 m² de superficie construida, que comprende el 97% de la parcela. El restante 3% lo forman dos locales comerciales que siguen separados del palacio, por lo que hay actualmente un bar en la planta baja de la fachada que da a la plazuela de Santo Domingo. Pese al trazado irregular de la parcela, se aprecia todavía la planta del palacio, que se estructura en torno a un patio central rectangular, rodeado por sus correspondientes cuatro edificaciones laterales, cada una con un tejado a dos aguas. El acceso que podría considerarse principal, siguiendo la dirección postal, es un pequeño atrio separado por rejas de la calle General Ezponda.^[1]​

Lo interesante es la torre, que está en el ángulo de las calles General Ezponda y Santo Domingo. En el mismo ángulo hay una ventana de medio punto, perfilada por cada lienzo, encuadrada por dos pilastras corintias con grutescos y entablamento, sobre el cual se ve esculpido un escudo liso entre dos bichas, y por acroteras dos flameros. El hueco de la ventana está partido por un mainel o columnilla, de mármol blanco y de orden compuesto. En el friso se ubica esta inscripción, muy borrosa: «AL|ITENEMI-SERVM|...».^[7]​ Se ha interpretado que esta inscripción hace referencia a un conocido verso de una sátira de Juvenal, y se leería aliene miserum incumbere famae («es triste apoyarse en la fama de otros»).^[18]​ Esta torre es una gran construcción de mampostería con refuerzos de sillería, coronada en cada lateral por dos arcos carpaneles que permiten usarla como atalaya.^[8]​

Además de la torre, también posee cierto interés el patio interior, un claustro de dos pisos con arcos carpaneles y columnas jónicas. En esta estructura hay decoración plateresca, de la que destacan los antepechos del segundo piso, con ornamentos diversos como jarrones y roleos.^[8]​ El patio alberga un relieve con las armas heráldicas del obispo Galarza, aunque sin el capelo propio de los escudos episcopales; el relieve está formado por un ave que carga un escusón con las siglas «IHS», y una banda con la inscripción «Ave María».^[7]​^[19]​ Además de la torre y el patio, otros elementos destacables son una segunda torre de menor tamaño y sin salida a la vía pública, unos frescos del siglo XIX que cubren el local de la antigua farmacia y una escalera de cantería.^[18]​

El palacio pertenece a la diócesis de Coria-Cáceres, y alberga desde 2006 la «casa de la Iglesia», que es una de las sedes principales del obispado en Cáceres, junto con el palacio episcopal ubicado al otro lado de la plaza mayor. Mientras que el palacio episcopal alberga la residencia oficial del obispo y la administración central de la diócesis, la «casa de la Iglesia» es la sede central de diversos servicios auxiliares. Fue uno de los principales proyectos del obispo Ciriaco Benavente Mateos, quien ordenó su inauguración en 2006, unos días antes de abandonar Cáceres para tomar posesión como obispo de la diócesis de Albacete. Las obras comenzaron a tramitarse en 2003 y, en el momento de su inauguración, ya albergaba las vicarías de pastoral y clero y las sedes locales de Cáritas, Acción Católica, Manos Unidas, Proyecto Hombre y varios movimientos eclesiales, así como una emisora de televisión local.^[10]​^[20]​ La obra fue financiada por la Asociación Benéfica Constructora Virgen de Guadalupe, la constructora creada medio siglo antes por el obispo Manuel Llopis Ivorra.^[21]​

El edificio no ha sido ajeno a las polémicas sobre la accesibilidad del casco antiguo en el que se ubica, alejado de las principales paradas del autobús urbano de Cáceres y con restricciones de acceso a los coches. Por ejemplo, el centro de escucha a personas con problemas psicológicos se quejó en 2014 de los problemas de accesibilidad del edificio, y pidió su traslado a un lugar más amplio y accesible.^[22]​ Debido a estas dificultades, el obispo Francisco Cerro Chaves ordenó en 2019 poner en venta el edificio. El palacio llegó a aparecer en portales inmobiliarios en 2021, con la diócesis en sede vacante, por un precio de venta de 1,8 millones de euros. En 2022, el nuevo obispo Jesús Pulido Arriero ordenó retirar la oferta de venta, y por el momento el edificio seguirá siendo una sede diocesana.^[23]​^[24]​

• Andrés Ordax, Salvador; García Mogollón, Florencio Javier (1989). Ministerio de Cultura, ed. Inventario artístico de Cáceres y su provincia 1. ISBN 84-7483-610-7. 
• Corrales Gaitán, Alonso José (1994). «Cáceres, sus construcciones ocultas». Coloquios Históricos de Extremadura. 
• Jiménez Berrocal, Fernando (2024). «Las juderías cacereñas». Anuario de Historia y Crónicas Extremeñas (2): 86-95. 
• Mélida Alinari, José Ramón (1924). Catálogo monumental de España: provincia de Cáceres 2. Madrid: Ministerio de Instrucción Pública y Bellas Artes. 

•   Partes de este artículo incluyen texto de Catálogo monumental de España: provincia de Cáceres (1924), una obra de José Ramón Mélida (1856-1933) en dominio público.