El edificio está emplazado en altura dominando la localidad de Piedrahíta, en una zona al sur de esta,^[1]​ sobre la que anteriormente se alzaba un castillo medieval^[2]​ que era una antigua fortaleza de los Álvarez de Toledo, y que por entonces se encontraba, según documentos de la época, en estado ruinoso.

De estilo neoclásico, fue construido en granito procedente de las canteras de Valdemolinos entre 1755 y 1766 por el arquitecto francés Jacques Marquet por un encargo de Fernando de Silva y Álvarez de Toledo, xii duque de Alba de Tormes;^[3]​^[1]​ costó cuarenta millones de reales.^[4]​

El edificio presenta una planta en forma de 'U', tiene tres plantas compuestas por un sótano y dos niveles. Posee un patio de armas ubicado al frente de la edificación y cuenta con unos jardines versallescos al sur^[5]​ adornados con fuentes.

La Casa de Alba lo utilizó como residencia veraniega.

La XIII duquesa de Alba de Torres, María del Pilar Teresa Cayetana de Silva y Álvarez de Toledo, fue quien más utilizó el palacio invitando a destacados personajes de las artes y las letras españolas de su época como eran, entre otros, el pintor Francisco de Goya o el escritor Gaspar Melchor de Jovellanos.

El palacio sufrió severos daños provocados por el ejército napoleónico durante la guerra de la Independencia^[4]​ e igualmente durante la Guerra civil española. El interior fue incendiado y saqueado, sin embargo, el exterior permaneció sin alteraciones. En 1931, el Ayuntamiento de Piedrahíta compró el palacio a la Casa de Alba por "68 000 o por 86 000 pesetas".

Fue declarado bien de interés cultural en la categoría de monumento mediante decreto de 7 de julio de 1993 (BOE de 19 de agosto de 1993).^[6]​

En el siglo XXI alberga un centro de enseñanza infantil y primaria, el CEIP Gran Duque de Alba,^[7]​ y sus jardines son usados como parque público de la localidad.

• Fulgosio, Fernando (1870). Crónica de la provincia de Ávila. Madrid: Rubio, Grilo y Vitturi. 
• González Bueno, Antonio; Carrasco, María A.; Perea, Domingo (2015). «Un par de pliegos enrevesados de Miguel Barnades Mainader y Esteban de Prado en el Herbario del Real Colegio Alfonso XII de San Lorenzo de El Escorial (Madrid)». Botanica Complutensis (Madrid: Universidad Complutense de Madrid. Servicio de Publicaciones) 39: 115-119. ISSN 0214-4565. 
• Moreno Blanco, Raimundo (2011). «Jacques Marquet y la construcción del palacio de los Duques de Alba en Piedrahíta (Ávila)». Academia (Madrid: Real Academia de Bellas Artes de San Fernando) (112-113): 87-113. ISSN 0567-560X. Archivado desde el original el 3 de junio de 2015. 
• Santos Canalejo, Elisa de (1986). «Piedrahíta, su Comunidad de Villa y Tierra y los duques de Alba en el siglo XV». En la España Medieval (Madrid: Universidad Complutense de Madrid. Servicio de Publicaciones) 9: 1141-1174. ISSN 0214-3038. 

•   Wikimedia Commons alberga una categoría multimedia sobre Palacio de los duques de Alba.