La primitiva casa de oficios del palacio se situaba en el ala del mismo conocida hoy bajo el nombre de casa de Damas.^[1]​ Su construcción se produce tras la muerte de Luis I y la vuelta al trono de su padre, Felipe V. Hacia el año 1726 se realizaban las cubiertas del edificio. El 15 de septiembre de 1740 el edificio es consumido por un incendio. En 1741 se inicia la reconstrucción del mismo dirigida por Sempronio Subisati y José de la Calle como contratista.^[2]​ La planta baja (semisótano en la parte sur) albergaba las dependencias de la repostería y ramillete. La planta primera (baja en la parte sur) a residencia y lugar de trabajo de ministros. Las plantas superiores estaban reservadas a viviendas de la servidumbre de palacio.^[3]​

En 1941 es restaurado por Diego Méndez. En la actualidad es alquilado por Patrimonio Nacional con destino a viviendas.

El edificio tiene forma rectangular y se encuentra dispuesto de forma particular a la crujía noroeste del patio de la Herradura del palacio real, a continuación del Arco del Infante, en eje sudeste-noroeste. Tiene forma rectangular, con tres patios. En su altura máxima (parte noroeste), consta de tres plantas y bajo cubierta, mientras que en la parte sur consta únicamente de planta baja, primera y bajo cubierta.^[2]​^[3]​

•  
  Vista de la fachada sur, paralela a la calle del Rey.
•  
  Detalle del cuerpo central de la fachada norte.
•  
  Puerta lateral de la fachada norte
•  
  Vista de la escalera noreste desde el zaguán.
•  
  Vista del patio central del edificio.

• SANCHO, José Luis (1996). «Capítulo V. Real Sitio de La Granja de San Ildefonso. La Ordenación Urbanística del Sitio. Casa de Oficios.». La arquitectura de los Sitios Reales: catálogo histórico de los palacios, jardines y patronatos reales del Patrimonio Nacional. Patrimonio Nacional. p. 543. ISBN 978-84-7120-186-7. 
• BREÑOSA, Rafael; CASTELLARNAU, Joaquín María de (1991). «Capítulo II. Población. Casa de oficios». Guía y descripción del Real Sitio de San Ildefonso. p. 49. ISBN 978-84-7030-337-1. 

1. ↑ SANCHO, José Luis (1996). «Capítulo V. Real Sitio de La Granja de San Ildefonso. La Ordenación Urbanística del Sitio. Casa de Oficios.». La arquitectura de los Sitios Reales: catálogo histórico de los palacios, jardines y patronatos reales del Patrimonio Nacional. Patrimonio Nacional. p. 542. ISBN 978-84-7120-186-7. Consultado el 21 de julio de 2020. 
2. ↑ ^{a b} SANCHO, José Luis (1996). «Capítulo V. Real Sitio de La Granja de San Ildefonso. La Ordenación Urbanística del Sitio. Casa de Oficios.». La arquitectura de los Sitios Reales: catálogo histórico de los palacios, jardines y patronatos reales del Patrimonio Nacional. Patrimonio Nacional. p. 543. ISBN 978-84-7120-186-7. Consultado el 21 de julio de 2020. 
3. ↑ ^{a b} BREÑOSA, Rafael; CASTELLARNAU, Joaquín María de (1991). «Capítulo II. Población. Casa de oficios». Guía y descripción del Real Sitio de San Ildefonso. p. 49. ISBN 978-84-7030-337-1. Consultado el 21 de julio de 2020.