El palacio fue construido entre los años 1731 y 1746 en estilo barroco según el diseño de Jan Zygmunt Deybel para el castellano de Trakai, más tarde Gran Canciller de Lituania, Jan Fryderyk Sapieha.^[1]​ En 1817 el edificio, que se encontraba en mal estado, fue comprado a los Sapieha por la Comisión de Guerra del Gobierno del Reino de Polonia. Entre los años 1818 y 1820 fue reconstruido en estilo clasicista como cuartel según el diseño de Wilhelm Henryk Minter ^[2]​ . Esta reconstrucción supuso la destrucción en gran parte de la rica decoración rococó de las fachadas. Desde 1820 hasta el Levantamiento de Noviembre, sirvió como cuartel del 4º Regimiento de Infantería de Línea. Después del Levantamiento de Noviembre, hasta que los rusos huyeron de Varsovia en 1915, el palacio sirvió como cuartel militar ruso. Durante este tiempo, su fachada fue devastada aún más con la eliminación de la almohadillación y el saliente de entrada.^[3]​^[2]​

En el período de entreguerras, el palacio albergó una sucursal del Hospital Militar Principal de Ujazdów.

El palacio fue bombardeado e incendiado por los alemanes en 1944.^[1]​

En los años 1950-1955 el palacio fue reconstruido por Maria Zachwatowicz, según los planos originales de Jan Fryderyk Deybel.^[2]​

En 1965 el palacio fue inscrito en el registro de monumentos.^[3]​

Desde 1972 el palacio alberga la Escuela Primaria Especial nº 196, más tarde (en 1999) el Jardín de Infancia Especial nº 343 y la Escuela Secundaria Especial nº 153. Desde el año 2005, la denominación "Centro de Educación y Crianza Especial N°" Se ha utilizado. 15 para niños con discapacidad auditiva que llevan el nombre de Otto Lipkowski".