Habría sido habitado por los Reyes Católicos, Germana de Foix, Juana la Loca^[1]​ y el cardenal Cisneros.^[2]​ Se encontraba en uno de los laterales^[3]​ de la plaza de la Paja, contigua a la iglesia de San Andrés con la que se conectaba^[1]​ a través de un paso elevado.^[4]​

El edificio, que contaba con una torre, prematuramente desaparecida, terminaría demolido completamente en la segunda mitad del siglo XIX.^[2]​ Benito Pérez Galdós se acuerda de él en su postrera obra La razón de la sinrazón, con las siguientes palabras:

Subo hacia Puerta Cerrada, y por la calle del Nuncio doy un vistazo á la parroquia de San Pedro y al Madrid de San Isidro. La calle del Almendro tuvo siempre para mí un encanto y un misterio indefinibles: la he conocido sin salida por la calle de Toledo. Ya estamos en San Andrés. ¡Oh venerable antigüedad! La capilla del obispo, con sus hermosos tapices, el palacio de los Lasos de Castilla, vivienda de Isabel la Católica, donde estuvo el balcón en que Cisneros dió á los grandes la respuesta famosa, mirando á la artillería situada allí y sin pedir perdón por el modo de señalar.

Pérez Galdós, 1915, p. 255

El inmueble, que ocupaba un enorme espacio y daba fachada a la plazuela de la Paja, formó independiente la manzana 130. Perteneció a Pedro Laso de Castilla, y después a los duques del Infantado. A finales del siglo XV, sirvió como palacio o aposentamiento de los Reyes Católicos; habiéndose construido de su orden el pasadizo que desde dicho palacio comunicaba a la tribuna de la inmediata parroquia de San Andrés, convertida en capilla real por aquellos monarcas. Igualmente recibieron en esta misma casa a su hija la princesa Juana y su esposo el archiduque, después Felipe I; y después de su muerte se aposentaron en ella los regentes del reino, el cardenal Cisneros y el deán de Lovayna. En ella hubo de celebrarse la célebre Junta de los Grandes de Castilla, en que, interpelando éstos al cardenal para que manifestase con qué poderes gobernaba, contestó asomándolos a los balcones, que daban al campo, y señalando la artillería y tropas: «Con estos poderes gobernaré hasta que el Príncipe venga».^[5]​

Posteriormente, enlazada la casa de los Lasos de Castilla (descendientes del rey Pedro) con la de los Mendozas, duques del Infantado, pasó este palacio a ser propiedad de estos últimos, residiendo en él los poseedores de aquel título. Entre los personajes que habitaron entre sus paredes se contó Rodrigo Díaz de Vivar Sandoval Hurtado de Mendoza, séptimo duque del Infantado y nieto del duque de Lerma. El palacio, que permaneció en pie hasta entrado el siglo xix, se conservó en un estado razonable hasta mediados de dicho siglo, cuando empezó a desmoronarse y tuvo que derribarse, por ruinosa, gran parte de él, además del pasadizo que comunicaba a la tribuna de los reyes en San Andrés.^[5]​

• Capilla del Obispo
• Palacio de los Vargas (Madrid)

•   Partes de este artículo incluyen texto de El antiguo Madrid : paseos históricos-anecdóticos por las calles y casas de esta villa. Tomo primero (1881), una obra de Ramón de Mesonero Romanos (f. 1882) en dominio público.

• Mesonero Romanos, Ramón de (1881). El antiguo Madrid : paseos históricos-anecdóticos por las calles y casas de esta villa. Tomo primero. Madrid: Oficinas de la Ilustración Española y Americana. 
• Montoliú, Pedro (2002). Madrid, villa y corte: calles y plazas 2. Madrid: Silex Ediciones. ISBN 84-7737-112-1. 
• Pérez Galdós, Benito (1915). La razón de la sinrazón. Madrid: Sucesores de Hernando. 
• Répide, Pedro de (15 de diciembre de 1915). «Rincones de Madrid. La plaza de la Paja». La Ilustración Española y Americana (Madrid) LIX (46): 6-7. ISSN 1889-8394. 
• San José, Diego (22 de enero de 1916). «Bellos rincones del viejo Madrid. La plaza de la Paja». La Esfera (Madrid) (108): 20. ISSN 1577-0389. 

•   Wikimedia Commons alberga una categoría multimedia sobre Palacio de los Lasso de Castilla.