La familia Ballesteros empezó a vivir en Villanueva de los Infantes a mediados del siglo XVI. Su miembro principal Don Fernando de Ballesteros Saavedra junto a su esposa construyeron la casa principal de la familia, donde años más tarde se ubicaría el palacio. A la muerte de Don Fernando, el palacio fue ocupado por dos de sus tres hijos: Hernando de Ballesteros y Alonso de Ballesteros.

El palacio siempre ha pertenecido a la familia Ballesteros, como bien queda patente en el escudo de su fachada pertenece a la familia.

Este palacio ocupa gran parte del espacio urbano, aproximadamente tendría unos 1400 metros cuadrados, aunque la mayoría de este espacio pertenece a los corrales. Debido a su gran superficie cuenta con varias entradas.

La fachada principal se encuentra en la Calle Juan Carlos I, esta fachada cuenta con dos pisos, el inferior con columnas dóricas que sostienen el entablamento con el escudo familiar, en su friso cuenta con decoración de triglifos y metopas; el piso superior que tiene un vano central enmarcado con dobles columnas jónicas y frontón triangular.

A ambos lados del balcón se encuentran la heráldica familiar, dos escudos donde se puede observar un castillo y 3 ballestas.

En su interior el palacio cuenta con un patio porticado sobre columnas de piedra con capiteles jónicos de madera, su galerías superiores también de madera que en la actualidad se encuentran cerradas.

•  CM-412 
•  CM-3127 
•  CM-3129 
•  CR-632 

• Henares Cuéllar, Ignacio, López Guzmán, Rafael, Díez de Baldeón García, Clementina; "Arquitectura y sociedad Villanueva de los Infantes" ; Editorial: Castilla-La Mancha. Junta de Comunidades. Servicio de Publicaciones, Toledo, 1993.
• Gómez Gómez, J.A; " La heráldica en Infantes" ; Editor : M.I. Ayuntamiento de Villanueva de los Infantes, 2007.

• www.villanuevadelosinfantes.es. Web Turística del M.I. Ayuntamiento y Oficina de Turismo de Villanueva de los Infantes.