Su nombre hace referencia a un señorío en el municipio de Orgaz (Toledo),^[1]​ no teniendo ninguna relación con Villaverde de Madrid. El 10 de enero de 1958 Francisco Franco impuso la actual denominación en sustitución de la original.

• Lope de Guzmán y Portocarrero (m. 1624),^[3]​ I conde de Villaverde^[1]​ y señor de Villaverde.

Casó en 1561 con Francisca Niño de Guevara,^[4]​ hija de Rodrigo Niño de Zapata, caballero y trece de la Orden de Santiago, y de Teresa de Guzmán, y hermana del primer conde de Añover.^[1]​ En 1620, la Cámara de Castilla le autorizó a ceder el título a su hijo primogénito:^[2]​

• Tello de Guzmán y Guevara, II conde de Villaverde^[5]​.

Contrajo un primer matrimonio con Francisca Portocarrero. Sin descendientes. Volvió a casar con Ana María de Zúñiga, hija de Pedro de Zúñiga, II marqués de Aguilafuente, y de Ana Ana Enríquez de Cabrera.^[5]​ Le sucedió, de su segundo matrimonio, su hija:

• Magdalena Francisca de Guzmán y Guevara, III condesa de Villaverde.^[6]​

Casó en primeras nupcias con Miguel de Guzmán, hermano de Manuel de Guzmán y Silva, VIII duque de Medina Sidonia, que murió joven fulminado por un rayo.^[7]​^[8]​ En segundas nupcias contrajo matrimonio con Diego de Pimentel y Zúñiga (m. 1624), caballero de la Orden de Alcántara y comendador de Mayorga en la orden, hijo de Juan Alonso-Pimentel y Enríquez de Herrera, V duque de Benavente, etc. y de su segunda esposa, Mencía de Zúñiga Mendoza y Requesséns, viuda del III marqués de los Vélez.^[9]​ Contrajo un tercer matrimonio con el hermano de su primer marido, Miguel Gerónimo Pérez de Guzmán, caballero de Calatrava, hijo de Alonso Pérez de Guzmán el Bueno y Zúñiga, VII duque de Medina de Sidonia, y de su esposa Ana Magdalena Gómez de Silva y Mendoza.^[10]​ Le sucedió su hija del segundo matrimonio:

• Mencía de Guzmán y Pimentel (m. 1668), IV condesa de Villaverde desde el 18 de enero de 1658.^[11]​

Casó con Luis de Guzmán Ponce de León (1603-1668), hijo de Rodrigo Ponce de León y Figueroa, III duque de Arcos.^[12]​ Le sucedió su hija:

• María de Atocha de Guzmán y Ponce de León (m. 6 de octubre de 1687), V condesa de Villaverde.^[13]​

Casó, siendo su primera esposa, con Gaspar de la Cerda Sandoval y Silva (1653-1697), VIII conde de Galve, XLI gobernador y XXXV virrey de México.^[14]​ Sin descendencia, sucedió:

• Bartolomé González de Andía-Irarrázabal y Howard (m. Mantua, 27 de octubre de 1734), VI conde de Villaverde,^[15]​ IV vizconde de Santa Clara de Avedillo, IV marqués de Valparaíso y XII señor de Higares.^[15]​ Era hijo de Sebastián González de Andía-Irarrázabal y Enríquez de Toledo, II vizconde de Santa Clara de Avedillo, II marqués de Valparaíso y XI señor de Higares —hijo de Francisco de Andía Irarrazábal y Zárate, I marqués de Valparaiso, y de Blanca Enríquez Álvarez de Toledo y Guzmán—, y de su esposa, lady Frances Howard.^[15]​

Sin descendencia, sucedió su sobrino:^[16]​

• Juan José de Andía Irarrázabal, VII conde de Villaverde.^[17]​ Sucedió:

• Antonio María Pantoja y Bellvís de Moncada (Sevilla, 14 de febrero de 1719-Madrid, 7 de febrero de 1778), VIII conde de Villaverde,^[18]​^[19]​ V marqués de Valencina, VIII conde de Torrejón, grande de España,^[20]​ XIX señor de Mocejón y Benacazón y alférez mayor de Toledo. Era hijo de Félix Francisco Pantoja Portocarrero Carvajal, IV marqués de Valencina y VII conde de Torrejón, y de Josefa María Bellvís de Moncada Exarch Córdoba Torres y Portugal.^[21]​

Casó en primeras nupcias el 12 de junio de 1741, en Madrid, con María Francisca Abarca de Bolea y Pons de Mendoza (1722-1770), hija del IX conde de Aranda, y en segundas nupcias el 10 de diciembre de 1770 con María Manuela de Córdoba y Pimentel, VI marquesa de Fuentes, V condesa de Torralva, V condesa de Talhara, etc.^[22]​ Sin descendencia que le sobreviviera, sucedió su hermana:

• María Blasa Pantoja Portocarrero Bellvís y Moncada (Sevilla, 6 de febrero de 1714-Madrid, 15 de diciembre de 1793), IX condesa de Villaverde,^[23]​ IX condesa de Torrejón, grande de España, VI marquesa de Valencina y señora de Mocejón y Benacazón.^[23]​

Contrajo matrimonio el 13 de junio de 1736, en Toledo, con su primo segundo, Rodrigo Antonio de Mendoza Caamaño, VIII señor de la Casa de Rubianes, grande de España, IV marqés de Villagarcía, V marqués de Monroy, IV vizconde de Barrantes y VI marqués de Cusano.^[23]​ Sin descendencia, sucedió:

• Manuel de Jesús Ramírez de Haro y Bellvís de Moncada (5 de agosto de 1822-1854), X conde de Villaverde,^[24]​ XI conde de Bornos, IX conde de Murillo, VII conde de Montenuevo, XI conde de Villariezo y VI marqués de Villanueva de Duero, tres veces grande de España, caballero de la Orden de Santiago y de la Orden de Calatrava.^[24]​

Casó con María de la Asunción Crespí de Valldaura y Caro (1823-1880).^[24]​ Sucedió su hija:

• María de la Asunción Ramírez de Haro y Crespí de Valldaura (Madrid, 30 de julio de 1850-Toledo, 5 de marzo de 1915), XI condesa de Villaverde, XII condesa de Bornos,^[24]​ VII marquesa de Villanueva del Duero, X condesa de Murillo,^[24]​ VIII condesa de Montenuevo, de Peñarrubias, tres veces grande de España.^[24]​

Soltera y sin descendencia, a su muerte legó toda su fortuna a su antiguo pretendiente, Rodrigo Vélez Ladrón de Guevara y Barragán, conde de Guevara y revocó su anterior testamento en el que dejaba como heredero a su primo hermano Fernando Ramírez de Haro, conde de Villariezo, lo que dio lugar a un pleito que no se resolvió hasta 1918. Sucedió su primo hermano:

• Fernando Ramírez de Haro y Chacón (23 de junio de 1893-28 de marzo de 1954), XII conde de Villaverde.^[25]​ Era hijo de José María de Ramírez Haro y Patiño, I conde de Villamarciel, y de su esposa María Ignacia Chacón y Silva-Bazán.^[26]​

Casó el 6 de junio de 1929, en Madrid, con Blanca Finat Escrivá de Romaní, XIV condesa de Villaflor con quien tuvo un hijo, Gonzalo Ramírez de Haro y Finat que falleció sin descendencia antes que sus padres. Sucedió su sobrino:

• Gonzalo Ramírez de Haro y Ulloa (m. 2004), XIII conde de Villaverde,^[25]​ hijo de Juan Ramírez de Haro y Chacón (1892-1959), II conde de Villamarciel, I marqués de Cambil y maestrante de Sevilla, y de su esposa María Asunción de Ulloa y Fernández-Durán.^[25]​

Sin descendencia, sucedió su hermano:

• José María Ramírez de Haro y Ulloa (m. Madrid, 24 de septiembre de 2020),^[27]​ XIV conde de Villaverde,^[25]​^[28]​ caballero del Real Cuerpo de la Nobleza de Madrid.

Casó con María de los Ángeles Ochoa y Abril.^[27]​ Sin descendencia, sucedió su sobrina:

• María del Rocío Ramírez de Haro y de Alós, XV condesa de Villaverde,^[29]​ dama del Real Cuerpo de la Nobleza de Madrid (Real Cuerpo Colegiado de Caballeros Hijosdalgo de la Nobleza de Madrid) y de la Junta de Nobles Linajes de Segovia, hija de Juan Ramírez de Haro y Ulloa, II Marqués de Cambil y III Conde de Villamarciel, caballero de la Real Maestranza de Caballería de Sevilla, del Real Cuerpo Colegiado de Caballeros Hijosdalgo de la Nobleza de Madrid y de la Junta de Nobles Linajes de Segovia, y de doña Carmen de Alós y Merry del Val, hija del III Marqués de Haro.

Casada en la iglesia de Santiago de los Caballeros, Cáceres, el 25 de octubre de 1997 con Miguel de Avendaño y Fisher (nacido en Hammersmith, Londres, el 22 de marzo de 1960, y bautizado en la iglesia del Santísimo Redentor y Santo Tomás Moro -Our Most Holy Redeemer and St Thomas More-, Chelsea, Londres), caballero del Real Cuerpo de la Nobleza de Madrid (Real Cuerpo Colegiado de Caballeros Hijosdalgo de la Nobleza de Madrid) y de la Junta de Nobles Linajes de Segovia, Member of the Royal Agricultural College (MRAC) y editor jefe del Real Instituto Elcano.Hijo de José Luis de Avendaño y Porrúa y de Sheelah Louise Fisher y Wrangham.