Luis Carrillo de Toledo descendía de Lope Vázquez de Acuña, noble de origen portugués que se asentó en la Castilla de Enrique III en 1397, y su mujer Teresa Carrillo de Albornoz, a través de su hijo Gómez Carrillo de Acuña, señor de Jadraque (Guadalajara), camarero mayor de Juan II y repostero de Enrique IV, quien contrajo matrimonio con María de Castilla, nieta de Pedro I. Su hijo Alonso Carrillo de Acuña se integró en la oligarquía toledana a través de su matrimonio con Leonor de Toledo, hija y heredera de los señores de Pinto (Madrid), Pedro Suárez de Toledo, regidor en esta ciudad. Los Reyes Católicos le otorgaron los señoríos sorianos de Caracena e Inés, siendo sucedido por su hijo Gómez Carrillo de Acuña, quien contrajo matrimonio con Beatriz Sarmiento. Su hijo Alonso Carrillo de Acuña contrajo matrimonio en tres ocasiones, siendo sucedido por su hijo Luis Carrillo de Toledo quien tuvo de Leonor Chacón a Luis Carrillo de Toledo, I marqués de Carecena y I conde de Pinto.

• Luis Carrillo de Toledo (Puebla de Montalbán, 1564-Madrid, 2 de febrero de 1626), I marqués de Caracena (antes conde de Caracena), I conde de Pinto, señor de Inez, del Consejo de Estado, virrey de Valencia (1606-1615), capitán general de Galicia (1596-1606), caballero de la Orden de Santiago, comendador de Estriana (1603-1609), Montizón y Chiclana (1609).^[1]​^[2]​

Casó en primeras nupcias en 1578 con Isabel de Velasco y Mendoza (m. 1613), hija de Francisco Hurtado de Mendoza, I marqués de Almazán, y de María de Cárdenas con quien tuvo todos sus hijos.^[2]​ Después de enviudar, contrajo un segundo matrimonio en 1617 con Juana de Noronha, hija de Alfonso de Noronha, virrey de la India Portuguesa.^[2]​ Se casó en terceras nupcias^[2]​ el 2 de mayo de 1624 con Ana María de Acuña y Guzmán, III marquesa de Vallecerrato.^[3]​ Le sucedió su hija del primer matrimonio:

• Ana Carrillo de Toledo, II marquesa de Caracena, II condesa de Pinto.^[1]​^[a]​

Casó en 1606 con Luis Francisco de Benavides y Mendoza de Cortés, IV marqués de Frómista.^[1]​ Le sucedió su hijo:

• Luis Francisco de Benavides y Carrillo de Toledo (Valencia, 20 de septiembre de 1608-Madrid, 6 de enero de 1668), III marqués de Caracena, V marqués de Frómista, III conde de Pinto, señor de Inez, San Muñoz, Matilla y Valdematilla, caballero y trece de la Orden de Santiago (1661), gentilhombre de Felipe el Grande, maestre de campo, del Consejo de Guerra (1636), capitán general de la caballería en Flandes (1646), gobernador y capitán general en Milán (1648-1656), gobernador de armas y teniente gobernador de los Países Bajos (1656), gobernador general de los Países Bajos y Borgoña (1659-1664), del Consejo de Estado (1659), capitán general de la artillería de España (1665), capitán general de las armadas y flotas de la carrera de Indias (1665), capitán general y gobernador de Extremadura (1665), presidente del Consejo Supremo de Flandes (1668).^[1]​

Casó en 1652, por poderes, con Catalina Ponce de León y Fernández de Córdoba, hija de Rodrigo Ponce de León, IV duque de Arcos, y su esposa Ana Francisca Enríquez de Aragón.^[1]​ Le sucedió su hija:

• Ana Antonia de Benavides Carrillo de Toledo y Ponce de León (Milán, 14 de abril de 1653-Madrid, 4 de febrero de 1707), IV marquesa de Caracena, IV condesa de Pinto, VI marquesa de Frómista, señora de San Muñoz y Valdematilla.^[5]​

Casó en 1672 con Gaspar Téllez-Girón y Sandoval (1625-1694), V duque de Osuna, V marqués de Peñafiel, IX conde de Ureña.^[5]​ Le sucedió su hijo:

• José María Téllez-Girón y Benavides (1685-1733), V marqués de Caracena, VI conde de Pinto, VII duque de Osuna, VII marqués de Frómista.

Casó con Francisca Bibiana Pérez de Guzmán el Bueno y Silva. Le sucedió:

• María Luisa Téllez-Girón y Fernández de Velasco Tovar y Guzmán (1698-1759), VI marquesa de Caracena, XI marquesa de Berlanga, VIII marquesa de Frómista.

Casó el 17 de julio de 1727, en Madrid, con su sobrino Francisco Javier Pacheco Téllez-Girón (1704-1750), VI marqués de Belmonte, VI duque de Uceda, V conde de la Puebla de Montalbán.^[6]​ Le sucedió su hijo:

• Andrés Manuel López Pacheco y Téllez-Girón, Acuña y López Sandoval y Pacheco (Puebla de Montalbán, 8 de noviembre de 1728-Madrid, 10 de julio de 1789), VII marqués de Caracena, VII duque de Uceda, VI conde de la Puebla de Montalbán, IX marqués de Frómista, VII marqués de Belmonte, XII marqués de Berlanga, VIII marqués de Toral, VII conde de Pinto, señor de Gálvez y Jumela, Osma, Berzosa, Alcubilla, las Moralejas, Inés, Samuñoz etc., caballero del Toisón de Oro y de la Orden de Carlos III, gentilhombre de cámara con ejercicio de los reyes Felipe V, Fernando VI y Carlos III de España, sumiller de corps del príncipe Carlos de Borbón (futuro Carlos IV de España), tesorero perpetuo de las reales casas de la moneda de Madrid.^[7]​

Casó el 15 de septiembre de 1748, en Madrid, con su prima carnal María de la Portería Fernández de Velasco Tovar y Pacheco (1735-1796), VIII condesa de Peñaranda de Bracamonte, XVIII condesa de Luna, VI marquesa del Fresno.^[8]​ Le sucedió su hijo:

• Diego Fernández de Velasco (Madrid, 8 de noviembre de 1754-París, 11 de febrero de 1811), VIII marqués de Caracena, VIII duque de Uceda, XIII duque de Frías, XIII duque de Escalona, X marqués de Frómista, VIII marqués de Belmonte, XIII marqués de Berlanga, IX marqués de Toral, VI marqués de Cilleruelo, XII marqués de Jarandilla, XIII marqués de Villena, VIII conde de Pinto, VII marqués del Fresno, X marqués de Frechilla y Villarramiel, X marqués del Villar de Grajanejos, XVII conde de Haro, XVII conde de Castilnovo, XIX conde de Luna, VII conde de la Puebla de Montalbán, XII conde de Salazar de Velasco, IX conde de Peñaranda de Bracamonte, XV conde de Fuensalida, IX conde de Colmenar de Oreja, XV conde de Oropesa, XIV conde de Alcaudete, XIV conde de Deleytosa, XVII conde de Alba de Liste, caballero del Toisón de Oro y de Santiago.^[9]​

Casó el 17 de julio de 1780, en Madrid, con Francisca de Paula de Benavides y Fernández de Córdoba (1757-1827), hija de Antonio de Benavides y de la Cueva, II duque de Santisteban del Puerto etc.^[9]​ Le sucedió su hijo:

• Bernardino Fernández de Velasco Pacheco y Téllez-Girón (20 de junio de 1783-28 de mayo de 1851), IX marqués de Caracena, IX duque de Uceda, XIV duque de Frías, XIV duque de Escalona, IX marqués de Belmonte, XI marqués de Frómista, XIV marqués de Berlanga, X marqués de Toral, XIV marqués de Villena, IX conde de Pinto, VIII marqués del Fresno, XIII marqués de Jarandilla, XI marqués de Frechilla y Villarramiel, XI marqués del Villar de Grajanejos, XVIII conde de Haro, XVIII conde de Castilnovo, XVIII conde de Alba de Liste, XX conde de Luna, VIII conde de la Puebla de Montalbán, XIII conde de Salazar de Velasco, X conde de Peñaranda de Bracamonte, XVI conde de Fuensalida, X conde de Colmenar de Oreja, XVI conde de Oropesa, XV conde de Alcaudete, XV conde de Deleytosa, caballero del Toisón de Oro y de la Orden de Calatrava, embajador en Londres, consejero de Estado durante el Trienio Liberal (1820-1823), enviado a París en 1834 como representante especial en la negociación y firma de la Cuádruple Alianza, presidente del gobierno (1838).^[10]​

Casó en primeras nupcias en 1802 con María Ana Teresa de Silva Bazán y Waldstein (m. 1805), hija de José Joaquín de Silva Bazán y Sarmiento, IX marqués de Santa Cruz, X marqués del Viso, VII y último marqués de Bayona, VI marqués de Arcicóllar, conde de Montauto, y conde de Pie de Concha.^[11]​ Sin descendientes de este matrimonio.

Casó en segundas nupcias con María de la Piedad Roca de Togores y Valcárcel (1787-1830), hija de Juan Nepomuceno Roca de Togores y Scorcia, I conde de Pinohermoso, XIII barón de Riudoms.^[12]​

Casó en terceras nupcias (matrimonio desigual, post festam, legitimando la unión de hecho) con Ana Jaspe y Macías (m. 1863).^[13]​

Le sucedió, de su tercer matrimonio, su hijo:

• José María Bernardino Silverio Fernández de Velasco y Jaspe (París, 20 de junio de 1836-20 de mayo de 1888), X marqués de Caracena, XV duque de Frías, XX conde de Haro, XVII conde de Fuensalida, XVII conde de Oropesa, X marqués de Belmonte, XV marqués de Berlanga, XI marqués de Toral, IX marqués del Fresno, XII marqués de Frómista, XII marqués de Frechilla y Villamarriel, XIV marqués de Jarandilla, XII marqués de Villar de Grajanejos, XIV conde de Salazar de Velasco, XVI conde de Alcaudete, XVI conde de Deleytosa, XXII conde de Luna, XI conde de Colmenar de Oreja, caballero de la Real Maestranza de Sevilla, XII conde de Peñaranda de Bracamonte.^[13]​

Casó en primeras nupcias en 1864 con Victoria Balfe (1837-1871), cantante de ópera, y en segundas nupcias, en 1880, con María del Carmen Pignatelli de Aragón y Padilla (n. 1855).^[13]​ Le sucedió su hijo:

• Bernardino Fernández de Velasco Pacho y Balfé (Madrid, 1866-3 de diciembre de 1916), XI marqués de Caracena, XVI duque de Frías, XXI conde de Haro, XI marqués de Belmonte, XIII marqués de Frechilla y Villarramiel, XV marqués de Jarandilla, XIII marqués de Villar de Grajanejos, XV conde de Salazar de Velasco, XVII conde de Alcaudete, XVII conde de Deleytosa, XII conde de Colmenar de Oreja.^[13]​

Casó en 1892 con Mary Boleyn Cecilia Knowles (n. 1866).^[13]​ Le sucedió su hija:

• Victoria Fernández de Velasco y Knowles, XII marquesa de Caracena, XIV marquesa de Frechilla y Villarramiel, XII marquesa de Belmonte, XVI marquesa de Jarandilla, XIV marquesa de Villar de Grajanejos, XVI condesa de Salazar de Velasco, XVIII condesa de Alcaudete, XIII condesa de Colemar de Oreja, XVIII condesa de Deleytosa.^[13]​

La rehabilitación del título fue solicitada en noviembre de 1984 por Fernando Granzow de la Cerda y Chaguaceda, III duque de Parcent.^[14]​ Una resolución del 9 de octubre de 1985 convocó a Ángela María Téllez-Girón y Duque de Estrada, María Cristina de Ulloa y Solís-Beaumont y José María Travesedo y Martínez de las Rivas en el expediente de rehabilitación.^[15]​

• Soler Salcedo, Juan Miguel (2020). Nobleza Española. Grandezas Inmemoriales (2.ª edición). Madrid: Visión Libros. ISBN 978-84-17755-62-1. 

• Quijorna Rodríguez, Ana (2012). «Mecanismos y estrategias de promoción, ascenso y consolidación de los Carrillo de Toledo, señores de Caracena y Pinto». Historia y Genealogía (2): 215-237. ISSN 2173-6030.