La denominación del condado hace referencia al municipio gallego de Villalba, uno de los señoríos del primer titular.

• Diego de Andrade y Moscoso (m. 1492), I conde de Villalba,^[1]​ VII señor de la casa de Andrade y VII señor de Puentedeume, Villalba y Ferrol.^[2]​ Era hijo de Fernán Pérez de Andrade, el Mozo (m. 1470), VI señor de la casa de Andrade^[2]​ y VI señor de Puentedeume, Villalba y Ferrol —hijo de Nuño Freire de Andrade—, y de su esposa María de Moscoso.^[2]​

Casó con María das Mariñas y Haro, hija y heredera de Gómez Pérez das Mariñas, señor de la casa das Mariñas, y de su esposa Teresa de Haro y Acuña.^[2]​ Le sucedió su hijo:

• Fernando de Andrade das Mariñas (c. 1477-diciembre de 1536), II conde de Villalba,^[3]​^[4]​ I conde de Andrade, VIII señor de la casa de Andrade, VIII señor de Puentedeume y Ferrol, asistente y capitán general de Sevilla.^[4]​

Casó, en 1500, siendo el segundo esposo, con Francisca de Zúñiga y Ulloa,^[3]​ II condesa de Monterrey.^[4]​ Sucedió su nieto, hijo de Teresa de Andrade y Zúñiga (m. 8 de mayo de 1528),^[5]​ fallecida antes que su padre, y de su esposo Fernando Ruiz de Castro y Portugal, IV conde de Lemos.^[4]​ IV conde de Sarria y I marqués de Sarria;^[6]​

• Pedro Fernando Ruiz de Castro Andrade y Portugal (La Coruña, 29 de junio de 1524-Madrid, 21 de agosto de 1590), III conde de Villalba,^[6]​ V conde de Lemos,^[5]​^[7]​ II conde de Andrade y II marqués de Sarria.^[6]​

Casó, en primeras nupcias, en 1542 con Leonor de la Cueva y Girón, hija de Beltrán de la Cueva, I duque de Alburquerque y conde de Ledesma, y de su tercera esposa, Leonor de Velasco (m. 22 de julio de 1552).^[7]​ Contrajo un segundo matrimonio con Teresa de la Cueva, hija de Pedro Fernández de Bobadilla y Cabrera, conde de Chinchón, y de Ana de la Cerda, con quien tuvo cinco hijos. Sucedió su hijo del primer matrimonio:^[7]​

• Fernando Ruiz de Castro Andrade y Portugal (Cuéllar, 1548-Nápoles, 19 de octubre de 1601), IV conde de Villalba,^[8]​ VI conde de Lemos,^[5]​ III marqués de Sarria,^[8]​ III conde de Andrade, embajador en Portugal, capitán general de Galicia y virrey de Nápoles.^[5]​

Casó el 28 de noviembre de 1574, con Catalina de Zúñiga y Sandoval (m. 1628).^[5]​ Sucedió su hijo:

• Pedro Fernández de Castro y Andrade (Madrid, 1576-Madrid, 19 de octubre de 1622), V conde de Villalba,^[9]​ VII conde de Lemos,^[5]​ IV marqués de Sarria,^[10]​ IV conde de Andrade, virrey de Nápoles, embajador en Roma, presidente del Supremo Consejo de Indias y del de Italia^[5]​ y caballero de la Orden de Alcántara.^[9]​

Casó, el 6 de noviembre de 1598, con Catalina de la Cerda y Sandoval,^[5]​ hija de los primeros duques de Lerma.^[9]​ Sin descendencia, cedió el título de conde de Villalba a su hermano:

• Antonio Ruiz de Castro y Portugal (n. c. 1578), VI conde de Villalba (por cesión de su hermano),^[8]​ y V conde de Andrade.^[8]​

Sin descendencia. Sucedió su hermano:^[8]​

• Francisco Ruiz de Castro (Madrid, mayo de 1579-Sahagún, septiembre de 1637), VII conde de Villalba,^[10]​ VIII conde de Lemos,^[5]​ V marqués de Sarria,^[10]​ VI conde de Andrade,^[10]​ virrey de Sicilia, miembro de los Consejos de Estado y Guerra y embajador en Venecia y en Roma.^[5]​

Casó, en Nápoles, en 1610, con Lucrecia Legnano de Gattinara (m. 1623),^[5]​ VI condesa de Castro, I duquesa de Taurisano, baronesa de la Motta de Santa Agata en Sicilia,^[10]​ hija de Alessandro Gattinara di Lignana, conde de Castro, y de Vittoria Caracciolo.^[11]​ Sucedió su hijo en 1629 cuando el conde se recluyó en el monasterio de Sahagún donde tomó el nombre de fray Agustín de Castro:^[11]​

• Francisco Fernández de Castro Andrade Lignano de Gattinara(Roma, 1613-Madrid, 6 de diciembre de 1662), VIII conde de Villalba,^[12]​ IX conde de Lemos,^[5]​ VII marqués de Sarria,^[12]​ VII conde de Andrade, II duque de Taurisano, caballero de la Orden de Santiago, gentilhombre de cámara del rey Felipe IV y virrey de Aragón.^[10]​

Casó con Antonia Girón Enríquez de Rivera, hija de Pedro Téllez-Girón, y Velasco, III duque de Osuna, y de Catalina Enríquez de Rivera. Sucedió su hijo:

• Pedro Antonio Fernández de Castro y Girón (baut. Monasterio de San Vicente del Pino, Monforte de Lemos, 20 de octubre de 1632-Lima, 6 de diciembre de 1672),^[13]​ IX conde de Villalba, X conde de Lemos,^[5]​ VIII marqués de Sarria,^[10]​ VIII conde de Andrade y virrey del Perú.^[10]​

Casó, el 20 de julio de 1664, con Ana de Borja Centellas Doria y Colonna^[5]​ (m. 23 de septiembre de 1706), hija de Francisco Pascual de Borja y Aragón y Centelles, VIII duque de Gandía y viuda de Enrique Enríquez Pimentel, V marqués de Távara. Le sucedió su hijo:

• Ginés Fernández Ruiz de Castro,^[a]​ también llamado Francisco Ginés Fernando Ruiz de Castro Portugal y Borja (Madrid,16 de octubre de 1666-30 de septiembre de 1741) X conde de Villalba,^[15]​ XI conde de Lemos,^[5]​ IX marqués de Sarria, IX conde de Andrade,^[12]​ VIII conde de Castro en Nápoles, barón de la Mota de Santa Ágata en Sicilia, alguacil mayor de la Audiencia de Galicia, virrey de Cerdeña, capitán general de las galeras de Nápoles y caballero de la Orden del Toisón de Oro.^[5]​^[15]​

Casó en primeras nupcias, el 8 de septiembre de 1687, con Catalina María de Silva Haro y Mendoza (m. 18 de enero de 1727).^[5]​ Contrajo un segundo matrimonio, el 3 de septiembre de 1727, con Mariana de la Piedad Osorio y Guzmán (m. 9 de diciembre de 1732).^[5]​ Casó en terceras nupcias, el 7 de agosto de 1735, con María Josefa de Zúñiga y Sotomayor.^[5]​ Sin descendencia, le sucedió su sobrina, hija de su hermano Salvador Francisco Fernández de Castro y Borja y de su esposa Francisca de Paula Centurión de Córdoba Mendoza Carrillo y Albornoz, V marquesa de Armunia,^[16]​^[12]​ III condesa de Santa Eufemia,^[12]​ VIII marquesa de La Guardia y señora de Carrillo, Albornoz y Torralba.^[12]​

• Rosa María de Castro y Centurión (Madrid, 29 de agosto de 1691-Madrid, 14 de marzo de 1772), XI condesa de Villalba, XII condesa de Lemos,^[5]​ X marquesa de Sarria, X condesa de Andrade, VI duquesa de Taurisano, etc. grande de España.^[12]​

Casó en primeras nupcias, el 10 de marzo de 1714, con Pedro de Moncada y de la Cerda, y en segundas nupcias, en 1724, siendo la segunda esposa, con Guillén Ramón de Moncada, VI duque de Camiña, VI marqués de Aytona. Sin descendencia, tras disputas hereditarias entre ramas de la familia, el título paso a su sobrino, el duque de Béjar.^[17]​

• Joaquín Diego López de Zúñiga Sotomayor Castro y Portugal (1715-Madrid, 10 de octubre de 1777), XII conde de Villalba, XIII conde de Lemos,^[5]​ XI marqués de Sarria, XI conde de Andrade, XII duque de Béjar,^[12]​ XIV conde de Belalcázar, VIII duque de Mandas y Villanueva, XIII marqués de Gibraleón, XIII conde de Bañares, XIV vizconde de la Puebla de Alcocer, VIII marqués de Terranova, justicia mayor y alguacil hereditario de Castilla, gran cruz de la Orden de Carlos III, caballero del Toisón de Oro, etc.^[18]​

Casó en primeras nupcias, en París, el 1 de marzo de 1733, con Leopoldina Isabel Carlota de Lorena-Marsan,^[19]​ matrimonio anulado en 1757, y en segundas nupcias el 7 de enero de 1761 con Escolástica Gutiérrez de los Ríos y Rohan-Chabot,^[19]​ hija de José Diego Gutiérrez de los Ríos y Zapata, V conde de Fernán-Núñez.^[18]​ Falleció sin descendencia y con él se extinguió la casa de Castro como hereditaria del condado de Lemos, que pasa junto al marquesado de Sarria a la rama parental más cercana, la casa de Berwick. Le sucedió su primo:

• Jacobo Fitz-James Stuart Colón de Portugal (Madrid, 17 de septiembre de 1717-Valencia, 30 de septiembre de 1785), XIII conde de Villalba,^[12]​ XIV conde de Lemos,^[5]​ XII marqués de Sarria, XII conde de Andrade, III duque de Berwick,^[20]​ VIII marqués de San Leonardo, III duque de Liria y Jérica, X conde de Gelves, XII marqués de la Mota, VII conde de Ayala, IX duque de Veragua, IX duque de la Vega, XI marqués de La Jamaica, etc. grande de España, almirante de la mar océano, XI adelantado mayor de las Indias.^[12]​ Heredó el título al ser el cuarto nieto de Fernando Ruiz de Castro y Portugal, hermano de los VII y VIII condes de Lemos.

Casó, el 26 de julio de 1738, con María Teresa da Silva y Álvarez de Toledo, X marquesa del Carpio y dama de la princesa de Asturias.^[12]​^[20]​ hija de los duques de Alba. Le sucedió su hijo:

• Carlos Fitz-James Stuart y Silva (Madrid, 1752-8 de septiembre de 1787), XIV conde de Villalba, XV conde de Lemos,^[21]​ XIII marqués de Sarria, XIII conde de Andrade,^[22]​ IV duque de Berwick,^[20]​ IX marqués de San Leonardo, XI marqués del Carpio, X duque de Veragua, X duque de la Vega, XII marqués de La Jamaica, grande de España.^[22]​

Casó el 15 de diciembre de 1771, con Carolina Augusta Stolberg, princesa de Hormes.^[22]​^[20]​ Le sucedió su hijo:

• Jacobo Fitz-James Stuart y Stolberg (París, 23 de febrero de 1773-3 de abril de 1794), XV conde de Villalba,^[22]​ XVI conde de Lemos,^[21]​ XIV marqués de Sarria, XIV conde de Andrade,^[22]​ V duque de Berwick^[20]​, V duque de Liria y Jérica, XII conde de Gelves, XIV marqués de la Mota, IX conde de Ayala, X marqués de San Leonardo, XII marqués del Carpio, VI duque de Veragua, XI duque de la Vega, XIII marqués de la Jamaica, almirante de la mar océana XIII adelantado mayor de las Indias, grande de España.

Casó, siendo su primer marido, el 24 de enero de 1790, con María Teresa de Silva y Fernández de Híjar.^[23]​ Le sucedió su hijo:

• Jacobo Fitz-James Stuart y Silva (3 de enero de 1792-6 de enero de 1795), XVI conde de Villalba, XVII conde de Lemos,^[21]​ XV marqués de Sarria, XV conde de Andrade, VI duque de Berwick^[24]​ VI duque de Liria y Jérica, XIII conde de Gelves XV marqués de la Mota, XI marqués de San Leonardo, grande de España.^[22]​ Le sucedió su hermano:

• Carlos Miguel Fitz-James Stuart y Silva (1794-7 de octubre de 1835), XVII conde de Villalba,^[22]​ XVIII conde de Lemos,^[21]​ XVI marqués de Sarria, XVI conde de Andrade,^[22]​ VII duque de Berwick,^[24]​ XIV duque de Alba,^[25]​ VII duque de Liria y Jérica, XIV conde de Gelves,, XVI marqués de la Mota, XI marqués de San Leonardo, XIII marqués del Carpio, X conde de Ayala, XVI conde de Lerín, condestable de Navarra, XX conde de Miranda del Castañar^[22]​, grande de España.

Casó, el 15 de febrero de 1817, con Rosalía de Ventimiglia.^[25]​ Le sucedió su hijo:

• Jacobo Luis Fitz-James Stuart y Ventimiglia (Palermo, 3 de junio de 1821-Madrid, 10 de julio de 1881), XVIII conde de Villalba,^[26]​ XIX conde de Lemos,^[21]​ XVII marqués de Sarria, XVII conde de Andrade,^[26]​ VIII duque de Berwick,^[24]​ XV duque de Alba^[25]​, XVII conde de Lerín y condestable de Navarra, XVIII conde de Miranda del Castañar, grande de España.^[22]​

Casó, el 14 de febrero de 1844, con Francisca de Palafox Portocarrero, IX condesa de Montijo,^[25]​ hermana de la emperatriz Eugenia. Le sucedió su hijo:

• Carlos María Fitz-James Stuart y Portocarrero (1849-15 de octubre de 1901), XIX conde de Villalba,^[27]​ XX conde de Lemos,^[21]​ XVIII marqués de Sarria, XVIII conde de Andrade,^[27]​ IX duque de Berwick,^[24]​ XVI duque de Alba^[25]​, etc. y grande de España.

Casó, el 10 de diciembre de 1877, con María Rosario Falcó y Osorio, XI condesa de Siruela.^[25]​ Le sucedió su hijo:

• Jacobo Fitz-James Stuart y Falcó (1878-24 de septiembre de 1953), XX conde de Villalba,^[28]​ XXI conde de Lemos,^[21]​ XIX marqués de Sarria,^[28]​ XIX conde de Andrade,^[28]​ XVII duque de Alba,^[25]​ X duque de Berwick,^[24]​ etc. y grande de España.

Casó, el 7 de octubre de 1920, con María Rosario de Silva y Gurtubay, XI marquesa de San Vicente del Barco. ^[25]​ Le sucedió su única hija:

• María del Rosario Cayetana Fitz-James Stuart y de Silva (1926-2014), XXI condesa de Villalba,^[28]​ XXII condesa de Lemos,^[21]​ XX marquesa de Sarria,^[28]​ XX condesa de Andrade,^[28]​ XI duquesa de Berwick,^[24]​ XVIII duquesa de Alba y otros títulos, diecisiete veces grande de España.

Casó en primeras nupcias, el 12 de diciembre de 1947, con Luis Martínez de Irujo y Artazcoz. Contrajo un segundo matrimonio, el 11 de marzo de 1978, con Jesús Aguirre Ortiz de Zárate. Casó en terceras nupcias el 5 de octubre de 2011, con Alfonso Díez Caravantes.^[25]​ Le sucedió su hijo del primer matrimonio:

• Carlos Fitz-James Stuart y Martínez de Irujo, XXII conde de Villalba,^[29]​^[30]​ XXIII conde de Lemos,^[29]​ XXI marqués de Sarria,^[29]​ XXI conde de Andrade,^[29]​ duque de Alba, conde de Fuentes de Valdepero, conde de Galve, conde de Gelves, conde de San Esteban de Gormaz, conde de Santa Cruz de la Sierra, marqués de la Mota, marqués de Moya, marqués de Osera, marqués de San Leonardo, marqués de Villanueva del Río, vizconde de la Calzada,^[31]​ etc.

Casó, el 18 de junio de 1988 en Sevilla, con Matilde de Solís y Martínez de Campos, padres de Fernando Fitz-James Stuart y de Solís, IV duque de Huéscar, y de Carlos Fitz-James Stuart y de Solís, XXII conde de Osorno.^[29]​