Era hijo de Jacobo Francisco Fitz-James Stuart y Colón de Portugal, III duque de Liria y Jérica, III duque de Berwick, y de su esposa María Teresa de Silva y Álvarez de Toledo, hermana de Fernando de Silva y Álvarez de Toledo, XII duque de Alba de Tormes, (Viena, 1714 - Madrid, 15 de noviembre de 1776).^[1]​

Fue bautizado el 5 de julio de 1752.

Carlos Bernardo Fitz-James Stuart y Silva nace en la localidad de Liria, debido a que sus padres se instalaron entre los años 1751 y 1753 en la Casa de la Vila de Liria, edificio conocido también por el Palacio de los Duques de Liria. Durante meses la duquesa había intentado en vano quedarse encinta, y ya desesperada por la situación, ocurre que la duquesa engendra y da a luz a su primogénito y único hijo varón en la localidad valenciana. En agradecimiento a tan buen recuerdo, el duque bautiza Palacio de Liria el que se hace construir en Madrid, hoy sede de la Fundación Casa de Alba.^[2]​

El 9 de octubre de 1771 contrae matrimonio en Valencia, con la Princesa Carolina zu Stolberg-Gedern (10 de febrero de 1755 – 15 de abril de 1828), hermana de la Princesa Luisa zu Stolberg-Gedern y cuñada del Príncipe Carlos Eduardo Estuardo, conocido popularmente en las islas británicas como el "joven pretendiente" y el "Gentil Príncipe Carlos".

El matrimonio tuvo dos hijos, en primer lugar Jacobo Felipe (París, 25 de febrero de 1773 - Madrid, 3 de abril de 1794) V duque de Liria y Jérica, y en segundo lugar a: María Francisca Fernanda (22 de marzo de 1775 - 22 de septiembre de 1852)

Sirvió como Gentilhombre de cámara con ejercicio de S.M. el Rey Carlos III,^[3]​ era Almirante de las Indias y adelantado mayor de ellas y fue Teniente General de los Reales Ejércitos.

Fue miembro de la Real Academia de Bellas Artes de San Fernando, honorario desde el 5 de agosto de 1782 y consiliario desde el 24 de enero de 1787.

El Duque murió el 7 de septiembre de 1787 en la calle San Bernardino de Madrid, y se depositó su cuerpo en la Iglesia de San Martín. Fue sucedido por su único hijo Jacobo Felipe Fitz-James Stuart, como V Duque de Liria y Jérica y V Duque de Berwick.

• IV Duque de Liria y Jérica, con Grandeza de España
• IV Duque de Berwick, con Grandeza de España
• XI Duque de Veragua, con Grandeza de España
• XI Duque de la Vega de la Isla de Santo Domingo, con Grandeza de España
• XII Marqués de la Jamaica
• V Marqués de San Leonardo
• VI Marqués de Tarazona
• XIV Marqués de la Mota
• XII Marqués de Sarria
• XI Conde de Gelves
• VIII Conde de Ayala
• XV Conde de Monforte de Lemos, con Grandeza de España
• XII Conde de Monterrey, con Grandeza de España
• IV Earl of Tinmouth
• IV Barón Bosworth

1. ↑ McFerran, Noel S. (2013). «The Family of the Dukes of Berwick» (web) (en ingles y español). Consultado el 8 de noviembre de 2013. 
2. ↑ Golf, Susana (2011). «La duquesa de Alba... y Llíria» (web). Consultado el 5 de diciembre de 2013. 
3. ↑ Lundy, Darryl. «Carlos Fernando Pascal Januario Stuart-FitzJames, 4th Duque de Liria y Xerica». The Peerage. p. 8724 § 87234. Consultado el noviembre de 2013.  Cites: Cokayne, George E. (2000). The Complete Peerage of England, Scotland, Ireland, Great Britain, and the United Kingdom Extant, Extinct, or Dormant II (new, 13 volumes in 14 (1910-1959; reprint in 6 volumes edición). Gloucester, UK: Alan Sutton Publishing. p. 165. 

• Fernández García, Matías (2004). Parroquias Madrileñas de San Martin y San Pedro el Real. Madrid: Caparrós Editores. ISBN 8487943993. 

• Crossley Hobart Seymour, Aaron (1839). The Life and Times of Selina, Countess of Huntingdon, Volume 1. London: William Edwards Painter. 

• de Urquijo y Olan, Juan Ramón (1969). Revista Internacional de los Estudios Vascos. Bilbao. OCLC: 41946567. 

• Real Academia de Bellas Artes de San Fernando (Madrid: 1787). Distribución de los premios concedidos por el rey nuestro señor á los discípulos de las nobles artes, hecha por la Real Academia de San Fernando en la Junta pública de 14 de julio de 1787. Imprenta de la Viuda de Ibarra, Hijos y Compañía.