Carlos era el hijo mayor del Conde Eitel Federico III de Hohenzollern (1494-1525) de su matrimonio con Johanna van Witthem (m. 1544), hija de Felipe, Señor de Beersel y Boutersem. Carlos fue Archichambelán Imperial y después presidente del Consejo Áulico. En 1534, recibió los Condados de Sigmaringen y Veringen como feudos imperiales del emperador Carlos V. Permaneció fiel a la iglesia católica, durante la Reforma protestante.

Carlos contrajo matrimonio en 1537 con Ana (1512-1579), una hija del Margrave Ernesto de Baden-Durlach, con la que tuvo varios hijos, entre ellos:

• Ferfried (1538-1556),
• María (1544-1611),
• Eitel Federico IV (1545-1605), después el primer Conde de Hohenzollern-Hechingen
• Carlos II (1547-1606), después el primer Conde de Hohenzollern-Sigmaringen
• Juana (1548-1604),
• Jacobea María (1549-1578), esposa de Leonard V de Harrach (1542-1597),
• Leonor (1551-1598),
• Cristóbal (1552-1592), después el primer Conde de Hohenzollern-Haigerloch
• Magdalena (1553-1571), una monja en Holz,
• Joaquín (1554-1587), Conde titular de Hohenzollern
• Kunigunde (1558-1595), una monja en la Abadía de Inzigkofen

Él mantuvo unificadas las posesiones familiares desde que los Condes de Haigerloch se hubieran extinguido con la muerte de su primo Jobst Nicolás II en 1558. Después de su muerte en 1576, sin embargo, los territorios fueron divididos. Su hijo mayor, Eitel Federico IV se convirtió en el fundador de la línea de Hohenzollern-Hechingen. Su segundo hijo, Carlos II, fundó la línea de Hohenzollern-Sigmaringen. El tercer hijo, Cristóbal, fundó la línea de Hohenzollern-Haigerloch, que se extinguió en 1634, con la porción de Cristóbal cayendo a manos de Hohenzollern-Sigmaringen. El hijo menor, Joaquín, único convertido al luteranismo, fue desheredado y se exilió en la corte de Juan Jorge de Brandeburgo en Berlín.

• Hohenzollern family tree on the site of the Hohenzollern family business