Caballero estudió historia en la Universidad Central de Venezuela y obtuvo su doctorado en la Universidad de Londres. Con la publicación de La Internacional Comunista y la revolución latinoamericana, 1919-1943, obtuvo el mérito de ser el primer venezolano en ser editado por la Cambridge University Press en 1986. Firmó el "Manifiesto de Bienvenida a Fidel Castro" en 1989", pero al poco tiempo se retractó de esto.

Entre 1975 y 1978 fue director de la Escuela de Historia de la Universidad Central y en 1974 asumió como diputado por el Movimiento al Socialismo en el antiguo Congreso Nacional. En 1977 presidió el II Encuentro de Historiadores Latinoamericanos y del Caribe. En 1989 fue invitado por la Universidad de Nápoles Federico II de Italia.

Recibió el Premio Nacional de Periodismo en 1979 y el Premio Nacional de Historia en 1994 y en 2005 fue elegido como miembro de la Academia Nacional de la Historia de Venezuela.

Caballero escribió regularmente en algunos periódicos venezolanos, como El Nacional, El Diario de Caracas y en sus últimos años en El Universal. A pesar de su pasado como pensador y activista político de izquierda, en particular durante la presidencia de Rómulo Betancourt, Caballero fue un duro crítico de Hugo Chávez.

• El desarrollo desigual del socialismo y otros ensayos polémicos (1970)
• Betancourt: populismo y petróleo en Venezuela (1972)
• El mundo no se acaba en diciembre (1973)
• Ve y toma el libro que está abierto en la mano del ángel (1979)
• La pasión de comprender: ensayos de historia (y de) política (1983)
• Latin America and the Comintern, 1919–1943 (1986)
  • La Internacional Comunista y la revolución latinoamericana, 1919- 1943 (1987)
• El discurso del desorden (1987)
• El nombre de la cosa (1988)
• El orgullo de leer (1988)
• Las Venezuelas del siglo XX (1988)
• Entre Gómez y Stalin: la sección venezolana de la Internacional Comunista (1989)
• Las elecciones presidenciales: ¿la última oportunidad o la primera? (1989)
• El poder brujo (1991)
• Gómez, el tirano liberal: vida y muerte del siglo XIX (1993)
• Carta a un joven desilusionado que detesta la democracia (1997)
• De la «Pequeña Venecia» a la «Gran Venezuela»: una historia de cinco siglos (1997)
• Defensa e ilustración de la pereza (1998)
• Contra el golpe, la dictadura militar y la guerra civil (1998)
• Las crisis de la Venezuela contemporánea 1903-1992 (1998)
• La gestación de Hugo Chávez: 40 años de luces y sombras en la democracia venezolana (2000)
• Revolución, reacción y falsificación (2002)
• Gómez, el tirano liberal: anatomía del poder (2003)
• Rómulo Betancourt, político de nación (2004)
• El desorden de los refugiados (2004)
• Dramatis Personae: Doce ensayos biográficos (2004)
• Por qué no soy bolivariano (2006)
• La peste militar (2007)
• Contra la abolición de la historia (2008)
• Polémicas y otras formas de escritura (2008)
• No más de una cuartilla: trescientos ensayos (2009)
• Historia de los venezolanos en el siglo XX (2010)

• Venezuela
• Literatura de Venezuela