Graduado como abogado por la Pontificia Universidad Javeriana, realizó especializaciones en desarrollo económico (Universidad de Boston) y ciencias socioeconómicas (Universidad Javeriana), Magíster en Desarrollo Económico y doctor honoris causa en Derecho de la Universidad de Boston, Estados Unidos. Realizó cursos en Desarrollo Regional Urbano en la Universidad de Toronto, Canadá. Participó en la conformación del movimiento Nuevo Liberalismo, que lideraba su primo Luis Carlos Galán; así fue concejal de Bucaramanga y Representante a la Cámara entre 1982 y 1986.

En este año es elegido Senador y pese al asesinato de Galán en 1989 se mantiene en la política, obteniendo la reelección para el Senado en 1990. Ese mismo año el nuevo presidente de la República, César Gaviria, le designa ministro de Educación Nacional, ejerciendo por poco más de un año. En 1992 asume como embajador en Israel, pero regresa un año después para buscar su tercera legislatura como senador, si bien resulta derrotado en las elecciones de marzo de 1994.

Es incluido por Gaviria, poco antes de finalizar su mandato presidencial, en la terna para fiscal general de la Nación, y a pesar de ser el candidato de menor perfil, la Corte Suprema de Justicia lo elige para el cargo el 26 de julio de 1994 por 15 de 20 votos. Su labor se caracterizó por una posición radical frente al narcotráfico y su completa oposición al gobierno de Ernesto Samper, quien estaba acusado de haber financiado su campaña con dineros provenientes de este negocio (Proceso 8000).^[12]​

De estos procesos resultó condenado Fernando Botero Zea, ministro de Defensa y antiguo jefe de la Candidatura de Samper en el 1994. El gobierno de Samper nunca logró vencer al "Elefante", término usado para describir la imagen de corrupción existente. Samper personalmente sufrió repudio y humillación internacional, como lo fue la cancelación de su Visa por parte de los Estados Unidos. Al cerrarse muchos de los casos pendientes, Valdivieso renuncia en 1997 para postularse a la Presidencia.

Enfrenta en la Convención Nacional del Partido Liberal a Horacio Serpa, avezado líder también santandereano, y exministro del gobierno de Samper, quien le propina una contundente derrota. Convencido de que Serpa sería la continuación del samperismo, Valdivieso termina por respaldar al candidato del Partido Conservador Andrés Pastrana, conformando la "Gran Alianza por el Cambio". Tras su victoria, Pastrana lo envió como Embajador ante las Naciones Unidas, cargo que ejerció durante todo el gobierno.

Para las elecciones legislativas de 2006 participó como candidato al Senado por Cambio Radical, pero fue derrotado. En julio de 2008 se posesionó como senador en reemplazo de Rubén Darío Quintero quien fue detenido por el escándalo de la parapolítica.^[13]​

En 2010 terminó su periodo como senador y se candidateó nuevamente en las elecciones legislativas por el partido Cambio Radical, pero no logró los votos requeridos para regresar al Senado.^[14]​

Actualmente, es profesor de varias universidades, entre estas del Colegio de Estudios Superiores de Administración (CESA) y la Universidad EAN.