Nació en Sicilia, de familia aristocrática, tuvo sus estudios en el Colegio Capranica de Roma. Después de ser ordenado sacerdote en 1866, entró a la Academia de la nobleza y el clero hizo rápida carrera en la Curia Romana. Nombrado arzobispo titular de Heraclea en Europa de 1 de diciembre de 1882, fue consagrado por el cardenal Edward Henry Howard el 8 del mismo mes y fue enviado como nuncio apostólico a España; le fue asignado como asistente el joven Giacomo della Chiesa, que sería futuro papa Benedicto XV, que también procedía de la universidad Capranica en Roma.^[1]​

Fue nombrado cardenal el 14 de marzo de 1887 bajo el título de Santa Cecilia. Poco después, el 2 de junio de ese mismo año fue nombrado secretario de Estado de León XIII, y se convirtió en su principal colaborador. En 1902 obtuvo el puesto de secretario de la Pontificia Comisión Bíblica.

Como secretario de Estado, el cardenal Rampolla apoyó al Partido Socialcristiano de Austria, liderado por Karl Lueger, quien fuera alcalde de Viena (1897-1910). Lueger asumió el cargo a pesar de la desaprobación del emperador Francisco José, gracias a la intervención personal de León XIII. El Partido Social Cristiano de Lueger fue el primer movimiento social católico antiliberal y antisemita.^[2]​ Rampolla comenzó a orientar la política papal, pasando del apoyo a Austria-Hungría al apoyo a Francia, enemigo de Austria. En Italia, se opuso a todos los gobiernos que llegaron al poder, argumentando que no había nada que perder, y quizás algo que ganar, especialmente en el ámbito internacional.^[3]​ Luchó por la restauración del reinado del papa sobre los antiguos Estados Pontificios y combatió los nuevos códigos penales que buscaban criminalizar la actividad clerical.^[4]​ Rampolla expresó su opinión de que el pueblo francés estaba obligado a apoyar al primer ministro Jules Méline en el punto álgido del caso Dreyfus.^[5]​

A la muerte de León XIII en 1903, Rampolla fue uno de los favoritos para la sucesión. Al comienzo del cónclave sus posibilidades eran las más altas. De hecho, después de las dos primeras votaciones, la alternativa del candidato cardenal Gotti se difuminó y apareció como la más peligrosa la de Giuseppe Sarto. Fue entonces cuando, el 2 de agosto, el emperador austríaco Francisco José planteó, a través del cardenal Jan Puzyna, arzobispo de Cracovia, el veto imperial contra el cardenal Rampolla, discretamente ya anunciado antes de la apertura del cónclave. El Imperio Austro-Húngaro era una de las tres naciones católicas que gozaban de los privilegios del veto llamado secular. Y el cardenal Puzyna más tarde fue recompensado con la concesión de la condecoración más alta de Austria.^[4]​

Los entornos de la Acción Francesa sostuvieron que la oposición motivada por Austria a Rampolla fue por pertenecer a la masonería o porque era miembro de la Ordo Temple Orientis, según la acusación de monseñor Ernest Jouin, la llamada Orden del Temple, opinión todavía mantenida por círculos tradicionalistas; sin embargo, la opinión más plausible es que fue por el apoyo que Rampolla ofreció como secretario de Estado a la laica Tercera República Francesa. Otra razón se basó en el suicidio del hijo de Francisco José, el príncipe heredero Rodolfo en 1889, pues Rampolla, como secretario de Estado, se negó a dar una dispensa para que Rodolfo fuera enterrado en un lugar consagrado.^[4]​^[6]​

La misma noche del 2 de agosto de 1903 el patriarca de Venecia, Giuseppe Sarto, recibió 30 votos contra los 21 de Rampolla. Los partidarios de este último decidieron entonces hacer converger los votos hacia el cardenal Sarto, sabiendo que tenía por entonces más posibilidades de ser elegido. El 4 de agosto de 1903 Sarto fue elegido con 50 votos sobre los 62 cardenales participantes en el cónclave, y adoptó el nombre de Pío X. El primer acto del nuevo papa, sin embargo, fue abolir el derecho a veto a través de la Constitución Apostólica Commissum Nobis.^[4]​

Pío X, elegido, nombró, como era tradición, un nuevo cardenal secretario de Estado en la persona del joven Rafael Merry del Val, que había sido el secretario del Cónclave. En cambio, el ex secretario de Estado Rampolla fue designado para el cargo menor de Prefecto de la Congregación para el Mantenimiento de la Fábrica de la Basílica de San Pedro. Sin embargo, en 1908 será elevado a un puesto más prestigioso, el de secretario del Santo Oficio, en el mismo año le dio su renuncia, sin embargo, por la Pontificia Comisión Bíblica. Rampolla murió en 1913, a los 70 años, su funeral fue presidido por su amigo y estrecho colaborador Giacomo Della Chiesa, el futuro papa Benedicto XV. Fue enterrado en el cementerio de Verano. El 19 de junio de 1929, doce días después de la ratificación de los Pactos de Letrán por el Parlamento italiano, su cuerpo fue trasladado a la Basílica de Santa Cecilia en Trastevere.