Rifkind nació en Edimburgo en el seno de una familia judía que emigró al Reino Unido en la década de 1890 desde Lituania;^[1]​ entre sus primos se encontraban Leon y Samuel Brittan. Se educó en el George Watson's College y en la Universidad de Edimburgo, donde estudió Derecho antes de cursar un posgrado en ciencias políticas (su tesis versó sobre el reparto de tierras en Rodesia del Sur).^[2]​ Durante sus estudios universitarios participó en una expedición por tierra a Oriente Próximo y la India.^[3]​

De 1967 a 1968 trabajó como profesor adjunto en el University College of Rhodesia, en Salisbury (actual Harare).^[2]​ En 1970 se colegió en Escocia y ejerció la abogacía a tiempo completo hasta 1974.^[4]​ En 1985 fue nombrado Queen's Counsel y en 1986 miembro del Consejo Privado. De 1970 a 1974 fue miembro del Consejo Municipal de Edimburgo.^[4]​

Rifkind fue miembro del parlamento por Edimburgo Pentlands de 1974 a 1997. Desempeñó varias funciones como ministro del gobierno, entre ellas la de secretario de Estado para Escocia de 1986 a 1990, secretario de Defensa de 1992 a 1995 y secretario de Asuntos Exteriores de 1995 a 1997. En las elecciones de 1997, su partido perdió el poder y él perdió su escaño en favor del Partido Laborista. Intentó, sin éxito, ser reelegido en Pentlands en 2001; la circunscripción se suprimió antes de las elecciones generales de 2005 y fue elegido como candidato conservador por Kensington y Chelsea. Anunció su intención de aspirar al liderazgo del partido antes de las primarias de los conservadores de 2005, pero se retiró antes de que comenzaran los comicios.

Rifkind se presentó por la circunscripción de Kensington y fue elegido en las elecciones generales de 2010 con una mayoría de 8616 votos. El 6 de julio de 2010 fue nombrado presidente del Comité de Inteligencia y Seguridad del Parlamento por el primer ministro, David Cameron.^[5]​ En enero de 2015 fue nombrado por la Organización para la Seguridad y la Cooperación en Europa (OSCE) miembro de su Panel de Personas Eminentes sobre Seguridad Europea. No se presentó a las elecciones generales de 2015. En diciembre de 2015, Rifkind fue nombrado profesor visitante del King's College de Londres en su Departamento de Estudios de Guerra. Fue invitado a convertirse en miembro distinguido del Royal United Services Institute. En julio de 2016 se publicaron sus memorias, Power and Pragmatism (Poder y pragmatismo).