Sus padre tocaban el piano y entre sus familiares estaban el saxofonista Benny Golson y el cantante de soul Harold Melvin. Envuelto en la música religiosa de la iglesia de su familia, consiguió sus primeros instrumentos, una batería, a los ocho años. Hacia los diez, tocaba el saxo alto y el bajo acústico, y terminando el instituto aprendió también a tocar el vibráfono, el piano y la batería. Aunque su primer instrumento fue el bajo, pronto se pasó al órgano Hammond tras ver a Richard "Groove" Holmes en un club en Camden, Nueva Jersey. No obstante, entró en el servicio militar y estuvo en la guerra de Corea como policía militar. Una vez de vuelta en Estados Unidos, decidió estudiar para el cuerpo de policía, y tras completar la formación necesaria, trabajó en la policía de Filadelfia durante dos años y medio. Con todo, en ningún momento perdió su interés en la música, y hacia 1955 ya tocaba como músico de bajo acompañando a cantantes como Carmen McRae y, más frecuentemente, a Big Maybelle.

Más tarde, en los años 60 y 70, tocó en la banda de Buddy Rich, y a partir de 1986, con el saxo Hank Crawford.^[1]​

El 24 de mayo de 2008, McGriff falleció en el Municipio de Voorhees, Nueva Jersey, a los 72 años, a causa de complicaciones por su esclerosis múltiple.^[1]​

• 1963: At the Apollo [live] (Collectables)
• 1963: I've Got a Woman (Collectables)
• 1969: A Thing to Come By (Solid State)
• 1980: Movin' Upside the Blues (JAM)
• 1986: The Starting Five (Milestone)
• 1994: Right Turn on Blues (Telarc)
• 1996: The Dream Team (Milestone)
• 1998: Straight Up (Milestone)

•   Wikimedia Commons alberga una categoría multimedia sobre Jimmy McGriff.