Jimmy comenzó tocando el saxofón alto, pero influenciado por Charlie Parker durante su trabajo con Howard McGhee y Dizzy Gillespie a finales de 1940, recibió el apodo de "Little Bird" (el apodo de Parker fue "Bird") y se pasó al saxofón tenor.

Heath compuso la mayoría de las canciones de los álbumes de 1956 Chet Baker y Art Pepper Playboys.

Durante un corto periodo de tiempo, se unió al grupo de Miles Davis en 1959, para sustituir a John Coltrane. También trabajó con Kenny Dorham y Gil Evans. En la década de los sesenta grabó varias canciones como líder y músico acompañante junto con Milt Jackson y Art Farmer.

En 1975 él y sus hermanos formaron Brothers Heath, junto con el pianista Stanley Cowell.

En la década de 1980, se unió a la facultad de la Aaron Copland School of Music en la Queen's University, situada en la Ciudad Universitaria de Nueva York. Como docente, creó y dirigió el Programa de Jazz en el Queens College, a través del cual atrajo al campus a diversos músicos destacados como Donald Byrd. También formó parte del consejo de los Archivos en el campus y de la restauración y gestión de la residencia de Louis y Lucille Armstrong en Corona, Queens, próxima a su propia casa.

Además de enseñar en el Queens College durante más de veinte años, también ejerció la docencia en Jazzmobile. Heath recibió el NEA Jazz Masters Award en 2003. En 2004, se le concedió un doctorado honorario en Letras Humanas. Heath es el padre del compositor y músico de R & B James Mtume.

Falleció por causas naturales en Loganville a los noventa y tres años el 19 de enero de 2020.^[2]​^[3]​

Como líder

• 1959: The Thumper (Riverside)
• 1960: Really Big! (Riverside)
• 1961: The Quota (Riverside)
• 1962: Triple Threat (Riverside)
• 1963: Swamp Seed (Riverside)
• 1964: On the Trail (Riverside)
• 1972: The Gap Sealer (Cobblestone Records)
• 1972: Jimmy (Muse Records)
• 1973: Love and Understanding (Xanadu Records)
• 1974: Time and the Place (Landmark Records)
• 1975: Picture of Heath (Xanadu Records)
• 1975: Marchin' On (Strata East Records)
• 1979: In Motion (Columbia Records)
• 1985: New Picture (Landmark Records)
• 1987: Peer Pleasure (Landmark Records)
• 1992: Little Man, Big Band (Verve Records)
• 1994: You've Changed (Steeplechase Records)
• 1995: You or Me (Steeplechase Records)
• 2006: Turn Up the Heath (Planet Arts Recordings)
• 2009: Endurance (Jazz Legacy Productions)

• 1948: Howard McGhee – The Howard McGhee Sextet with Milt Jackson
• 1959: Blue Mitchell – Blue Soul (Riverside)
• 1960: Julian Priester - Keep Swingin' (Riverside)
• 1960: Sam Jones - The Soul Society (Riverside)
• 1960: Nat Adderley – That's Right! (Riverside)
• 1960: Kenny Dorham – Show Boat (Time)
• 1961: Milt Jackson – Vibrations (Atlantic)
• 1961: Elmo Hope - Homecoming! (Riverside)
• 1962: Blue Mitchell – A Sure Thing (Riverside)
• 1962: Curtis Fuller – Soul Trombone (Impulse!)
• 1962: Milt Jackson – Big Bags (Riverside)
• 1962: Milt Jackson – Invitation (Riverside)
• 1962: Pony Poindexter – Pony's Express
• 1962: Milt Jackson – Statements (Impulse!)
• 1963: Milt Jackson – Milt Jackson Quintet Live at the Village Gate (Riverside)
• 1964: Milt Jackson – Jazz 'n' Samba (Impulse!)
• 1964: Milt Jackson – In a New Setting (Limelight)
• 1965: Milt Jackson – Ray Brown / Milt Jackson with Ray Brown (Verve)
• 1965: Donald Byrd – Up with Donald Byrd (Verve)
• 1965: Cal Tjader – Soul Sauce (Verve)
• 1966: Milt Jackson – Born Free (Limelight)
• 1969: Herbie Hancock – Baraka (Jazz World)
• 1970: Herbie Mann – Big Boss Mann
• 1970: Charles Earland - Black Drops (Prestige)
• 1972: Curtis Fuller - Smokin' (Mainstream)
• 1974: Red Garland – The Quota
• 1974: Milt Jackson – Olinga (CTI)
• 1976: Stanley Cowell – Regeneration
• 1994: Modern Jazz Quartet - MJQ & Friends: A 40th Anniversary Celebration (Atlantic)
• 2006: Nancy Wilson – Turned to Blue

Con Continuum Mad About Tadd (1980, Palo Alto Records)

•   Wikimedia Commons alberga una categoría multimedia sobre Jimmy Heath.