John Handy comenzó a destacar en los grupos de Charles Mingus (1958), y Randy Weston (1959), trasladándose después a la costa oeste, a San Francisco, donde lideró diversos cuartetos y quintetos, que incluían a músicos como Bobby Hutcherson o Pat Martino.

En la década de los 70, compone su obra más reconocida (Concierto para solistas de jazz y orquesta) y se interesa por la música de la India. En los 80, forma el quinteto Bebop and Beyond, con el pianista George Cables y se dedica, preferentemente, a la enseñanza.

Comenzó tocando el saxo alto, pero con el tiempo fue conformándose como un multi-instrumentista (saxo barítono, flauta, oboe, piano, percusión ...). Todo en él, estaba al servicio de la melodía: los recursos técnicos, las tramas armónicas, el uso de la variación como concepto; e, incluso, el propio timbre y el vibrato, que da una consistencia especial a cada nota de cada frase.^[1]​

• In the Vernacular (Roulette, 1959)
• No Coast Jazz (Roulette, 1960)
• Jazz (Roulette, 1962)
• Recorded Live at the Monterey Jazz Festival (Columbia, 1966)
• The 2nd John Handy Album (Columbia, 1966)
• New View! (Columbia, 1967)
• Projections (Columbia, 1968)
• Karuna Supreme (MPS, 1975) con Ali Akbar Khan
• Hard Work (Impulse!, 1976)
• Carnival (Impulse! 1977)
• Where Go the Boats (Warner Bros., 1978)
• Handy Dandy Man (Warner Bros., 1978)
• Rainbow (MPS, 1980) con Ali Akbar Khan y Dr. L. Subramaniam
• Excursion in Blue (Quartet, 1988)
• Centerpiece (Milestone, 1989) con CLASS
• Live at the Monterey Jazz Festival (Koch International Records, 1996)
• Live at Yoshi's Nightspot (Boulevard Records, 1996)
• John Handy's Musical Dreamland (Boulevard, 1996)

• Quote Unquote (Roulette, 1967) contains selections from In the Vernacular and No Coast Jazz

Con Brass Fever

• Brass Fever (Impulse!, 1975)
• Time Is Running Out (Impulse!, 1976)

Con Charles Mingus

• Jazz Portraits: Mingus in Wonderland (United Artists, 1959)
• Mingus Ah Um (Columbia, 1959)
• Mingus Dynasty (Columbia, 1959)
• Blues & Roots (Atlantic, 1960)
• Right Now: Live at the Jazz Workshop (Fantasy, 1964)

• CARLES, Phillipe; CLERGEAT, André & COMOLLI, Jean-Louis: Dictionaire du jazz . Robert Laffont Edt, París, 1988. ISBN 2-221-04516-5
• RIAMBAU, Joan: La discoteca ideal del jazz . Edt. Planeta. Barcelona, 1995. ISBN 84-08-01591-5