Golub estudió en la Berklee College of Music en Boston. En 1980, se trasladó a Nueva York y trabajó junto al guitarrista Billy Squier. Durante la década de los 80 y los 90, fue músico de estudio de Ashford & Simpson, Tina Turner, John Waite, Dar Williams, Vanessa Williams, y Peter Wolf. Entre 1988 y 1995, grabó e hizo giras con Rod Stewart.^[2]​ También formó parte del grupo de Dave Koz and the Kozmos, el grupo del programa de televisión The Emeril Lagasse Show.^[3]​

En 1988, Golub grabó si primer álbum de estudio en solitario Unspoken Words. En 1994, formó la banda Avenue Blue, y grabaron su primer disco como conjunto Avenue Blue Featuring Jeff Golub. Para el álbum Out of the Blue (Atlantic, 1999), eliminó el prefijo Avenue Blue y grabó simplemente como Jeff Golub. Grabó un álbum de blues con Billy Squier, Peter Wolf y John Waite, y un álbum con el pianista de jazz ciego Henry Butler en 2011..^[2]​

En 2011, Golub perdió la vista debido a la presión sobre su nervio óptico. En septiembre de 2012, cayó sobre las vías del metro, pero fue salvado por personas cercanas. Fue trasladado al hospital con heridas leves.^[2]​^[4]​^[5]​^[6]​ Poco después, grabó el álbum Train Keeps A-Rollin' junto al teclista Brian Auger.^[2]​

En 2014, se le diagnóstico parálisis supranuclear progresiva. El primer día de 2015, murió de esta enfermedad, pocos meses antes de cumplir 60 años.^[2]​^[5]​

• Unspoken Words (Gaia, 1988)
• Avenue Blue Featuring Jeff Golub (Bluemoon, 1994)
• Naked City (Bluemoon, 1996)
• Nightlife (Bluemoon, 1997)
• Out of the Blue (Bluemoon/Atlantic, 1999)
• Dangerous Curves (GRP, 2000)
• Do It Again (GRP, 2002)
• Soul Sessions (Verve, 2003)
• Temptation (Narada, 2005)
• Grand Central (Narada, 2007)
• Six String Santa (Metro Café, 2007)
• Blues for You (E1, 2009)
• The Three Kings (E1, 2011)
• Train Keeps a-Rolling (E1, 2013)
• The Vault (E1, 2015)

Con Rick Braun

• Night Walk (Bluemoon, 1994)
• Beat Street (Bluemoon, 1995)
• Body and Soul (Bluemoon, 1997)
• Full Stride (Atlantic, 1998)
• Yours Truly (Artizen, 2005)
• Sessions Volume 1 (Artizen, 2006)

Con Rod Stewart

• Vagabond Heart (Warner Bros., 1991)
• Unplugged ...and Seated (Warner Bros., 1993)
• A Spanner in the Works (Warner Bros., 1995)

Con Billy Squier

• Emotions in Motion (Capitol, 1982)
• Signs of Life (Capitol, 1984)
• Enough Is Enough (Capitol, 1986)
• Hear & Now (Capitol, 1989)
• Creatures of Habit (Capitol, 1991)
• Tell the Truth (Capitol, 1993)

Con otros

• Marc Antoine, Universal Language (Verve, 2000)
• Gato Barbieri, Que Pasa (Columbia, 1997)
• David Benoit, Conversation (Heads Up, 2012)
• David Broza, Away from Home (EMI, 1989)
• Steve Cole, True (Narada, 2006)
• Richard Elliot, Crush (GRP, 2001)
• Bill Evans, The Alternative Man (Blue Note, 1985)
• Bill Evans, Push (Lipstick, 1994)
• Steve Ferrone, More Head (Drumroll 2006)
• Euge Groove, S7ven Large (Shanachie, 2011)
• Everette Harp, for the Love (Blue Note, 2000)
• Marcia Hines, Time of Our Lives (WEA, 1999)
• Grayson Hugh, Road to Freedom (MCA, 1992)
• Bob James & Kirk Whalum, Joined at the Hip (Evosound, 2019)
• Michael Lington, Pure (Trippin 'n' Rhythm 2012)
• Jimmy Norman, Little Pieces (Wildflower, 2004)
• Philippe Saisse, Halfway 'Til Dawn (GRP, 1999)
• Philippe Saisse, At World's Edge (Koch, 2009)
• Miu Sakamoto, Dawn Pink (WEA, Japan 1999)
• Paul Shaffer, Coast to Coast (Capitol, 1989)
• Tina Turner, Simply the Best (Capitol, 1991)
• Randy VanWarmer, Beat of Love (Bearsville, 1981)
• Kirk Whalum, Everything Is Everything (Mack Avenue, 2010)
• Cheryl Wheeler, Mrs. Pinocci's Guitar (Philo, 1995)
• Bernie Williams, Moving Forward (in-akustik, 2010)
• Dar Williams, End of the Summer (Razor & Tie, 1997)
• Peter Wolf, Come As You Are (EMI, 1987)

• Sitio web oficial