Es conocido sobre todo por su trabajo de 1951 a 1952 y de 1953 a 1954 con el trío de Red Norvo (reemplazando a Tal Farlow) y más tarde de 1962 a 1963, con Stan Getz en la difusión de la Bossa Nova fuera de Brasil.^[1]​ En 1954 y 1955 gana el premio de Down Beat para guitarra.^[2]​ Raney trabajó en diversos estilos de jazz, incluyendo cool jazz, bebop, post bop, hard bop y mainstream jazz.

En 1946 comienza trabajando durante un tiempo como guitarrista con el Cuarteto de Max Miller en el club Elmer en Chicago. Raney también ha trabajado en la Orquesta de Artie Shaw y colaborado con Woody Herman durante nueve meses en 1948. También ha colaborado y grabado con Buddy DeFranco, Al Haig y más tarde con Bob Brookmeyer. En 1967 el alcoholismo y otras dificultades profesionales le impulsaron a dejar Nueva York y regresar a su ciudad natal de Louisville.^[3]​ Resurgió en los años 70 y también trabajó con su hijo Doug, quién también es guitarrista.^[4]​

Raney padeció durante treinta años la enfermedad de Ménière, una dolencia degenerativa que finalmente le llevó a la sordera completa de ambos oídos y a pesar de esto no paró de tocar. Murió de fallo cardíaco en Louisville el 10 de mayo de 1995. Su necrológica en el New York Times le definió como "uno de los más dotados guitarristas de jazz de la posguerra e influyente en todo el mundo".^[5]​

• 1954 Together con Sonny Clark, Red Mitchell, Bobby White (Xanadu)
• 1954 Minor, Back and Blow
• 1954 Five
• 1954 Visits Paris (Fresh Sound, 1954–55)
• 1954-55 A (Prestige, released 1957)
• 1956 Indian Summer
• 1956 Jimmy Raney in Three Attitudes (ABC-Paramount 1957) con Bob Brookmeyer, Al Cohn y Red Mitchell
• 1956 Jimmy Raney Featuring Bob Brookmeyer (ABC-Paramount) con Bob Brookmeyer
• 1957 2 Guitars (Prestige) con Kenny Burrell
• 1957 The Street Swingers (World Pacific) con Bob Brookmeyer y Jim Hall
• 1964 Two Jims and Zoot (Mainstream) con Zoot Sims y Jim Hall
• 1957-69 Strings and Swings (Muse) released 1972
• 1974 Raney Haig Special Brew con Al Haig
• 1974 Momentum with Richard Davis, Alan Dawson (Pausa Records)
• 1975 The Influence (Xanadu)
• 1976 Live in Tokyo (Xanadu)
• 1976 Solo (Xanadu)
• 1976 Jim And I con Attila Zoller
• 1976 The Complete Jimmy Raney In Tokyo (Xanadu) con Charles McPherson, Barry Harris, Sam Jones
• 1979 Stolen Moments (Steeplechase) con Doug Raney, Michael Moore
• 1979 Duets (Steeplechase) con Doug Raney
• 1980 Here's That Rainy Day (Black & Blue) con Hank Jones, Pierre Michelot, Jimmy Cobb
• 1981 Raney '81 (Criss Cross)
• 1983 The Master (Criss Cross) con Kirk Lightsey
• 1983 Nardis (Steeplechase) con Doug Raney
• 1985 Wisteria (Criss Cross) con Tommy Flanagan, George Mraz
• 1985 In Good Company – con Ted Brown (Criss Cross)
• 1990 But Beautiful (Criss Cross) con George Mraz, Lewis Nash

• 1949 Artie Shaw: The Artistry of Artie Shaw (Fresh Sound)
• 1950 Stan Getz: The Complete Roost Recordings (Roost, 1950-54)
• 1951 Teddy Charles: New Directions (OJC, 1951-53)
• 1951 Stan Getz: At Storyville (Blue Note Records)
• 1952 Teddy Charles: Collaboration West (Prestige)
• 1952 Stan Getz: Stan Getz Plays (Norgran)
• 1954 Red Norvo: Trio (OJC)
• 1954 Al Cohn: Mr. Music (RCA Victor) - acreditado como Sir Osbert Habedasher
• 1955 Bob Brookmeyer: The Dual Role of Bob Brookmeyer (Prestige)
• 1955 Al Cohn, Bill Perkins y Richie Kamuca: The Brothers! (RCA Victor, 1955) - como Sam Beethoven
• 1956 Teddy Charles: Word from Bird (Atlantic)
• 1962 Lalo Schifrin: Lalo = Brilliance (Roulette)
• 1962 Manny Albam: Jazz Goes to the Movies (Impulse!)
• 1962 Bob Brookmeyer: Trombone Jazz Samba (Verve)
• 1962 Eddie Harris: Bossa Nova (Vee-Jay)
• 1962 Dave Pike: Limbo Carnival (New Jazz), Dave Pike Plays the Jazz Version of Oliver! (Moodsville)
• 1963 Lalo Schifrin y Bob Brookmeyer: Samba Para Dos (Verve)
• 1963 Gary McFarland: Point of Departure (Impulse!)
• 1965 Helen Merrill: The Artistry of Helen Merrill (Mainstream)
• 1965 Dannie Richmond: "In" Jazz for the Culture Set (Impulse!)
• 1965 Shirley Scott: Latin Shadows (Impulse!)
• 1976 Barry Harris: Tokyo 1976 (Xanadu)
• 1976 Charles McPherson: Live in Tokyo (Xanadu)

• Jimmy Raney fansite
• Jimmy Raney en Discogs