Nacido en Spokane, en el estado de Washington, Rowles estudió en la Universidad de Washington, Seattle. Después de mudarse a Los Ángeles, se unió al grupo de Lester Young en 1942. También trabajó para Benny Goodman, Woody Herman, Les Brown, Tommy Dorsey, y Tony Bennett, como músico de estudio.

En los años 50 y 60 tocó con Billie Holiday y Peggy Lee. Grabó con Sarah Vaughan con el Jimmy Rowles Quintet y acompañó a Carmen McRae en su álbum en vivo 1972, The Great American Songbook. McRae describió a Rowles como "el músico con el que cada cantante en su sano juicio le gustaría trabajar".

En 1973, trabajó en la ciudad de Nueva York, donde colaboró y trabajó con Zoot Sims y Stan Getz, entre otros.

En la década de 1980 sucedió a Paul Smith como acompañante de Ella Fitzgerald. Se presentó por primera vez con Fitzgerald en el club nocturno Mocambo en Hollywood a finales de 1956. Apareció en varias sesiones de grabación con ella en la década de 1960 antes de unirse a ella durante casi tres años en 1981. Apareció en la colaboración final de Fitzgerald con Nelson Riddle, To Come in 1982. Su canción "Baby, Do not You Quit Now", escrita con Johnny Mercer, fue grabada en su álbum final All That Jazz, lanzado en 1989.

En 1983, trabajó con Diana Krall en Los Ángeles, poco después de que ella dejara el Berklee College of Music en Boston. Desarrolló sus habilidades de intérprete y la animó a comenzar a cantar. En 1994, acompañó a la cantante de jazz Jeri Brown en A Timeless Place, el único álbum que contiene solo sus propias composiciones.

Compuso varias piezas de Jazz, entre ellas "The Peacocks" con Gary Foster en el álbum "Make your own Fun".

Murió de infarto en Los Ángeles a la edad de 78 años.

• 1954 Rare, But Well Done (Liberty)
• 1957 Bill Harris and Friends (Fantasy)
• 1958 Let's Get Acquainted with Jazz (for People Who Hate Jazz) (VSOP)
• 1958 Weather in a Jazz Vane (VSOP)
• 1959 Upper Classmen (Interlude)
• 1960 Fiorello Uptown, Mary Sunshine Downtown (Signature)
• 1963 Kinda Groovy (Capitol)
• 1968 Our Delight (VSOP)
• 1972 Some Other Spring (Blue Angel)
• 1974 Jazz Is a Fleeting Moment (Hazzz)
• 1974 The Special Magic of Jimmy Rowles (Halcyon)
• 1975 The Peacocks (Columbia, 1975) with Stan Getz
• 1976 Grand Paws (Choice)
• 1976 Music's the Only Thing That's on My Mind (Audiophile)
• 1977 Heavy Love (Xanadu) with Al Cohn
• 1978 Isfahan (Sonet)
• 1978 Jimmy Rowles Trio on Tour (SIR)
• 1978 Shade and Light (Ahead)
• 1978 We Could Make Such Beautiful Music Together ([Xanadu)
• 1978 Scarab (Musica)
• 1979 Tasty! (Concord Jazz)
• 1980 Paws That Refresh (Choice)
• 1981 Plays Ellington and Billy Strayhorn (Columbia)
• 1983 The Peacocks (Stash)
• 1985 I'm Glad There Is You: Jimmy Rowles, Vol. 2 (Contemporary)
• 1986 With the Red Mitchell Trio (Contemporary)
• 1988 Looking Back (Delos)
• 1988 Sometimes I'm Happy, Sometimes I'm Blue (Orange Blue)
• 1989 Plus 2, Plus 3, Plus 4 (JVC)
• 1990 Trio (Capri)
• 1994 Lilac Time (Kokopelli)
• 1995 A Timeless Place (Justin Time)
• 2000 Red 'n' Me (Dreyfus)
• 2002 Grandpa's Vibrato (Black & Blue)
• 2011 The Chess Players (Candid)
• 2014 Jam Face (Choice)

Con Pepper Adams

• Critics' Choice (World Pacific, 1957)
• Urban Dreams (Palo Alto, 1981)

Con Louis Bellson

• Skin Deep (Norgran, 1953)
• Music, Romance and Especially Love (Verve, 1957)

Con Bob Brookmeyer

• Bob Brookmeyer Plays Bob Brookmeyer and Some Others (Clef, 1955)
• Back Again (Sonet, 1978)

Con Hoagy Carmichael

• Hoagy Sings Carmichael (Pacific Jazz, 1956)

Con Benny Carter

• Jazz Giant (Contemporary, 1958)

Con Nat King Cole

• L-O-V-E (Capitol, 1965)

Con Harry Edison

• Sweets (Clef, 1956)

Con Ella Fitzgerald

• Whisper Not (Verve, 1967)
• The Best Is Yet to Come (Pablo, 1982)
• All That Jazz (Pablo, 1989)

Con Stan Getz

• Stan Getz and the Cool Sounds (Verve, 1953–55, [1957])
• The Peacocks (Columbia, 1975)

Con Jimmy Giuffre

• The Jimmy Giuffre Clarinet (Atlantic, 1956)
• Ad Lib (Verve, 1959)

Con Woody Herman

• Songs for Hip Lovers (Verve, 1957)

Con Billie Holiday

• Songs for Distingué Lovers (Verve, 1957)

Con Barney Kessel

• To Swing or Not to Swing (Contemporary, 1955)
• Music to Listen to Barney Kessel By (Contemporary, 1956)
• Let's Cook! (Contemporary, 1957 [1962])
• Some Like It Hot (Contemporary, 1959)

Con Lee Konitz

• Tenorlee (Choice, 1978)

Con Julie London

• Julie (Liberty, 1957)

Con Herbie Mann

• Great Ideas of Western Mann (Riverside, 1957)
• The Magic Flute of Herbie Mann (Verve, 1957)

Con Carmen McRae

• The Great American Songbook (Atlantic, 1972)

Con Gerry Mulligan

• Gerry Mulligan Quartet Volume 1 (2 CD tracks) (Pacific Jazz, 1952)
• Gerry Mulligan Meets Ben Webster (Verve 1959)

Con Buddy Rich

• The Wailing Buddy Rich (Norgran, 1955)

Con Pete Rugolo

• The Music from Richard Diamond (EmArcy, 1959)
• The Original Music of Thriller (Time, 1961)
• 10 Saxophones and 2 Basses (Mercury, 1961)

Con Bud Shank

• Bud Shank - Shorty Rogers - Bill Perkins (Pacific Jazz, 1955)

Con Zoot Sims

• Party (Choice, 1976)
• If I'm Lucky (Pablo, 1977)
• Warm Tenor (Pablo, 1978)
• Passion Flower (Pablo, 1979)
• I Wish I Were Twins (Pablo, 1980)
• For Lady Day (Pablo, 1981)
• The Swinger (Pablo, 1982)
• Suddenly It's Spring (Pablo, 1983)
• Live in San Francisco 1978 (Fog, 2014)

Con Sonny Stitt

• Sonny Stitt Plays Jimmy Giuffre Arrangements (Verve, 1959)

Con Ben Webster

• Ben Webster at the Renaissance (Contemporary, 1960)

Con Buster Williams

• Heartbeat (Muse, 1978)

Con Gerald Wilson

• California Soul (Pacific Jazz, 1968)

Con Phil Woods y Lew Tabackin

• Phil Woods/Lew Tabackin (Omnisound, 1981)