Keltner es especialmente conocido por su labor en los trabajos discográficos en solitario de tres de los Beatles, participando en discos de George Harrison, John Lennon (incluido trabajos discográficos de su esposa, Yoko Ono, y de la primera banda de Lennon, Plastic Ono Band), y Ringo Starr.

En 1970 participó en la larga gira por los Estados Unidos titulada Mad Dogs and Englishmen y el álbum en directo que la reflejó del músico británico Joe Cocker, publicado por la compañía discográfica A&M Records en agosto de 1970, que incluye temas rock (The Rolling Stones, Traffic, Bob Dylan, The Beatles, Leon Russell) y soul (Ray Charles, Sam and Dave, Otis Redding). Acompañando a Cocker se incluyen un coro, una sección de viento de tres miembros y 3 baterías, uno de ellos Keltner. Leon Russell como Crew Manager reclutó a los músicos, muchos de ellos de sus contactos con Delaney and Bonnie (Rita Coolidge, Carl Radle, Jim Price, Jim Horn y Jim Gordon) y The Wrecking Crew (Jim Keltner).

Él y Ringo Starr fueron los baterías encargados de tocar en The Concert for Bangladesh, primer concierto benéfico organizado por George Harrison y Ravi Shankar en agosto de 1971. Keltner se uniría en 1974, tras numerosas llamadas, a la gira norteamericana desarrollada por Ravi Shankar y George Harrison, cuyo primer concierto tuvo lugar el 20 de noviembre de 1974.

La relación de Keltner con los miembros de The Beatles fue suficiente como para ser el centro de atención en algunas parodias organizadas tanto por Harrison como por Starr en 1973. En la primavera del mismo año, Paul McCartney, el único Beatle que nunca trabajó con Keltner, incluiría una nota en la contratapa del álbum de Wings Red Rose Speedway, animando a los seguidores a unirse al Wings Fun Club enviando una carta con nombre y dirección a un apartado de Londres. Más tarde el mismo año, Harrison y Starr animarían a sus seguidores, en los álbumes Living in the Material World y Ringo respectivamente, a unirse al Jim Keltner Fun Club mandando un elefante con nombre y apellido a una dirección de Hollywood, parodiando a McCartney. En el video del tema "This Song", de George Harrison, Keltner figura en el papel de juez.

A finales de los 80, Keltner se uniría a la All-Starr Band creada por Ringo. También tocaría la batería en los dos álbumes grabados por Traveling Wilburys, supergrupo formado por Harrison y en el que figuraban Roy Orbison, Bob Dylan, Tom Petty y Jeff Lynne, bajo el seudónimo de Buster Sidebury.

Como percusionista, Keltner comenzó en el campo del jazz, si bien la primera sesión a la que asistiría sería la grabación del tema "She's Just My Style", del grupo de pop Gary Lewis and the Playboys. De forma adicional a su trabajo con los tres Beatles, Keltner, como batería independiente, ha trabajado para Jerry García, Eric Clapton, Joe Cocker, The Rolling Stones, Ron Wood, Bill Wyman, Mick Jagger, Keith Richards, Bob Dylan, Joni Mitchell, Brian Wilson, Bill Frisell, Neil Young, Phil Keaggy, Crowded House, Fiona Apple, Elvis Costello, The Bee Gees, Ry Cooder, Sam Phillips, Pink Floyd, Steely Dan, Rufus Wainwright, Tom Petty, la Steve Miller Band y Lucinda Williams, León Gieco (Argentina), entre otros.

En 1987, Keltner, junto al guitarrista Ry Cooder y el bajista Nick Lowe, se reunieron para tocar en el álbum de John Hiatt Bring The Family. Cinco años después, los cuatro músicos se reunirían bajo el nombre de Little Village, llegando a grabar un álbum del mismo nombre.

A finales de 1992, se cumplieron 30 años del comienzo de la carrera musical de Dylan en 1962, lo que se conmemoró con un concierto homenaje que tuvo lugar el 16 de octubre de 1992 en el Madison Square Garden de Nueva York. La banda soporte del concierto estuvo formada por Jim Keltner y por los miembros supervivientes del grupo Booker T. & the M.G.'s: Booker T. Jones en el órgano, Donald "Duck" Dunn en el bajo y Steve Cropper en la guitarra, además del batería Anton Fig en sustitución de Al Jackson. El evento se grabó en vivo y posteriormente fue publicado como álbum en directo por Columbia Records en agosto de 1993, bajo el título de The 30th Anniversary Concert Celebration. El álbum incluyó la participación de numerosos artistas y captura las interpretaciones más memorables de celebridades del panorama musical (contó con la presencia de John Mellencamp, Stevie Wonder, Lou Reed, Johnny Cash, Eric Clapton, Neil Young, George Harrison y Chrissie Hynde entre otros), con versiones de canciones clásicas de Dylan, así como unas canciones interpretadas por el propio Dylan al final del evento.

El 29 de noviembre de 2002, Jim tocó en el Concert for George, concierto homenaje a George Harrison, un año después de su fallecimiento. Previamente, había grabado junto a Dhani Harrison y a Jeff Lynne el álbum póstumo de Harrison, Brainwashed.

En diciembre de 2003, Jim participó en el concierto Old Friends:Live on Stage con Paul Simon & Art Garfunkel en Nueva York.

En 2006, saldría de gira con T Bone Burnett en la gira The True False Identity. Más tarde, sería requerido para participar en el álbum Last Man Standing, de Jerry Lee Lewis. En 2011, trabajó en el nuevo disco de León Gieco, El desembarco, que salió a la venta en noviembre de ese año.