Con once años ya formó parte de diversas orquestas estudiantiles, antes de estudiar en la Juilliard School. Ya profesional, tocó con Edmond Hall y, después, con su propio trío, con el que tocó regularmente, durante veinte años, en el Village Vanguard de Nueva York. En los años 1940, grabó con Coleman Hawkins, Mildred Bailey y Dicky Wells, y con Ella Fitzgerald y Ruby Braff en los cincuenta. A partir de 1963, se convierte en asiduo acompañante de diversos cantantes, entre los que se incluyeron Eartha Kitt, Joe Williams, Helen Humes, Georgia Gibbs y Harry Belafonte. Vuelve con Ella Fitzgerald a mediados de la década de 1970 y, sobre todo, regresa al formato trío para tocar en clubs.

Larkins ha quedado en la historia del jazz como un relevante acompañante, debido en parte a la escasez de grabaciones como titular, pero sobre todo por su musicalidad, sensibilidad e inteligencia que convertía cada acorde en algo importante.^[1]​ La única influencia que puede percibirse es la de Erroll Garner, aunque siempre con una quietud que aquel no tenía. Su estilo le granjeó una gran popularidad entre el público blanco.^[2]​

con Ruby Braff

• Ruby Braff and Ellis Larkins: Calling Berlin, Vol. 1 (Arbors)
• Ruby Braff and Ellis Larkins: Calling Berlin, Vol. 2 (Arbors)
• Ruby Braff and Ellis Larkins: 2 Part Inventions in Jazz, (Vanguard/Pye)

con Ella Fitzgerald

• Ella Sings Gershwin (1950, Decca)
• Songs in a Mellow Mood (1954, Decca)
• "You Turned the Tables on Me", "Nice Work If You Can Get It", "I've Got a Crush on You" en el disco Newport Jazz Festival: Live at Carnegie Hall (1973, Pablo)

• CARLES, Phillipe; CLERGEAT, André & COMOLLI, Jean-Louis: Dictionaire du jazz . Robert Laffont Edt, París, 1988. ISBN 2-221-04516-5
• Balliet, Whitney: Perfil de Ellis Larkins. New Yorker