Desde muy pequeño la música ha influenciado en su vida. Su padre tocaba el trombón y su madre le dio clases de piano.^[3]​ El director y vibrafonista Lionel Hampton le regaló a la edad de cinco años un set de palos de vibráfono que empezaría a usar a los 17 años.

A los 20 años, se sumergió en el West Coast Jazz, grabando con Curtis Amy (1962), Jack Wilson (1963-1967) y con la Gerald Wilson Orchestra (1965-1966); y tocando con Teddy Edwards, Chico Hamilton, Hampton Hawes y Phineas Newborn. Una sesión con Herbie Mann en el Lighthouse de Hermosa Beach le llevó a colaborar con el versátil flautista durante cuatro años (1966-1970) y adquiriendo una experiencia que le permitió abrirse a nuevos estilos musicales más allá del bebop.^[4]​^[5]​

Tras participar brillantemente en el famoso disco de Herbie Mann, Memphis Underground, y grabar tres discos como solista para Atlantic bajo la supervisión del flautista, Ayers abandonó el grupo en 1970 para formar el Roy Ayers Ubiquity,^[6]​ que grabó varios discos para Polydor contando con artistas como Sonny Fortune, Billy Cobham, Omar Hakim y Alphonse Mouzon.

Influenciados en principio por el Miles Davis eléctrónico y por el sexteto de Herbie Hancock, el grupo de Ayers fue abandonando progresivamente el jazz para aproximarse al R&B, al funk y a la música disco. En esa época también es artista invitado en dos álbumes del saxo David "Fathead" Newman: Lonely Avenue (1972) y Newmanism (1974).^[7]​

En los años ochenta, Ayers colaboró también con el músico nigeriano Fela Anikulapo-Kuti, formando la compañía Uno Melodic Records, y produciendo y/o coescribiendo varias grabaciones para distintos artistas.^[8]​ En el momento en que se produjo la fusión del jazz con el hip-hop a comienzos de la década de los noventa, Ayers apareció en el disco fundador de Gurú, Jazzmatazz, en 1993, y tocó en clubes de Nueva York con el propio Gurú y con Donald Byrd.^[9]​

En el documental Roy Ayers Project se recoge el testimonio de un buen número de productores de hip-hop y otras muchas personas que han sido influenciadas por Ayers y su música en sus carreras profesionales.^[10]​ Pharrell Williams cita al compositor como uno de sus ídolos.^[11]​