Cuando era adolescente, Taylor se unió a una banda local de Harlem que incluía a los futuros mitos del jazz, Sonny Rollins, Jackie McLean y Kenny Drew. Después de tocar en las bandas de Howard McGhee (1948), Coleman Hawkins (1950–51), Buddy DeFranco (1952), Bud Powell (1953), George Wallington y Art Farmer (1954), Powell y Wallington nuevamente (1954–55) Gigi Gryce y Donald Byrd (1956), formó su propio grupo, Taylor's Wailers.^[2]​ Entre 1957 y 1963 realizó una gira con Donald Byrd , grabó con Miles Davis, Gene Ammons y John Coltrane, y actuó con Thelonious Monk. También fue miembro del Kenny Dorham Quartet original de 1957.

En 1963 se mudó a Europa, donde vivió principalmente en Francia y Bélgica durante 20 años, tocando con grupos locales y músicos de jazz como Johnny Griffin, John Bodwin y con músicos estadounidenses que viajan como Woody Shaw durante la estancia de este último en París. Regresó a los Estados Unidos para ayudar a su madre, que estaba enferma.^[3]​ Continuó trabajando de forma independiente después de regresar a los Estados Unidos, y en 1993 organizó una segunda banda llamada Taylor's Wailers. Murió en el Hospital Beth Israel en Manhattan.^[1]​

Fue autor de Notes and Tones, un libro basado en sus entrevistas con otros músicos.^[4]​ Esto fue, para muchos músicos, un trabajo innovador, porque presentó las perspectivas de los entrevistados sobre las fuerzas sociales, políticas y económicas más amplias en las que operaban, temas que normalmente no se mencionan en la cobertura general de los músicos de jazz.^[4]​

• Taylor's Wailers (Prestige, 1957)
• Taylor's Tenors (Prestige, 1959)
• A.T.'s Delight (Blue Note, 1960)
• Mr. A.T. (Enja, 1991)
• Wailin' At The Vanguard (Verve, 1991)

Con Thelonious Monk

• Thelonious Monk y Sonny Rollins (Prestige, 1956)
• Thelonious Monk Orchestra en el Town Hall (Riverside, 1956)
• 5 by Monk by Five (Riverside, 1929)

Con Gene Ammons

• The Happy Blues (Prestige, 1956)
• Jammin' with Gene (Prestige, 1956)
• Funky (Prestige, 1957)
• Jammin' in Hi Fi with Gene Ammons (Prestige, 1957)
• The Big Sound (Prestige, 1958)
• Groove Blues (Prestige, 1958)
• Blue Gene (Prestige, 1958)
• Boss Tenor (Prestige, 1960)
• Velvet Soul (Prestige, 1960 [1964])
• Angel Eyes (Prestige, 1960 [1965])
• Up Tight! (Prestige, 1961)
• Boss Soul! (Prestige, 1961)

Con Chris Anderson

• My Romance (Vee-Jay, 1960 [1983]),

Con Dorothy Ashby

• In a Minor Groove (New Jazz, 1958)
• Hip Harp (Prestige, 1958)

Con Benny Bailey

• Big Brass (Candid, 1960)

Con Kenny Burrell

• All Night Long (Prestige, 1956)
• All Day Long (Prestige, 1957)
• 2 Guitars – with Jimmy Raney (Prestige, 1957)
• Just Wailin' (New Jazz, 1958) with Herbie Mann, Charlie Rouse and Mal Waldron

Con Donald Byrd

• 2 Trumpets (Prestige, 1956) – with Art Farmer
• Jazz Eyes (Regent, 1957) – with John Jenkins
• Off to the Races (Blue Note, 1958)
• Byrd in Hand (Blue Note, 1959)

Con Paul Chambers

• Bass on Top (1957)

Con Sonny Clark

• Sonny's Crib (Blue Note, 1957)

Con James Clay

• The Sound of the Wide Open Spaces!!!! (Riverside, 1960) – with David "Fathead" Newman

Con Jimmy Cleveland

• A Map of Jimmy Cleveland (Mercury, 1959)

Con Arnett Cobb

• Party Time (Prestige, 1959)
• More Party Time (Prestige, 1960)
• Movin' Right Along (Prestige, 1960)

Con Pepper Adams

• Baritones and French Horns (1957)

Con John Coltrane

• Wheelin' & Dealin' (1957)
• Trane's Blues (1957)
• The Dealers (1957)
• Black Pearls (1958)
• Lush Life (1958)
• The Believer (1958)
• Settin' the Pace (1958)
• The Last Trane (1958)
• Jazz Way Out (1958)
• Traneing In (1958)
• Soultrane (1958)
• Giant Steps (1959)
• Bahia (1964)
• Alternate Takes (1975)

Con Continuum

• Mad About Tadd (1980, Palo Alto Records)^[5]​

Con Eddie "Lockjaw" Davis

• Goin 'to the meeting (Prestigio, 1962)

Con Miles Davis

• Miles Ahead (1957)
• Colector's Items (Prestige, 1956)

Con Walter Davis Jr.

• Davis Cup (1959)

Con Kenny Dorham

• Show Boat (1960)

Con Art Farmer

• The Art Farmer Septet (Prestige, 1953–54)
• When Farmer Met Gryce (Prestige, 1955) - con Gigi Gryce

Con Tommy Flanagan

• Thelonica (Enja, 1982)

Con Red Garland

• A Garland of Red (Prestige, 1956)
• Red Garland Revisited! (Prestige, 1957 [1969])
• The P.C. Blues (Prestige 1956–57 [1970])
• Groovy (Prestige, 1956–57)
• All Mornin' Long (Prestige, 1957)
• Soul Junction (Prestige, 1957)
• High Pressure (Prestige, 1957 [1962])
• The Red Garland Trio (Moodsville, 1958 [1960])
• All Kinds of Weather (Prestige, 1958)
• The Red Garland Trio + Eddie "Lockjaw" Davis (Moodsville, 1959)
• Halleloo-Y'-All (Prestige, 1960)

Con Matthew Gee

• Jazz by Gee (Riverside, 1956)

Con Benny Golson

• Gettin' with It (New Jazz, 1959)
• Free (Argo, 1962)

Con Dexter Gordon

• One Flight Up (Blue Note, 1964)
• The Squirrel (Blue Note, 1967 [1997])
• A Day in Copenhagen (MPS, 1969) – with Slide Hampton

Con Bennie Green

• Hornful of Soul (1960)

Con Johnny Griffin

• Do Nothing 'til You Hear from Me (Riverside, 1963)

Con Tiny Grimes

• Tiny in Swingville (Swingville, 1959) - con Jerome Richardson

Con Gigi Gryce

• Jazz Lab (Columbia, 1957) - con Donald Byrd
• Gigi Gryce y el Jazz Lab Quintet (Riverside, 1957)
• Perspectiva del jazz moderno (Columbia, 1957) - con Donald Byrd
• Nuevas fórmulas del Jazz Lab (RCA Victor, 1957) con Donald Byrd
• Jazz Lab (Jubilee, 1958) con Donald Byrd
• Doin 'the Gigi (Uptown, 2011)

Con Ernie Henry

• Presentando a Ernie Henry (Riverside, 1956)

Con Elmo Hope y Frank Foster.

• Hope Meets Foster (Prestige, 1955)

Con Milt Jackson

• Bags & Flutes (Atlantic, 1957)

Con Thad Jones

• After Hours (Prestige, 1957)

Con Clifford Jordan

• Cliff Jordan (Blue Note, 1957)

Con Duque Jordan

• Flight to Jordan (Blue Note, 1960)

Con Ken McIntyre

• Looking Ahead (New Jazz, 1960) with Eric Dolphy

Con Jackie McLean

• Lights Out! (Prestige, 1956)
• 4, 5 and 6 (Prestige, 1956)
• McLean's Scene (Prestige, 1957)
• Alto Madness (Prestige, 1957)
• Strange Blues (Prestige, 1957)
• A Long Drink of the Blues (Prestige, 1957)
• Makin' the Changes (Prestige, 1957 [1959])
• Swing, Swang, Swingin' (Blue Note, 1959)
• Capuchin Swing (Blue Note, 1960)

Con Lee Morgan

• Introducing Lee Morgan (1956)
• City Lights (Blue Note, 1957)
• Candy (Blue Note, 1957)

Con Oliver Nelson

• Meet Oliver Nelson (New Jazz, 1959)

Con Cecil Payne

• Patterns of Jazz (Savoy, 1956)

Con The Prestige All Stars

• Interplay for 2 Trumpets and 2 Tenors (Prestige, 1957)

Con Bud Powell

• The Amazing Bud Powell, Vol. 2 (Blue Note, 1954)
• Bud Powell Trio (Roost, 1953)
• Birdland, 1953 (ESP Disk, 1953)
• Three Nights at Birdland (SSJ, 1953)
• Bud Powell's Moods (Verve, 1954)
• The Lonely One (Verve, 1955)
• Piano Interpretations (Verve, 1955)
• Strictly Powell (RCA, 1956)
• Swingin with Bud (RCA, 1956)
• Bud plays Bird (Blue Note, 1957)
• Bud! (Blue Note, 1957)
• The Scene Changes (Blue Note, 1958)

Con Julian Priester

• Spiritsville (Jazzland, 1960)

Con Dizzy Reece

• Blues in Trinity (1958)

Con Charlie Rouse

• Takin 'Care of Business (Jazzland, 1960)

Con Sahib Shihab

• Jazz Sahib (Saboya, 1957)

Con Horace Silver

• Silver's Blue (Columbia, 1956)

Con Jimmy Smith

• Damn! (Verve, 1995)

Con Johnny "Hammond" Smith

• Talk That Talk (New Jazz, 1960)
• Open House (Riverside, 1963)

Con Louis Smith

• Here Comes Louis Smith (Blue Note, 1958)

Con Sonny Stitt

• Stitt Meets Brother Jack (Prestige, 1962) – con Jack McDuff

Con Buddy Tate

• Tate-a-Tate (Swingville, 1960) con Clark Terry

Con Clark Terry

• Top and Bottom Brass (Riverside, 1959)

Con Toots Thielmans

• Man Bites Harmonica! (Riverside, 1957)

Con Stanley Turrentine

• ZT's Blues (1961)

Con Mal Waldron

• Mal-2 (1957)

Con Randy Weston

• African Cookbook (Polydor [France], 1969)
• Niles Littlebig (Polydor [France], 1969)

Con Julius Watkins y Charlie Rouse.

• Les Jazz Modes (Amanecer, 1957)

Con Lem Winchester

• Winchester Special (New Jazz, 1959)
• Lem's Beat (New Jazz, 1960)

Con Kai Winding y JJ Johnson

• The Great Kai & J. J. (Impulse!, 1960)

Con Frank Wright

• Uhuru na Umoja (América, 1970)