Nació en Gary, Indiana, con padres asirios de Irán. ^[1]​ ^[2]​ Creció en Chicago, ^[3]​ y finalmente estudió en la Escuela de Percusión Roy C. Knapp ubicada allí. ^[4]​

Antes de servir en la Marina durante la Segunda Guerra Mundial, ^[3]​ apoyó a diferentes artistas en clubes de jazz de Chicago, incluida la cantante Billie Holiday. ^[5]​ A finales de la década de 1940, Alexander comenzó a trabajar con Jimmy McPartland en Chicago y, en 1952, comenzó a tocar en la banda del pianista Marian McPartland. A mediados de la década de 1950, tocó y grabó con la Orquesta Sauter-Finegan y con el guitarrista Johnny Smith. En 1956 acompañó a Benny Goodman en una gira por el Lejano Oriente y posteriormente viajó con él hasta principios de los años 1970 también a otros lugares, como Sudamérica y Europa. ^[5]​ Más tarde, en la década de 1950, trabajó a menudo con Bud Freeman y Eddie Condon. También tocó con Charlie Ventura, Red Norvo, Clark Terry, Ralph Sutton, Sy Oliver y Doc Severinsen. Alexander trabajó como autónomo durante la década de 1960 con varias bandas. En la década de 1970, grabó para el productor de jazz Harry Lim y el sello discográfico Famous Door, y en 1972 acompañó a la cantante Pearl Bailey cuando ésta actuó para el presidente Richard Nixon en la Casa Blanca. ^[3]​

Sufrió un derrame cerebral en 1980. Tras un periodo de recuperación, continuó tocando jazz hasta su muerte en 1988. Murió de insuficiencia cardíaca e insuficiencia renal.

• The Mouse Roars! (Famous Door, 1979)

Con Johnny Smith

• The Johnny Smith Quartet (Roost, 1955)
• The Johnny Smith Foursome Vol. II (Roost, 1957)
• Plus the Trio (Roost, 1960)
• The Johnny Smith Stan Getz Years (Roulette, 1978)

Con Charlie Ventura

• The New Charlie Ventura in Hi-Fi (Baton, 1956)
• Plays Hi-Fi Jazz (Tops, 1957)
• Chazz '77 (Famous Door, 1977)
• Charlie Ventura Quintet (Hall of Fame, 1978)

Con otros

• Eddie Barefield, The Indestructible E. B. (Famous Door, 1977)
• Mike Bryan, Mike Bryan and His Sextet in Concert (Storyville, 1962)
• Mike Bryan, Mike Bryan Sextet (Storyville, 1981)
• John Bunch, John's Bunch (Famous Door, 1975)
• John Carisi, The New Jazz Sound of Show Boat (Columbia, 1960)
• Buck Clayton & Buddy Tate, Buck & Buddy (Prestige Swingville, 1961)
• Buck Clayton & Buddy Tate, Kansas City Nights (Prestige 1974)
• Billy Franklin, The Golden Horn of Billy Franklin (Grand Prix Series 1962)
• Urbie Green, Ross Tompkins, Carl Fontana, Oleo (Pausa, 1978)
• Beverly Kenney, Sings for Johnny Smith (Roost, 1956)
• Lee Konitz, Spirits (Milestone, 1972)
• Gene Krupa, Percussion King (Verve, 1961)
• Marky Markowitz, Mark's Vibes (Famous Door, 1976)
• Jimmy McPartland & Marian McPartland, Play TV Themes (Design, 1960)
• Red Norvo, The Second Time Around (Famous Door, 1975)
• Nat Pierce, The Ballad of Jazz Street (Zim, 1980)
• Sal Salvador, Jazz Unlimited (Jazz Unlimited, 1961)
• Sauter-Finegan Orchestra, Inside Sauter-Finegan (RCA Victor, 1954)
• Zoot Sims & Jimmy Rowles, Zoot Suite (High Note, 1973)
• Zoot Sims & Jimmy Rowles, If I'm Lucky (Pablo, 1977)
• Zoot Sims & Jimmy Rowles, Warm Tenor (Pablo, 1979)
• Derek Smith, Toasting Derek Smith (Time, 1962)
• Jeri Southern, Jeri Southern Meets Johnny Smith (Roulette, 1958)
• Lou Stein, Jazz Trio (Jump, 1971)
• Rex Stewart, Redhead (Design, 1958)
• Rex Stewart, Henderson Homecoming (United Artists, 1959)
• Ralph Sutton, Ruby Braff, On Sunnie's Side of the Street (Blue Angel Jazz Club, 1968)
• Clark Terry, In Concert Live (Etoile, 1973)
• Phil Wilson, That's All (Famous Door, 1976)
• Jimmy Witherspoon, Goin' to Kansas City Blues (RCA Victor, 1958)

• Eugene Chadbourne, Elmer Alexander en Allmusic

• Obituario del New York Times