A nivel universitario jugó para Delaware Fightin' Blue Hens, pero como jugador pasó la mayor parte de su carrera en las ligas menores desde su primer contrato en 1958 con los Philadelphia Phillies. Estuvo en el sistema de ligas menores de los Phillies por seis años en los que conectó 72 cuadrangulares, 300 carreras impulsadas (RBI) y promedio de bateo de .260. Luego firmó un contrato con los Chicago White Sox en 1965, pasando su primera temporada en el filial AAA hasta 1966, año en el que fue llamado por primera vez al equipo de MLB. Jugó con los Chicago White Sox en 80 partidos en esa temporada, 77 de ellos como jugador de posición, 75 de ellos en su puesto de shortstop. Su promedio de bateo en esa temporada fue de .205 con tres cuadrangulares y 22 RBI, temporada en la que los White Sox terminaron en cuarto lugar de la American League con récord de 83–79. Al año siguiente pasó a la organización de los Chicago Cubs en 1967 donde en ligas menores conectó 14 cuadrangulares, 59 RBI y un promedio de bateo de .267. Al año siguiente fue llamado al primer equipo de los Cubs con los que jugó 15 partidos donde tuvo 3 RBI y un promedio de bateo de .176. al finalizar la temporada jugó 20 partidos en la filial AAA, tres con los Cubs y 17 con los New York Yankees. En 1973 volvió a jugar en el filial AAA de los Phillies donde solo jugó en 16 partidos y se retiró como jugador. Lo más rescatable de su carrera fue su promedio a la defensiva con .940.

En 1975 con 37 años Elia inició su carrera de mánager en la Western Carolinas League con el equipo de Clase A Spartanburg Phillies, donde fue el mejor récord de la liga con 81–59, pero al año siguiente su récord fue de 59–80. En 1977 Elia pasó a ser mánager del equipo AA Reading Phillies de la Eastern League donde terminó con récord de 63–75, finalizando en tercer lugar de la Can-Am Division. Dirigió a jugadores que terminaron jugando en la Serie Mundial de 1980 como Kevin Saucier y Keith Moreland. En 1978 el equipo terminó con récord de 79–57 como segundo lugar de su liga a apenas 1.5 juegos detrás de los líderes Yankees. En 1979 pasó a ser mánager del equipo AAA de los Phillies Oklahoma City 89ers. Los 89ers terminaron la temporada con récord de 72–63 para ganar la División Oeste. Enfrentó a los Evansville Triplets, equipo filial de los Detroit Tigers, en la Serie de Campeonato de la American Association que perdió en seis juegos ante el equipo dirigido en ese momento por Jim Leyland. Destacó en el róster Lonnie Smith, All Star en 1982 y tres veces campeón de la Serie Mundial.

En 1982 con 44 años Elia pasó a ser mánager de los Chicago Cubs, donde dirigió a jugadores como Ryne Sandberg, Keith Moreland y Dickie Noles, que en algún momento jugaron para los Phillies. Terminó con récord de 73–89 en quinto lugar de la NL East. Elia es recordado por la infame reacción que tuvo hacia los aficionados en el Wrigley Field el 29 de abril de 1983 luego de que los Cubs perdieran por una carrera ante los Los Angeles Dodgers, donde Elia se refirió a los reporteros y a los aficionados mostrando su ira en el micrófono diciendo un sin fin de groserías.^[2]​^[3]​

A causa de eso fue despedido de los Cubs y pasó a ser mánager del equipo Triple-A Portland Beavers (perteneciente a los Phillies) en la Pacific Coast League. Elia es recordado en Portland por el raro incidente del 30 de mayo de 1984 ante los Vancouver Canadians donde Eliafue expulsado por cuestionar la cuenta de strikes al umpire en la que lanzó una silla al campo antes de abandonar el dugout; lo que también llevó a la expulsión del batboy, Sam Morris, que se negó a recoger la silla tirada por Elia (siguiendo las órdenes de los jugadores de los Beavers players).^[4]​ Elia llevó a los Beavers a terminar con récord de 62–78, pasando al año siguiente a ser coach de banca de los Phillies.

En 1987 tras 61 partidos, Elia pasó a ser mánager de los Phillies, logrando que terminaran la temporada con récord de 80–82 que le alcanzó para terminar en cuarto lugar de la NL East, siendo el récord de 51–50 después de tomar el puesto. En 1988 se mantuvo en el puesto, pero terminó siendo despedido luego de terminar la temporada con récord de 65–96 en último lugar de la NL East.

Elia pasó a ser mánager de los Clearwater Phillies en 1990 y 1991. En 1990 terminó con récord de 50–87 y al año siguiente el récord fue de 81–49. En 1992 con 54 añospasó a ser mánager del equipo AAA de los Phillies Scranton/Wilkes-Barre Red Barons de la International League en la que terminó con récord de 84–58 en su año de retiro.

Luego de retirarse como mánager ocupó varios cargos en diferentes organizaciones. Fue asistente de mánager, scout y coach de bateo con los Seattle Mariners. Luego fue asistente del gerente general y scout para Los Angeles Dodgers. También fue coach de banca y scout en los Baltimore Orioles.

Elia se mudó a Odessa con su segunda esposa Priscilla, con la que tuvo dos hijas, Tana y Ashley.^[5]​ Era el tío del nadador olímpico Frank Leskaj, el primer Albano-Americano en representar a Albania en los Juegos Olímpicos.

• ESPN.com article: Elia's tirade becomes part of Cubs' lore (en inglés)