No jugó a nivel universitario, sino que fue seleccionado directamente por los Texas Rangers en el Draft de la MLB de 1974, año en el que jugó en el equipo filial de la Gulf Coast League en la que terminó con récord de 3–3 y 2.72 de efectividad (ERA). Para 1975 los Rangers movieron a Clancy a los Anderson Rangers de la Western Carolinas League, pero por tener una efectividad decente de 3.83 en 23 aperturas, Clancy tuvo un récord de 6–13. Texas mandó a Clancy a los San Antonio Brewers de la Texas League en 1976 donde su récord fue de 6–8 con efectividad de 6.41 en 23 aperturas. En el Draft de expansión de 1976 fue seleccionado en la sexta posición por los Toronto Blue Jays.

Clancy fue enviado al equipo AA de los Cleveland Indians, los Jersey City Indians de la Eastern League donde tuvo una mala temporada en la que su récord fue de 5–13 con 4.88 de ERA en 20 aperturas, pero los Blue Jays lo llamaron al primer equipo haciendo su debut el 26 de julio de 1977 ante su ex-equipo Texas Rangers en el Exhibition Stadium. Clancy fue el abridor en donde solo lanzó dos innings en los que permitió cinco carreras en la derrota por 0-14. Clancy consiguió su primer victoria en su siguiente apertura en la que lanzó juego completo en el que permitió siete hits y una carrera en la victoria de Toronto a los Milwaukee Brewers por 3–2. Clancy terminó la temporada con récord de 4–9 y 5.05 de ERA.

En 1978 Clancy jugó la temporada completa con los Blue Jays en la que su récord fue de 10–12 con 4.09 de ERA en 31 partidos. Tuvo una serie de lesiones en 1979 por lo que su récord fue de 2–7 con 5.51 de ERA en 12 partidos. Clancy mejoró en 1980 en la que su récord fue de 13–16 con 3.30 de ERA y 15 juegos completos, pero en 1981 los números de Clancy cayeron a 6–12 con 4.90 de ERA.

En 1982 Clancy registró su primera temporada ganadora con un récord de 16–14 en 40 partidos, la mayor cantidad para un abridor en la temporada, lo que lo llevó a jugar en el All-Star Game de las Grandes Ligas de Béisbol en la que lanzó el cuarto inning de manera perfecta. Clancy tuvo otra buena temporada en 1983 donde su récord fue de 15–11 con 3.91 de ERA, en la primera temporada ganadora en la historia de los Blue Jays.

Clancy se cayó en 1984 teniendo un récord de 13–15 y 4.64 de ERA en 36 apariciones, temporada en la que lideró la liga en carreras permitidas con 125. En 1985 a pesar de las lesiones, Clancy fue efectivo y su récord fue de 9–6 con 3.78 de ERA, temporada en la que Toronto clasificó por primera vez a los playoffs. Un lesionado Clancy lanzó un solo inning en la Serie de Campeonato de la Liga Americana en la que Toronto perdió ante los Kansas City Royals en siete juegos.

En 1986 Clancy tuvo un récord de 14–14 con 3.94 de ERA, pero tuvo una gran temporada en 1987 con un récord de 15–11 y 3.54 de ERA, y en ambas temporadas los Blue Jays no clasificaron a playoffs. Clancy tuvo su última temporada conn Toronto en 1988 en la que su récord fue de 11-13 con 4.49 de ERA y los Jays no clasificaron a playoffs.

Clancy quedó como agente libre en 1988 y firmó un contrato con los Houston Astros, con los que debutó el 8 de abril de 1989 donde lanzó 8.1 innings permitiendo dos carreras en la victoria por 6–2 sobre los San Diego Padres en The Astrodome. En la temporada su récord fue de 7–14 con 5.08 de ERA y los Astros terminaron en tercer lugar de la National League West.

Clancy pasó a ser relevista en 1990, temporada en la que su récord fue de 2–8 con 6.51 de ERA, por lo que fue enviado a los Tucson Toros, filial AAA de los Astros en la Pacific Coast League. En 1991 Clancy se mantuvo como relevista y su récord fue de 0–3 con 2.78 de ERA en 30 partidos donde tuvo cinco salvamentos. El 31 de julio de 1991 Clancy fue cambiado a los Atlanta Braves por Matt Turner.^[2]​

Clancy jugó en 24 partidos Atlanta Braves, todos como relevista, terminando con un récord de 3–2 con 5.71 de ERA, ayudando a Atlanta a ganar la National League West. En la Serie de Campeonato de 1991 Clancy solo jugó en un partido en el que solo enfrentó a un bateador en el que Braves vencieron a los Pittsburgh Pirates para llegar a la Serie Mundial de 1991. Clancy jugó en tres partidos de la Serie Mundial donde registró su única victoria en playoffs de su carrera en el juego 3 en la serie donde Atlanta venció a los Minnesota Twins 5–4 en 12 innings. Clancy terminó la serie con 4.15 de ERA, pero los Twins fueron los campeones en siete juegos.

Clancy se convirtió en agente libre al finalizar la temporada, firmando un contrato de ligas menores con los Chicago Cubs, pero se retiró durante los entrenamientos de primavera en 1992.^[3]​

• James Clancy en Internet Movie Database (en inglés).