Después de graduarse en Cambridge en 1991,^[3]​ Allison se unió al departamento de aerodinámica de Benetton. Después de un par de años en Benetton se trasladó a Larrousse como jefe de aerodinámica antes de volver a Benetton como jefe de aerodinámica en la mitad de los 90. En 2000, se trasladó a Ferrari durante cinco años, antes de volver a Benetton (por entonces conocido como Renault) en el papel de director técnico adjunto en 2005. Durante estos últimos años (2000-2006), estas escuderías fueron las campeonas del mundo.

A finales de 2009, Allison asumió el cargo de director técnico, reemplazando a Bob Bell.^[4]​ En 2011, Renault se convirtió en Lotus Renault GP antes de cambiar su nombre a Lotus F1 Team en 2012, temporada en la cual el equipo volvió a ganar una carrera cuatro años después, en Abu Dabi. En mayo de 2013, tras otra victoria (Australia 2013), se anuncia que Allison abandona la escudería británica.^[5]​

El 29 de julio de 2013, Ferrari anunció que Allison sería su nuevo director técnico a partir del 1 de septiembre.^[6]​ Con el diseño del Ferrari F14 T ya avanzado, no pudo influir a corto plazo en el devenir de su equipo, que terminó 4.º en el campeonato 2014. Sin embargo, en 2015, Ferrari emerge como la segunda mejor escudería después de Mercedes, obteniendo tres victorias. Eso propició que el contrato de Allison fuera renovado.^[7]​ El 22 de marzo de 2016 fallece su mujer, Rebecca, de una meningitis súbita durante el viaje de vuelta del propio James de Australia. Tras varias semanas de rumores, el 27 de julio de 2016, Ferrari confirma que Allison abandona su puesto en la escudería.^[8]​

El 16 de febrero de 2017, fue contratado por Mercedes, sustituyendo a Paddy Lowe en el cargo de director técnico. Pero en 2021 fue sustituido por Mike Eliott. En 2023 Alisson Volvió al equipo Mercedes luego del despido de Eliott.^[9]​