McCarthy comenzó a jugar en un equipo local llamado Young Pirates, dirigido por sus tíos. Luego se unió a las estructuras juveniles de un club amateur local llamado Crusaders. A los 17 años, fue fichado por el club de primera división Seven Stars.^[1]​Sus buenas actuaciones en la temporada 1995-96, le valieron una transferencia a Cape Town Spurs, que dos años más tarde se fusionó con Seven Stars para formar el equipo filial del club holandés Ajax, Ajax Cape Town.^[2]​

En 1997, fichó por el Ajax de la Eredivisie, donde marcó nueve goles y se coronó campeón en su primera temporada. Tras una temporada 1998-99 relativamente exitosa, fue vendido al Celta de Vigo por una cifra que se estima superó los €6 millones, en aquel momento la transferencia más cara de un jugador sudafricano.^[3]​

Aunque era considerado uno de los mejores jugadores africanos de la época, nunca llegó a ser una opción habitual para el entrenador del equipo, Víctor Fernández. Tras dos temporadas mediocres en el club gallego, fue cedido al Porto en la temporada 2001-02, donde pronto recuperó la forma que lo llevó a Europa.^[4]​

Durante su estancia en el club portugués, ayudó al equipo a conseguir el tercer puesto en la Primeira Liga y la clasificación automática para la Copa de la UEFA al marcar 12 goles en 11 partidos. Cuando el equipo vendió al delantero Hélder Postiga al Tottenham Hotspur antes de la temporada 2003-04, fue comprado por una suma de €7,856 millones.^[5]​

En la temporada 2003-04, ganó el premio Bota de Oro (con 20 goles en 23 partidos) de la Primeira Liga después de marcar un hat-trick en la última jornada, y fue decisivo en la Liga de Campeones de la UEFA que ganó el conjunto portugués.^[3]​

El 28 de julio de 2006, fue transferido al Blackburn Rovers por una cifra cercana a los £2,5 millones.^[6]​En su primera temporada, marcó 24 goles en 50 partidos en lo que fue su mejor etapa en Inglaterra. Sin embargo, con el correr de las campañas, su rendimiento en el club inglés fue disminuyendo a partir de la contratación de Roque Santa Cruz, Carlos Villanueva y Robbie Fowler.^[7]​

El 1 de febrero de 2010, fue comprado por el West Ham United por una suma no revelada y firmó un contrato hasta junio de 2012.^[8]​Su ausencia de seis semanas y problemas de comportamiento en un partido de preparación con la selección sudafricana le trajeron inconvenientes durante su etapa en club londinense.^[9]​En abril de 2011, acordó rescindir su contrato con la directiva inglesa.^[10]​

El 2 de agosto de 2011, Orlando Pirates lo fichó con un contrato de dos años, poniendo fin a su estancia de 14 años en Europa.^[11]​Terminó su exitosa temporada con diez goles de liga, terminando la campaña como el cuarto máximo goleador, ayudando al club a asegurar su segundo triplete consecutivo.^[12]​El 6 de junio de 2013, anunció su retiro del fútbol profesional a los 35 años.^[13]​

Con la selección, McCarthy ha sido internacional en 80 veces, marcando 32 goles (es el máximo goleador de la selección). Fue integrante de la selección sudafricana que disputó los mundiales de 1998 y 2002, donde la escuadra africana cayó en primera ronda.

Lesionado durante mucho tiempo, no fue convocado el 1 de junio de 2010 por Carlos Alberto Parreira para la Copa Mundial de la FIFA 2010.^[14]​ Considerado fuera de forma por muchos observadores, también sufrió algunos malos comportamientos durante las concentraciones de entrenamiento y los partidos de preparación de la selección sudafricana antes de la competencia.^[15]​

El 13 de junio de 2017, McCarthy fue presentado como el nuevo entrenador del Cape Town City, en reemplazo de Eric Tinkler, quien se fue al SuperSport United.^[16]​Allí, ganaría su primer título en 2018 cuando obtuvo la MTN 8.^[17]​El 4 de noviembre de 2019, fue despedido de su cargo después de solo dos victorias en 18 partidos.^[18]​

El 14 de diciembre de 2020, asumió al frente del AmaZulu, en reemplazo de Ayanda Dlamini, quien renunció al cargo el 7 de diciembre de 2020.^[19]​Durante su etapa en el equipo africano, lo llevó a un segundo puesto en la DStv Premiership, un récord para el club en la era moderna sudafricana. El 25 de mayo de 2022, dejó su cargo de mutuo acuerdo.^[20]​

Después de un paso como asistente técnico en el Manchester United,^[21]​fue anunciado como técnico de la selección de Kenia en marzo de 2025.^[22]​