Hermano más joven de John FitzGerald, IV conde de Desmond, James era tío del único hijo de Thomas, V conde de Desmond, a quien privó del condado y desposeyó al casarse por alguien por debajo de su estatus. El matrimonio entre un hombre de ascendencia Normanda y una mujer de sangre gaélica vulneraba los Estatutos de Kilkenny. James FitzGerald forzó el exilio de su sobrino a Francia donde murió en Rouen dos años más tarde.

A pesar de que no fue reconocido hasta 1422, fue nombrado senescal de Imokilly, Inchiquin, en 1420 y de la ciudad de Youghal, por James Butler, IV conde de Ormond. En 1423 fue hecho Condestable vitalicio de Limerick.

Junto con su yerno Thomas FitzGerald, VII conde de Kildare, James fue un seguidor irlandés prominente de la Casa de York.

Fue también padrino de George Plantagenet, duque de Clarence.

Muriendo en 1462 o 1463, Desmond fue enterrado en Youghal.

James se casó con Mary, hija de William de Burgh, y tuvieron dos hijos:

1. Thomas Fitzgerald, VII conde de Desmond.
2. Sir Gerald Mor FitzGerald, antepasado de los Fitzgerald Lores de Decies de Condado Waterford.

Y dos hijas:

1. Honor, casada con Thomas Fitzmaurice., Lord de Kerry.
2. Joan/Jane, casada con Thomas, conde de Kildare.