James Butler fue hijo de Edmund Butler, conde de Carrick, (1268-1321), lord Justicia de Irlanda, y Joan Fitzgerald, condesa de Carrick. Sus abuelos paternos fueron Theobald le Botiller (1242-1285; hijo de Theobald Butler, III mayordomo principal de Irlanda, y de Margery de Burgh) y Joan FitzJohn (FitzGeoffrey; f. 4 de abril de 1303), hija de John Fitzgeoffrey, lord de Shere y justicia de Irlanda.^[1]​ Su abuelo materno fue John FitzThomas Fitzgerald, I conde de Kildare.

A la muerte de su padre en 1321, el único título hereditario de James fue el de "jefe mayordomo de Irlanda", siendo el VII mayordomo jefe desde Theobald Walter, I mayordomo principal de Irlanda. El cargo hereditario de mayordomo de Irlanda era uno de particular lealtad a la Corona, ya que implicaba atender a los reyes de Inglaterra en su coronación.^[2]​ Pasaron siete años antes de que James fuera recompensado con un condado propio por su especial lealtad. Su benefactor, el joven rey Eduardo III de Inglaterra, le creó primer conde de Ormond por patente datada el 2 de noviembre de 1328, en Salisbury, —donde el rey celebraba un parlamento—, con una bonificación de £ 10 al año al momento de la creación.^[3]​ Siete días más tarde por patente datada en Wallingford, en consideración a sus servicios y para mejor mantenimiento de su señorío sobre el condado, el rey entregó a James las regalías, libertades, honorarios de caballeros y otros privilegios reales del condado de Tipperary y los derechos palatinos de aquel condado de por vida.

En torno a la misma época, en septiembre de 1328, el rey creó a Roger Mortimer como I conde de March, lo que pronto despertaría la ira entre los más leales a la Corona.^[4]​

En 1336 James fundó el monasterio de Carrick-Begg (una población en el río Suir frente a Carrick-on-Suir) para frailes franciscanos. El 3 de junio de aquel año entregó a los frailes su castillo y propiedad de Carrick, que fueron ocupados en la festividad de los santos Pedro y Pablo.

En 1327 a Butler se le ofreció un matrimonio arreglado que le daría el castillo y señorío de Kilpec, en Hereford, de por vida. Se casó con Eleanor de Bohun (1304-1363), hija del Humphrey de Bohun, IV conde de Hereford, y lady Elizabeth, hija de Eduardo I de Inglaterra; tuvieron 6 hijos, cuatro de los cuales 4 sobrevivieron a la infancia:

• Anne Butler (1328-1329).
• Eleanor Butler (?).
• John Butler (nació y murió en 1330).
• Elizabeth Butler (1330-1392), casada después del 20 de julio de 1359 con Gerald FitzGerald, conde de Desmond, hijo de Maurice FitzThomas y Aveline FitzMorice. Tuvieron hijos.
• James Butler, II conde de Ormond (1331-1382).
• Petronella Butler (1332-23 de abril de 1368), casada con Gilbert Talbot, III barón Talbot, hijo de Richard Talbot, II barón Talbot, y Elizabeth de Comyn. Tuvieron hijos.

• Burke, Sres., John y John Bernard, Las familias reales de Inglaterra, Escocia, y Gales, con sus descendientes & c., Londres, vol. 2, 1851, pedigrí ccvii.