James fue el hijo mayor de Alexander Duff, el cual sucedió a su hermano como tercer conde de Fife (Earl Fife) en 1809. Fue educado en Edimburgo y no se esperaba de él una carrera en el ejército.^[1]​ Su hermano fue el general Alexander Duff, el cual comandó el regimiento 88 del Ejército Británico desde 1798 a 1810.^[2]​

El 9 de septiembre de 1799 se casó con Mary Caroline Manners (segunda hija de John Manners y Louisa Tollemache, VII condesa de Dysart), la cual falleció en 1805 sin dejar descendencia. En consecuencia, Duff buscó distraerse en 1808, presentándose como voluntario para sumarse a los españoles en su guerra contra Napoleón. Su asistencia fue bienvenida, y fue hecho general mayor en el Ejército Español.^[1]​

Sirvió con distinciones en la batalla de Talavera, donde fue herido gravemente tratando de alentar a sus soldados, y fue salvado de caer prisionero por su amigo de toda la vida, el Mayor S. F. Whittingham. En ese año de 1809, fue nombrado Vizconde Macduff gracias al ascenso de su padre al condado irlandés de Fife, aunque siguió sirviendo en España, donde participó en la defensa de Cádiz contra el mariscal Victor. Fue nuevamente herido en el ataque al castillo de Matagorda en 1810. El 17 de abril de 1811 sucedió a su padre como IV conde de Fife, y también como señor lugarteniente de Banffshire, y como barón de muchas baronías, incluyendo la de un antecesor suyo, la baronía de Macduff.

Volvió a Gran Bretaña luego de ser galardonado por sus servicios en combate en España con la Cruz Laureada de San Fernando. En 1817 fundó la entidad autónoma de Dufftown.^[3]​ El poblado ayudó a proveer con casa y trabajo a los soldados de las guerras napoleónicas.^[4]​ Fue electo en 1818 como Miembro del Parlamento y para Lord al año siguiente.^[1]​ Más adelante se retiraría en Escocia, donde fallecería en 1857.^[1]​

Su influencia fue fundamental en la vida de José de San Martín, y específicamente de su traslado a Sudamérica, en el año 1812. San Martín lo conoció durante la guerra de independencia española, en la cual participó durante varios años en su juventud compartiendo el Rito York que influría a la creación de la Francmasonería en Argentina. Éste lo volvería a visitar en 1824, en su casa de Duff House en Banff.