Hijo de los actores Jon Voight y Marcheline Bertrand, hermano de la también actriz Angelina Jolie y sobrino del cantante y compositor Chip Taylor, James Haven tiene orígenes alemanes, neerlandeses, checos, francocanadienses y se rumoró que también iroqués -algo que él ha negado, alegando que su madre no era iroquesa, sino que sólo lo dijeron para justificar su apariencia exótica-.^[3]​^[4]​ Tras la separación de sus padres cuando él tenía tres años (1976), tanto él como su hermana fueron criados por su madre -la cual abandonó su trabajo por sus hijos y se mudó con ellos a Palisades (Nueva York) y a Los Ángeles-.^[5]​ Se graduó en Beverly Hills High School y asistió a la Escuela Cinemática de Artes USC, obteniendo el premio George Lucas por una película en la que actuó junto a su hermana mientras estaba en la universidad.

En el año 2000 asistió a la gala de los Oscar junto a su hermana Angelina Jolie y cuando ésta ganó el premio a la Mejor actriz secundaria, mencionó estar enamorada de su hermano, desatando así los rumores de incesto. Tras negarlo ambos, los hermanos fueron objeto de controversia tras darse un beso en la misma ceremonia. Más tarde, en una entrevista a People, comentó que «fue un momento asombroso, pero totalmente malinterpretado».^[6]​

Haven es el Director Ejecutivo de Artivist, un festival en su ciudad natal que se ocupan de los derechos humanos, derecho de los animales y las cuestiones ambientales.^[7]​ En 2009 se convirtió al cristianismo.^[8]​

^[2]​ ^[9]​