Orr nació en la población de Craytonville, ubicada en el Condado de Anderson, en el estado de Carolina del Sur. Estudió en escuelas públicas de su población natal y en 1841 se graduó de Leyes de la Universidad de Virginia. Convertido en abogado, ejerció en el Condado de Andersen a partir de 1843, además de dedicarse al periodismo. Entre 1844 y 1847 sirvió en la Cámara de Representantes de Carolina del Sur. Se desempeñó como Representante a la Cámara demócrata por Carolina del Sur, de 1849 a 1859, y fue presidente de la Cámara de Representantes entre 1857 y 1859; en esta legislatura también sirvió como presidente del Comité de Asuntos Indígenas en el 33° Congreso. No se postuló a la reelección en los comicios de 1858.^[1]​

Tras dejar su escaño en el Congreso, reanudó la práctica de la abogacía en Craytonville; en 1851 fue miembro de la convención de derechos del sur celebrada en Charleston y en 1869 fue delegado a la Convención Nacional Demócrata en Charleston.^[1]​

Orr era un defensor de los derechos de los Estados, utilizando su posición para ayudar a aquellas personas que promovían la continuación de la esclavitud. Previó las consecuencias de la decisión de Carolina del Sur de intentar separarse de la Unión, pero permaneció leal a su Estado. Fue uno de los tres comisionados enviados a Washington D. C. para negociar la transferencia de propiedad federal a Carolina del Sur; el fracaso de estas negociaciones condujo directamente al bombardeo de uno de los activos federales de más alto perfil dentro de Carolina del Sur, Fort Sumter.^[1]​

Después de Fort Sumter y el estallido de la guerra civil estadounidense, Orr organizó y comandó el Regimiento de Rifles de Carolina del Sur de Orr, que vio poca acción antes de que renunciara en 1862 y entrara en el Senado Confederado, donde se desempeñó como presidente del influyente Comité de Gobierno y Asuntos Exteriores. El regimiento continuó llevando su nombre durante toda la guerra y luchó en algunas de las batallas más destacadas del Ejército de Virginia del Norte. En el Senado Confederado, siguió siendo un firme defensor de los derechos de los estados.

Al final de la guerra, Orr fue elegido gobernador en los comicios celebrado en 1865, sirviendo en aquel cargo hasta la aprobación de una nueva constitución estatal en 1868. Entre 1868 y 1870 fue juez del octavo circuito judicial. En 1872, el presidente Ulysses S. Grant nombró a Orr Ministro Plenipotenciario en Rusia en un gesto de reconciliación posterior a la Guerra Civil. Orr murió en San Petersburgo, Rusia, poco después de llegar para comenzar su servicio como ministro. Fue enterrado en el cementerio de la Primera Iglesia Presbiteriana en Anderson, Carolina del Sur.^[1]​

Un retrato póstumo de Orr por la pintora Esther Edmonds forma parte actualmente de la colección del Capitolio de los Estados Unidos.^[2]​ El retrato fue retirado de la exhibición pública en el Lobby del Presidente fuera de la Cámara de la Cámara luego de una orden emitida por la Presidenta de la Cámara, Nancy Pelosi el 18 de junio de 2020.^[3]​^[4]​

• «Tumba de James Lawrence Orr» (en inglés). Find a Grave.