Harvie nació en Gargunnock, Stirlingshire, Escocia el 20 de diciembre de 1706,^[3]​^[4]​ hijo de John Harvie.^[5]​ Los Acts of Union 1707, implementados el año siguiente al nacimiento de Harvie, crearon el sencillo Reino de Gran Bretaña. Inglaterra y Escocia habían compartido un gobernante desde 1603, pero ahora sus parlamentos se fusionaron.^[6]​ Aunque había un sentimiento anti-inglés significativo en Escocia a principios del siglo XVIII, los líderes políticos en Escocia buscaron unirse con Inglaterra para mejorar sus oportunidades comerciales con las colonias inglesas, mejorando así su pobre economía. Esto se complicó, sin embargo, por los levantamientos del jacobitismo que comenzaron en 1688 para restaurar a James II y sus descendientes al trono.^[7]​ Inmediatamente después de la Unión, Escocia comenzó a comerciar con las colonias. El tabaco era importante para la economía de Virginia, donde se cultivaba, así como para Escocia, donde era la principal importación de las colonias a principios y mediados del siglo XVIII. Los barcos salieron de la Bahía de Chesapeake hacia Escocia para entregar tabaco y regresaron con inmigrantes y bienes para los colonos.^[8]​ En 1769, Virginia y Maryland recibieron el 83% de las exportaciones de Escocia.^[8]​

Llegó al Condado de Albemarle, Virginia alrededor de 1735 (unos 40 años antes de la Guerra Revolucionaria Estadounidense).^[3]​ Compró la plantación Belmont (condado de Albemarle, Virginia), Belmont, cerca de Keswick, Virginia, Keswick, y Shadwell, Virginia, de Matthew Graves en la década de 1730.^[1]​^[9]​ Estaba cerca del Río Rivanna y tenía vistas de las Montañas del suroeste al norte y de la montaña que se convertiría en Monticello al sur.^[10]​

Albermarle a principios del siglo XVIII era un desierto. La gente viajaba por senderos accidentados y transportaba tabaco al mercado a lo largo del río Rivanna. Los plantadores adinerados, como Harvie, se distinguían de los agricultores comunes por sus finos muebles y ropa lujosa. Consumen té, café, azúcar y vino. Otro aspecto significativo de la vida de los plantadores eran sus colecciones de libros. Cuando murió, Harvie tenía 189 libros,^[10]​ así como libros que había prestado a vecinos y varios libros en francés y latín.^[11]​

Harvie fue uno de los fundadores de la Compañía Leal de Virginia. John Lewis fue el fundador clave. Otros incluyeron Peter Jefferson, Thomas Walker, y Joshua Fry, quienes inspeccionaron la tierra para la concesión de tierras y, como Harvie, también se establecieron en el condado de Albemarle. El 12 de julio de 1748, se otorgó a la empresa una concesión de 800.000 acres.^[12]​ Harvie y Jefferson fueron los primeros colonos de Albemarle y ya se habían establecido allí en el momento de esta concesión. Jefferson llegó en 1737 cuando solo había uno o dos colonos más.^[1]​^[12]​ Harvie vivía cerca de Peter Jefferson y Dr. Thomas Walker de Castle Hill, lugares que Thomas Jefferson conocía bien.^[10]​

Harvie era amigo de Peter Jefferson y, tras su muerte, Harvie se convirtió en el "albacea activo" de la herencia de Jefferson y en el tutor de Thomas Jefferson.^[1]​^[2]​^[13]​ Manejó los gastos del hogar y la familia desde 1757, el año de la muerte de Peter Jefferson, hasta 1765.^[14]​ La primera carta conocida de Thomas fue escrita a Harvie el 14 de febrero de 1760 desde Shadwell. Thomas expresó su interés en asistir al College of William & Mary para "tener un Conocimiento más universal."^[2]​^[15]​ Jefferson estaba convencido de que irse a la escuela le permitiría concentrarse más eficazmente en su educación.^[14]​

Se casó con Martha Gaines (11 de noviembre de 1719 y 7 de octubre de 1801), hija del coronel Daniel Gaines.^[5]​ Y relacionado con Edmund Pendleton Gaines.^[4]​ Tuvieron los siguientes hijos: Richard, John, Daniel, William, Martha, Elizabeth, Janet, and Mary.^[1]​ Harvie murió en 1767.^[1]​

John heredó Belmont y permaneció en Virginia.^[3]​ Martha, que se quedó con una propiedad nada excepcional, se aseguró de que sus hijos tuvieran una buena educación y socializaran con miembros de la "sociedad más refinada".^[16]​ En la década de 1780, Martha y todos sus hijos excepto John se mudaron Condado de Wilkes, Georgia.^[3]​^[17]​ Vivían a dos millas del Broad River (Georgia) y en el lado este de Long Creek.^[4]​^[16]​