Grieve nació en 1912 en Otahuti, Southland, una localidad al noroeste de Invercargill. Asistió a Otahuti School y se convirtió en agricultor.^[1]​ El 20 de abril de 1938 se casó con Ena (Willena) Young, hija de William Young. Ella también era de ascendencia de Otahuti y su padre llegaría a ser miembro del Consejo Legislativo en 1950. Gordon y Ena tuvieron tres hijas.^[2]​^[3]​

Grieve fue árbitro de rugby por 15 años. Fue presidente de la Asociación de Árbitros de Rugby de Southland Central de 1949 a 1955. Fue activo en el Southland A & P Association y se desempeñó como juez e inspector de bovinos y ovejas en exposiciones. En 1946, fue el presidente fundador del Club de Reproductores de Ovejas Southdown de Southdown.^[3]​ Fue un miembro asesor del Club de Agricultores Jóvenes. Fue miembro de la junta directiva de la Asociación Presbiteriana de Servicios Sociales, el Fideicomiso de Lugares Históricos, y del Fideicomiso Licenciador de Invercargill.^[1]​

Por 14 años fue secretario de la división local del Partido Nacional.^[3]​ Representó el distrito electoral de Awarua de 1957 a 1969, cuando se retiró.^[1]​^[4]​ De religión presbiteriana, en 1961 fue uno de los diez parlamentarios nacionalistas que votaron con la oposición para eliminar la pena de muerte por asesinato de la Ley de Crímenes que el Segundo Gobierno Nacionalista había introducido. En 1967 fue whip subalterno del Partido Nacional (con Alfred E. Allen como whip superior).^[3]​^[5]​

En los Honores Cumpleañeros de la Reina de 1980, Grieve fue nombrado al Orden de Servicio de la Reina por servicios públicos.^[6]​

• Gustafson, Barry (1986). The First 50 Years : A History of the New Zealand National Party. Auckland: Reed Methuen. ISBN 0-474-00177-6. 
• Wilson, James Oakley (1985). New Zealand parliamentary record, 1840–1984 (4 edición). Wellington: V.R. Ward, Govt. Printer. OCLC 154283103.