El acceso más sencillo a la ermita es llegando desde Vitoria a Gopegui, seguir por la carretera A-3608 y, después de atravesar Murua y Etxaguen, se alcanza una pequeña agrupación de caseríos denominada Barrio de San Pedro o Gorostiza (en euskera Gorostiza auzoa): a la derecha y un tanto separada de la carretera por un camino bien asfaltado, se distingue muy cerca la ermita.

El antiguo pueblo de Gorostiza aparece mencionado en la Reja de San Millán en unas donaciones que, en el año 1067, el obispo Nuño y varios nobles efectúan a la iglesia de San Vicente de Acosta: ego senior Didaco Gondissalvo de Gavari dono (...) in villa Gorostiza, mea portione, cum divisa. (Cartulario de San Millán de la Cogolla, n.º 362). Su fase constructiva prerrománica debe pertenecer sin duda a este periodo.^[3]​ Gorostiza es aún en el siglo XIII parroquia del Arciprestazgo de Cigoitia. En 1556, en la visita pastoral del licenciado Martín Gil, aún estaba poblado pero se transformó en mortuorio o despoblado ya para el siglo XVII. Al desaparecer como poblado y quedar solamente algunas casas habitadas, pasó a ser un barrio dependiente administrativamente de Cestafe y Acosta.^[4]​^[5]​

San Pedro de Gorostiza: despoblado en la provincia de Álava, partido judicial de Vitoria, ayuntamiento de Cigoitia. Dejó de existir como pueblo hará cerca de siglo y medio; no se sabe la causa de su aniquilamiento y sí sólo que su último vecino N. de Salazar pasó a vivir al inmediato lugar de Echagüen donde acabó sus días. Su término es hoy cultivado por los pueblos de Acosta y Cestafe, y un vecino de este último bastante bien acomodado, hace loables esfuerzos para volver a poblar un paraje muy feraz y que ocupa una posición excelente: ha fabricado ya dos casas de nueva planta, en una de las cuales vive él, y en la otra un inquilino.

Diccionario geográfico estadístico histórico de España y sus posesiones de Ultramar. Pascual Madoz (1845-18509.

En la visita pastoral que tuvo lugar en 1793 la iglesia parroquial de San Pedro quedó convertida en ermita de Cestafe. En 1802, Gorostiza aparece como despoblado en el Diccionario de la Real Academia de la Historia. El barrio de San Pedro ocupa, por tanto, los terrenos en los que se asentó Gorostiza. En 2025 hay instaladas varias familias, algunas dedicadas a la ganadería y fabricación de queso.^[6]​

En una visita pastoral de 1825 se reconocía el mal estado del templo. La ermita ha tenido varias rehabilitaciones: fue restaurada en 1982 por la Diputación Foral de Álava. En 1998 fue restaurada de nuevo por la Diputación Foral de Álava, la Junta Administrativa de Zestafe y el Ayuntamiento de Zigoitia.^[5]​^[6]​^[7]​ La importancia histórica de esta ermita quedó subrayada por Micaela Portilla que afirmó que este pequeño templo es un testigo histórico de las características y dimensiones de los templos parroquiales de las aldeas alavesas despobladas que, al perder su feligresía, no precisaron de ampliaciones ni cambios posteriores, por lo que conservan su primitivo estado. Constituye un ejemplo característico de cómo eran las parroquias medievales de las aldeas alavesas.^[7]​

Es un edificio con vestigios altomedievales de gran interés que son visibles en el exterior del templo: grandes piedras labradas, que son restos de los sepulcros monolíticos de una necrópolis altomedieval, se encuentran incrustadas en sus muros. En las proximidades de la ermita quedan partes de una de estas tumbas de piedra. En el muro del Sur se abren la portada del edificio y tres ventanales; dos con elementos anteriores a la actual construcción en la nave, y otro, ya gótico, en el presbiterio. La portada es de arco apuntado, con tres arquivoltas de arista viva y trasdós biselado, que voltea sobre una imposta lisa apoyada en jambas cortadas también en arista. En la parte alta de la nave hay dos ventanales pequeños, curiosamente abiertos en las cubiertas reaprovechadas de dos sepulturas del cementerio altomedieval. Otro vano, bien trabajado, ilumina el presbiterio del templo: tiene arco apuntado con doble moldura en su perfil y está apeado en simples baquetones con capiteles vegetales. En la cabecera recta del templo se abre un ventanal con vano rematado en arco de medio punto, con arquivoltas molduras, trasdós y cuatro columnas como apeo.

El interior del templo tiene la cubierta de cielo raso, la cabecera rectangular y la nave separada del presbiterio por fuertes pilastras interiores. Vistos desde el interior, los ventanales del Sur son simples saeteras sin decorar. El de la cabecera se abre hacia dentro en un arco de medio punto y en lo alto se ha encajado el relieve de una cabeza humana con ojos almendrados y el cabello caído. La imagen de San Pedro es una figura sedente, talla del siglo XVI. En el siglo XVII se le acopló una cabeza de muy mala calidad. El altar de piedra se asienta sobre restos de otras dos sepulturas medievales. La pila bautismal es medieval, vestigio de cuando la ermita fue parroquia. Tiene taza lisa, pie cilíndrico y base con garras apoyada en gradas circulares.^[5]​^[7]​^[8]​

El barrio de Gorostiza celebra sus fiestas, antes muy afamadas, el día 29 de junio, festividad de San Pedro, titular de su antigua parroquia, hoy ermita de esta denominación.^[6]​

•   Wikimedia Commons alberga una categoría multimedia sobre Ermita de San Pedro de Gorostiza.
• Fotografías antiguas. Photo Araba
• Alaveses con el Arte Románico.