Su nacimiento aparece registrado en los libros de bautismos de la iglesia de San Nicolás (Bilbao), fechado como ocurrido el 19 de marzo de 1872, siendo hijo de Miguel Joaquín González de Careaga (1830-¿?) y su segunda esposa, Evelina Bishop Manley, originaria de México.^[4]​

Hijo de una familia acomodada de Bilbao, fue enviado a Gran Bretaña para completar sus estudios, donde desarrolló un profundo interés por el fútbol. Al regresar a su ciudad natal, y como muchos otros balbainos, comenzó a disputar partidos de fútbol en el Hipódromo de Lamiaco, que por aquel entonces era la sede del fútbol organizado en Vizcaya.^[5]​

A finales de la década de 1890, se convirtió en miembro de un grupo informal liderado por Carlos y Manuel Castellanos, el llamado Bilbao Football Club, la primera entidad que jugó al fútbol en Bilbao desde la desaparición del Club Atleta.^[5]​^[6]​ Aunque se formó en 1896, no fue hasta el 30 de noviembre de 1900 cuando se constituyó oficialmente el Bilbao Football Club en una reunión celebrada en la casa del industrial José Luis de Villabaso (1852-1917) en el barrio vizcaíno de Algorta.^[5]​

A finales de 1901, los dos clubes más importantes de la ciudad eran el Bilbao FC y el Athletic Club, desarrollándose así una rivalidad entre ellos, ya que disputaron varios amistosos en el Hipódromo de Lamiaco, que ambos equipos compartían al no existir apenas campos en Bilbao por aquel entonces, y Careaga jugó como defensa en el Bilbao FC en dos partidos en diciembre de 1901, manteniendo su portería a cero en el segundo para ayudar a su equipo a obtener la victoria por 2-0.^[7]​ Careaga formó parte así de lo que hoy se considera una de las primeras rivalidades futbolísticas de España, una que contribuyó a convertir el fútbol en un fenómeno de masas en Bilbao ya que sus duelos despertaban una gran expectación.^[7]​

En 1902, el Bilbao FC y el Athletic acordaron reunir a los mejores jugadores de cada club para jugar dos partidos contra el Burdigala, equipo de Burdeos.^[6]​^[8]​ Esta fusión temporal se conoció como Club Bizcaya, y Careaga jugó en el primer partido del equipo el 9 de marzo, ayudando a su equipo a ganar por 0-2 en Francia, la primera vez que un equipo de Bilbao jugaba en territorio extranjero.^[8]​ Sin embargo, no jugó en el partido de vuelta por razones desconocidas y fue reemplazado por Alfred Mills.^[9]​

Junto a Juan Astorquia, Raymond Cazeaux y William Dyer, formó parte del Club Bizcaya que participó en la Copa de la Coronación de 1902, el primer campeonato nacional disputado en España y precursor de la Copa del Rey.^[10]​ Sólo jugó la final el 15 de mayo, formando una dupla defensiva con Perico Larrañaga del Athletic para ayudar a su equipo a obtener una victoria por 2-1 sobre el FC Barcelona de Joan Gamper.^[2]​^[8]​ Curiosamente, Careaga llegó tarde a la final, y temiendo no llegar a tiempo para el partido de la mañana, Bizcaya consiguió retrasarlo a la tarde alegando que ya habían jugado dos partidos por uno del Barcelona, y así pudo empezar la final.^[8]​

Su siguiente y última aparición como futbolista fue con el Bilbao FC el 23 de noviembre de 1902, que terminó con una derrota por 0-1 ante el Athletic.^[11]​

Astorquia aprovechó la exitosa campaña del Bizcaya en la Copa de la Coronación para convencer a los propietarios del Bilbao FC, que habían empezado a perder interés en el club, de lo beneficioso y necesario que era fusionar ambos clubes.^[6]​ Para convencerles aún más de la fusión, prometió pasar la antorcha de la presidencia a un socio del Bilbao FC, siendo Careaga el elegido para este papel, sustituyendo así a Astorquia al frente del club para convertirse en su tercer presidente.^[3]​^[12]​ Bajo su presidencia, el Athletic absorbió oficialmente al Bilbao FC el 24 de marzo de 1903.^[3]​ Al mes siguiente, el 8 de abril de 1903, el Athletic ganó su primer título de Copa del Rey tras vencer al Madrid FC en la final con una victoria de remontada por 3-2.^[13]​

A pesar de la conquista de su primer título a nivel nacional, la reciente fusión con los blancos del Bilbao FC, y la promesa de formar una sociedad pujante, a finales de año el club afrontaba una crisis deportiva al encontrarse sin rivales de peso en su territorio.^[6]​ Entre 1904 y 1905, el Athletic apenas disputó partidos, y de hecho, consiguió ganar la Copa del Rey de fútbol 1904 sin disputar un solo partido ya que su rival no se presentó.^[6]​ Careaga ejerció la presidencia durante tres años hasta 1906, cuando fue sustituido por Ramón Aras.^[3]​^[12]​

En 1898, cofundó el Real Sporting Club de Bilbao, un club deportivo exclusivamente masculino, y su primera junta directiva documentada fue presidida por Careaga.^[14]​ En 1902 fue nombrado tercer presidente del club y, tras cumplir su mandato bienal, le sucedió en 1904 Santiago Martínez de las Rivas.^[15]​

Careaga se casó con María Josefina Pilar Catalina Urigüen y Mendiguren, y la pareja tuvo cinco hijos, Enrique, Alfonso, Josefina, José Miguel y José María González de Careaga Urigüen. Alfonso siguió sus pasos y se convirtió en defensa del Athletic Bilbao entre 1925 y 1931, ganando dos ligas y dos Copas del Rey.^[16]​ Coincidentemente, su hijo formó una sociedad defensiva con el hijo de Manuel Castellanos.^[17]​

Murió en México el 5 de mayo de 1936, a la edad de 64 años.

• Sitio web oficial de los presidentes del Athletic Club