El padre de Johann Weber era inspector de gendarmería. En 1937/38 Weber asistió al Seminario Episcopal de Niños y, después de su disolución en 1938, al Gimnasio Académico de Graz. Como muchos otros de su generación, fue reclutado en la Wehrmacht en 1943 después de completar el sexto grado y se le concedió el examen de fin de estudios por decreto en 1945.^[2]​ En 1945 comenzó a estudiar alemán, historia y geografía en la Universidad de Graz (ahora Universidad Karl-Franzens de Graz) y se cambió a Teología en 1946.

El 2 de julio de 1950 fue ordenado sacerdote, después fue capellán en Kapfenberg y desde 1953 capellán en Köflach. En 1956 fue nombrado párroco diocesano de la Juventud Obrera Católica y en 1962 párroco de Graz-St. Andrä. Su compromiso con los pobres y necesitados caracterizó su trabajo durante estos años. Un ejemplo de ello fue la creación de Open Door Home, un hogar para mujeres embarazadas necesitadas.^[2]​

El 10 de junio de 1969 fue consagrado por el Papa Pablo VI. nombrado obispo de la diócesis de Graz-Seckau. Su lema era Evangelizare pauperibus (Llevar la buena noticia a los pobres, Lc 4,18 UE).^[3]​ El 28 de septiembre de 1969, el arzobispo de Salzburgo, Andreas Rohracher, lo consagró obispo. Los co-consagrantes fueron el arzobispo titular de Monteverde, Josef Schoiswohl, predecesor de Weber como obispo diocesano de Estiria, y el obispo diocesano de la diócesis de Gurk-Klagenfurt, Joseph Köstner. Tras la consagración, Weber fue felicitado con aplausos por los fieles en la catedral de Graz, algo que no era habitual en Austria en aquella época.

Comenzó muy rápidamente a poner en práctica las decisiones del Concilio Vaticano II. Ya en 1969 estableció consejos parroquiales en su diócesis y en 1970 un consejo diocesano . En 1970, nombró por primera vez a un teólogo laico (una persona con una formación teológica completa pero sin ordenación clerical) como asistente pastoral, y en 1971, nombró por primera vez a monjas como directoras “ejecutivas” de una parroquia sin sacerdotes.^[4]​ En 1975 ordenó a hombres casados como diáconos permanentes. El principio de tres pasos: ver-juzgar-actuar, del cardenal Joseph Cardijn, fundador de la Juventud Obrera Cristiana Internacional (JOC), seguido también por la Constitución Pastoral Gaudium et Spes del Concilio Vaticano II, guió la obra de Monseñor Weber, siempre particularmente vinculado a la Acción Católica.^[5]​

En 1981, por iniciativa de Weber, se celebró el Día Católico de Estiria como fiesta de la fraternidad.^[6]​ El 13 de septiembre de 1983, el Papa Juan Pablo II visitó el lugar de peregrinación mariana de Mariazell, que se encuentra en la diócesis de Graz-Seckau, en el marco de la Jornada Católica Austriaca, que tenía como lema " Vive la esperanza - da esperanza". Otros momentos culminantes de la labor episcopal de Weber fueron la Jornada Ecuménica de Estiria de 1993, que también se remonta a él y en la que participaron todas las comunidades religiosas representadas en el Consejo Ecuménico de Iglesias de Estiria, la Peregrinación de la Diversidad de 1996 y la Segunda Asamblea Ecuménica Europea en Graz en 1997. En su época también se construyeron el Centro Cultural de Minoritas, la Casa Mundial en Graz y el servicio de asesoramiento telefónico (1974) en la diócesis de Graz-Seckau.

Después de que en la primavera de 1995 surgieran acusaciones de que el cardenal Hans Hermann Groër había abusado sexualmente de una exalumna, Weber quiso que esas acusaciones fueran examinadas por un “consejo de sabios”. No logró que se aceptara esta idea, pero el 6 de abril de 1995 sustituyó a Groër como presidente de la Conferencia Episcopal Austriaca y permaneció en el cargo hasta el 30 de junio de 1998. Después fue vicepresidente.

Rechazó muchas de las demandas de la Petición del Pueblo de la Iglesia de 1995, pero lo vio como un incentivo para que la Iglesia no "se quedara quieta" y también inició el "Diálogo para Austria", que tuvo lugar en Salzburgo en octubre de 1998.

En 2001 renunció a la dirección de su diócesis por motivos de salud. Su sucesor como obispo diocesano fue Egon Kapellari, quien dirigió la diócesis hasta 2015. El obispo Weber actuó como co-consagrador junto con el consagrador principal, el arzobispo Franz Lackner OFM, en la consagración del obispo Wilhelm Krautwaschl como sucesor del obispo Kapellari el 14 de junio de 2015 en la Catedral de Graz.^[7]​

Hasta la Navidad de 2018, el obispo Weber fue párroco de la asociación parroquial de San Leonhard – Kroisbach – Ragnitz.^[8]​ Su última estancia fue en la residencia de ancianos de los Siervos de Cristo^[8]​ en Graz-Andritz , el distrito en el que nació.^[9]​ in Graz-Andritz, jenem Bezirk, in dem er auch geboren worden war.^[5]​

Weber falleció el 23 de mayo de 2020 en las instalaciones del LKH Graz II West..^[10]​^[11]​^[12]​

El obispo Weber fue velado en la catedral de Graz el 2 de junio de 2020 para su despedida personal.^[13]​^[14]​ El 3 de junio de 2020, el obispo diocesano Wilhelm Krautwaschl celebró el Réquiem junto con el cardenal Christoph Schönborn OP, el arzobispo Franz Lackner OFM y otros obispos, sacerdotes, diáconos, religiosos, representantes de otras iglesias y comunidades religiosas de Austria, políticos , amigos y compañeros en la Catedral de Graz. La consagración de Weber fue dirigida por su amigo de la infancia, compañero ordenante y durante mucho tiempo vicario general, el prelado Leopold Städtler, quien a los 95 años de edad era el sacerdote más anciano de la diócesis de Graz-Seckau en ese momento.^[15]​^[16]​^[17]​

El réquiem y el posterior entierro de Weber en la cripta episcopal de la catedral fueron retransmitidos en directo por ORF 2 y ORF 3.^[18]​

• Anillo de Honor del Estado de Estiria.
• Doctor honoris causa de la Universidad Karl-Franzens de Graz. (1984)
• Anillo de Honor de la Ciudad de Graz.
• Gran Condecoración de Honor en Oro con Estrella por Servicios a la República de Austria.
• Gran Condecoración Dorada de Honor de la Provincia de Estiria con la Estrella.
• Anillo honorífico "pro deo et patria" de la asociación católica de estudiantes K.Ö.HV Carolina Graz en la ÖCV. (1988)
• Senador honorario de la Universidad de Graz. (1994)

• Soy optimista. Respuestas de los jóvenes. Barquero, Viena 1970.
• Con la gente. Experiencias y pensamientos de un obispo. 4ª ed. Estiria, Graz et al. 1994, ISBN 3-222-12191-5.
• Traer buenas noticias a los pobres. Dr. Karl Kummer Instituto de Política Social y Reforma Social de Estiria, Graz, 1995.

• Johann Weber: Academia festiva en honor del obispo Johann Weber con motivo del 30 aniversario de su nombramiento episcopal. Kienreich, Graz 1999.
• Karl Amon y Maximilian Liebmann (eds.): Historia de la Iglesia de Estiria. Estiria, Graz, etc. 1997, ISBN 3-222-12183-4.
• Karl Amon (ed.): Los obispos de Graz-Seckau 1218–1968. Estiria, Graz, etc. 1969.
• Johann Bruckmoser: Johann Weber. Iglesia tras la pista del Concilio. Estiria, Graz et al. 2001, ISBN 978-3-222-12887-5.