Nació en el seno de una familia católica. En agosto de 1943 fue reclutado por el ejército alemán y se entregó a los estadounidenses en el frente occidental en 1945. A su regreso a Viena estudió alemán e inglés, trabajando desde allí como profesor de gramática en la capital austriaca, con algunas interrupciones hasta 1979. Al mismo tiempo, fue miembro fundador y secretario general a largo plazo de la Convención de Autores de Graz (Grazer Autorenversammlung).^[2]​

En 1954 conoció a la poeta Friederike Mayröcker, una de las más respetadas en lengua alemana, con quien viviría hasta su muerte en el año 2000. Juntos formaron parte del grupo de autores experimentales Wiener Gruppe (grupo de Viena), fundado en 1946.

Influenciado por el dadaísmo , comenzó a escribir poesía experimental, publicada por primera vez en la revista Neue Wege ("Nuevos caminos") en 1952.

Sus poemas se caracterizan por el juego de palabras en alemán, a menudo a nivel de caracteres individuales o fonemas. Por ejemplo, su famoso poema univocálico "ottos mops" (en español, "el carlino de Otto") utiliza únicamente la vocal "o". Por supuesto, poemas como este no son fáciles de traducir a otros idiomas.

La mayoría de sus poemas se escuchan mejor que se leen. Sus conferencias siempre fueron reconocidas como eventos muy impresionantes, debido a la particular forma en que pronunciaba sus poemas. Poemas como "schtzngrmm" (su versión de la palabra "Schützengraben", que describe las trincheras de la Primera Guerra Mundial ) solo se entienden si se leen correctamente. Es un poema experimental en el que describe los sonidos de la guerra únicamente con combinaciones de letras, que suenan como disparos o misiles detonantes.^[3]​

Tradujo a Gertrude Stein, La isla de Robert Creeley y El silencio de John Cage.

Otros de sus poemas más conocidos son "lichtung" (también conocido como "lechts & rinks" [sic], en inglés "light & reft") y "kneiernzuck".

• Andere Augen (poesía, 1956)
• Laut und Luise (poesía, 1966)
• sprechblasen (poesía, 1968)
• Fünf Mann Menschen (radioteatro, 1968 – con F. Mayröcker)
• Der Gigant (radioteatro, 1970 – con F. Mayröcker)
• dingfest (poesía, 1973)
• die schöne kunst des schreibens (1976)
• der gelbe hund (poesía, 1980)
• Das Öffnen und Schließen des Mundes (ensayo, 1985)
• idyllen (poesía, 1989)