El 5 de septiembre de 1972, terroristas palestinos afiliados a Septiembre Negro se infiltraron en los Juegos Olímpicos de Múnich. Secuestraron a 11 atletas israelíes y asesinaron a dos durante el asalto inicial a las habitaciones de los atletas en la Villa Olímpica. El incidente sin precedentes culminó cuando la Policía Estatal de Baviera (que no estaba entrenada ni equipada para operaciones antiterroristas y había subestimado el número de militantes involucrados) intentó rescatar a los atletas. La policía no disponía de un equipo especializado de francotiradores tácticos en ese momento. El ejército alemán contaba con francotiradores, pero la Constitución Alemana no permitía el uso de las Fuerzas Armadas de Alemania en territorio alemán en tiempos de paz.

El intento de rescate por parte de la policía fracasó, resultando en la muerte de un agente de policía, cinco de los ocho terroristas y los nueve rehenes restantes.

Como consecuencia de la desbordada gestión de la Policía Estatal de Baviera en la masacre de Múnich de 1972, el gobierno de Alemania Occidental creó la unidad táctica policial GSG 9 en septiembre de 1972. Esta unidad se formó bajo el mando del Teniente Coronel (Oberstleutnant) Ulrich Wegener, de la Protección Federal de Fronteras (Bundesgrenzschutz), quien propuso su creación. El Ministerio Federal del Interior, bajo la dirección del ministro del Interior Hans-Dietrich Genscher, de quien Wegener también fue ayudante, autorizó y dirigió su creación. El objetivo era garantizar que futuras situaciones de alto riesgo pudieran gestionarse de forma adecuada y profesional.

Muchos políticos alemanes se opusieron a la formación del GSG 9, temiendo que reviviera el recuerdo de las Schutzstaffel (SS) y el abuso del ejército por parte de los nacionalsocialistas como instrumento de poder interno. Para abordar estas preocupaciones, se decidió formar la unidad a partir de la Protección Federal de Fronteras (Bundesgrenzschutz), en lugar del Ejército alemán. Este enfoque difería del de la unidad militar de operaciones especiales israelí, el Sayeret Matkal, que era la única unidad comparable conocida con experiencia específica en antiterrorismo y rescate de rehenes en aquel momento. Dado que la ley federal alemana también prohíbe expresamente el uso de fuerzas militares contra la población civil o amenazas internas, la creación de una unidad táctica policial compuesta por personal policial altamente capacitado y cualificado evitó este problema.

Dos semanas después de la masacre de los Juegos Olímpicos de Múnich, el GSG 9 se estableció oficialmente el 26 de septiembre de 1972. Para abril de 1973, Wegener informó que las dos primeras subunidades (Teileinheiten) estaban operativamente listas. En ese momento, el GSG 9 formaba parte de la Bundesgrenzschutz (Protección Federal de Fronteras), que pasó a denominarse Bundespolizei (Policía Federal) en 2005. La entonces Protección Federal de Fronteras tenía carácter paramilitar, utilizando rangos militares hasta 1976. Los agentes de la Protección Federal de Fronteras tenían estatus de combatientes, siendo clasificados de facto como tales antes de 1965, estatus que estuvo expresamente regulado por ley entre 1965 y 1994. Además, los reclutas podían cumplir con su obligación de servicio militar sirviendo en la Protección Federal de Fronteras.^[4]​

La denominación GSG 9 deriva de la estructura de la Protección Federal de Fronteras (BGS, Bundesgrenzschutz), que, en el momento de su fundación, constaba de cuatro comandos de protección fronteriza con un total de ocho grupos de protección fronteriza (GSG 1 a 7 y Marítimo). Dado que el GSG 9 no estaba integrado en ninguna de las estructuras existentes, se le denominó Grupo de Protección Fronteriza 9 (Grenzschutzgruppe 9, GSG 9).

Desde su inicio, muchos otros países han desarrollado unidades antiterroristas entrenadas por el GSG 9 y modeladas según su modelo.^[5]​^[6]​Por ejemplo, la Unidad Especial de Intervención (UEI) de la Guardia Civil de España y la Guardia de Seguridad Nacional de la India, fueron entrenadas y mejoradas con la ayuda del GSG 9 después de los Atentados de Bombay de 2008.^[5]​^[7]​Además, muchos otros países han adoptado diversas tácticas, métodos de entrenamiento y estrategias operativas del GSG 9 para mejorar sus capacidades antiterroristas.

Tras cambiar el nombre de la Bundesgrenzschutz a Bundespolizei en 2005, se mantuvo la abreviatura "GSG 9" debido a la fama de la unidad, lo que refleja el cambio de nombre y no su obsolescencia funcional. La denominación oficial actual de la unidad es GSG 9 der Bundespolizei (abreviado GSG 9 BPOL o simplemente GSG 9).^[8]​