Luego de que tuvieran estabilidad en sus primeros años, la situación decayó en los años 1980 cuando los SMU Mustangs violaron las reglas sobre reclutamiento, que lo llevaron a una suspensión de dos años de todas las competiciones universitarias,^[2]​ lo que puso a la gran mayoría de sus miembros en probatoria, por lo que sus partidos no podían ser televisados excepto los de Arkansas Razorbacks, Baylor Bears y Rice Owls,^[3]​^[4]​^[5]​ y el hecho de que los Arkansas Razorbacks pasaran a jugar a la Southeastern Conference en 1991. Cinco años después Baylor Bears, Texas Longhorns, Texas A&M Aggies y Texas Tech Red Raiders (todas miembros desde 1956) se combinaron para formar la Big Eight Conference, la cual pasó a ser la Big 12 Conference luego de que Rice Owls, SMU Mustangs, TCU Horned Frogs y Houston Cougars (todas miembros de la SWC desde 1976).

El nivel del fútbol americano en la conferencia decayó, el último equipo de la conferencia en ganar un bowl fueron los Texas A&M Aggies en 1988 cuando derrotaron a los Notre Dame Fighting Irish en el Cotton Bowl por 35-10 a pesar de contar con universidades con tradición en el deporte como Texas Longhorns y Arkansas Razorbacks, pero estaban lejos de competir por el título nacional en ese momento.

El 27 de junio de 1984 la Corte Suprema de los Estados Unidos firmó un precedente en el Caso NCAA v. Junta Directiva de la Universidad de Oklahoma} en la que la NCAA no podía castigar a sus miembros por vender sus derechos de transmisión. Como resultado, cada universidad y conferencia atlética podía negociar sus contratos cada uno por separado.

El Big Ten y Pacific-10 vendieron sus derechos a CBS y ABC. La mayor parte de los miembros de fútbol americano de la Division I-A (ahora llamada Division I FBS) eligieron vender sus derechos juntos de la College Football Association a la ABC y CBS. La primera función de ls CFA fue negociar los derechos de transmisión televisiva para los miembros de su conferencia y a sus colegas.^[6]​

En 1990 la televisión le dio un cambio y se hizo fuerte por las negociaciones hechas por la CFA. Una excepción fue en Notre Dame, que dejó la CFA y vendió sus derechos por su cuenta a NBC en 1991.^[7]​

Cuando la Southeastern Conference (SEC) invitó a los Arkansas Razorbacks^[2]​ y los South Carolina Gamecocks a unirse a su conferencia en 1990,^[8]​ crearon turbulencia alrededor de la CFA. Las otras conferencias de la CFA asumieron que la SEC anadieron nuevos miembros para poder venderse mejor en televisión y así poder dejar la CFA.^[6]​

La SEC era importante dentro de la CFA. Así como la SEC se fue, las otras conferencias tuvieron dificultad de asegurar buenos ingresos por los derechos televisivos.^[6]​ En febrero de 1994 la Southeastern Conference anunció que dejaría la CFA y negociaría sus derechos televisivos por separado para sus miembros. El periódico The Dallas Morning News puso en un encabezado "la College Football Association como entidad televisiva ha muerto".^[9]​ En 1995 la SEC y el Big East se fueron de la CFA, firmando un contrato nacional con CBS. La SEC generó ingresos por 95 $ millones con el contrato. Principalmente, los cambios en los contratos con la televisión llevaron a un reacomodo en el sistema de conferencias, teniendo la SWC en primer reacomodo en 1996. (Cuando la SWC desapareció, hubo otro reacomodo más fuerte de conferencias en 2005, otro entre 2010 y 2014 y otro entre 2021 y 2022.)

En 1990 Arkansas anunció que se iba a la Southeastern Conference, marcando el inicio del fin de la Southwest Conference. En marzo de 1994, Texas, Texas A&M, Baylor y Texas Tech aceptaron las invitaciones para unirse a la Big Eight Conference para crear la Big 12 Conference. Más adelante, SMU, TCU y Rice aceptaron unirse a la Western Athletic Conference, mientras que Houston pasó a ser miembro de la Conference USA. El Bayou Bucket Game entre Houston y Rice fue el último partido de fútbol americano en la conferencia.^[10]​ En mayo de 1996, la conferencia fue disuelta luego de concluidas los partidos de campeonato de béisbol y atletismo.

• Arkansas Razorbacks (1915–1991)
• Baylor Bears (1915–1996)
• Houston Cougars (1972–1996)^{[n 1]}​^[11]​
• Oklahoma Sooners (1915–1919)
• Oklahoma State Cowboys (1915–1925)
• Phillips Haymakers (1920)
• Rice Owls (1915–1917; provisional, 1918–1996)
• SMU Mustangs (1918–1996)
• Southwestern Pirates (1915–1916)
• Texas Longhorns (1915–1996)
• Texas A&M Aggies (1915–1996)
• TCU Horned Frogs (1923–1996)
• Texas Tech Red Raiders (1956–1996)

• James W. St. Clair (1938–1945)
• James H. Stewart (1945–1950)
• Howard Grubbs (1950–1973)
• Cliff Speegle (1973–1982)
• Fred Jacoby (1982–1993)^[12]​
• Steven J. Hatchell (1993–1995)
• Kyle Kallander (1995–1996)

En sus 82 años de historia, los equipos de la Southwest Conference ganaron 64 campeonatos nacionales reconcidos del nivel universitario. En 1997 los récords ofociales de la conferencia de 1914 a 1996 se movieron al campus de la Universudad Tecnológica de Texas, siendo parte de la librería Southwest Collection/Special Collections. El archivo también contiene una gran cantidad de imágenes y memorabilia de cada miembro. El último comisionado de la Southwest Conference (1995-96) Kyle Kallander otorgó los derechos y marcas de la SWC (que más tarde pasaron a la Big South Conference en 1996-2023), y el retirado asistente del comisionado Bo Carter es considerado parte de la historia de la SWC.

1. ↑ Houston fue invitad a unirse SWC en marzo de 1971, e inició su participación en todos los deportes excepto fútbol americano y baloncesto en 1972–73. Baloncesto inició en 1975–76, y fútbol americano en 1976–77.
2. ↑ Oklahoma y Oklahoma A&M (Oklahoma State) se fueron a Missouri Valley. Oklahoma se unió al Big 6 antes de pasar a ser el Big 7 cuando Colorado se unió en 1947. La conferencia pasó a llamarse Big 8 cuando Oklahoma A&M se unió. Pasó a ser el Big 12 cuando Baylor, Texas, Texas A&M y Texas Tech se unieron junto a los miembros del Big Eight Conference. Oklahoma se fue del Big 12 por la Southeastern Conference (SEC) en 2024.
3. ↑ TCU se fue a la WAC, después a la C-USA, y más tarde a la Mountain West Conference (MWC). En diciembre de 2010, TCU anunció que se uniría a la Big East Conference el 1 de julio de 2012. En octubre de 2011, TCU aceptó la invitación de la Big 12 Conference. Texas se va del Big 12 para ir a la SEC en 2024.
4. ↑ Rice pasó de la C-USA a la AAC en 2023.
5. ↑ Houston pasó de la AAC al Big 12 en 2023.

• Tips, Kern (1964). Football, Texas Style: An Illustrated History of the Southwest Conference. Garden City, N.Y.: Doubleday & Co. 
• Pennington, Richard (1987). Breaking the Ice: The Racial Integration of Southwest Conference Football. Jefferson, N.C.: MacFarland & Co. ISBN 0-89950-295-4. 
• The Southwest Conference: Memorabilia, audio files, links
• A Look Back at the Southwest Conference
• Southwest Conference Records, 1914–1996 and undated, at the Southwest Collection/Special Collections Library
• Southwest Conference football helmets