Pausar experimentos gigantes de IA: una carta abierta es el título de una carta publicada por el Future of Life Institute en marzo de 2023. La carta insta a "todos los laboratorios de inteligencia artificial a detener inmediatamente durante al menos 6 meses el entrenamiento de sistemas de IA más potentes que GPT-4 ", citando riesgos como la propaganda generada por la IA, la automatización extrema de los empleos, la obsolescencia humana y la pérdida generalizada de control en la sociedad.[1] Recibió más de 20.000 firmas, incluyendo investigadores académicos de inteligencia artificial y directores ejecutivos de la industria como Yoshua Bengio, Stuart Russell, Elon Musk, Steve Wozniak y Yuval Noah Harari.[1]
La publicación tuvo lugar una semana después del lanzamiento del modelo de lenguaje grande GPT-4 de OpenAI . Asegura que los grandes modelos de lenguaje actuales están "volviéndose competitivos con los humanos en tareas generales", haciendo referencia a un artículo sobre los primeros experimentos de GPT-4, descrito como con "chispas de AGI (Inteligencia Artificial General)".[2] Se describe que AGI plantea numerosos riesgos importantes, especialmente en un contexto de dinámica de carrera hacia el abismo en el que algunos laboratorios de IA pueden verse incentivados a pasar por alto la seguridad para desplegar productos más rápidamente.[3]
La carta pide que se redireccione la investigación sobre IA para hacer que los sistemas de IA potentes sean "más precisos, seguros, interpretables, transparentes, robustos, alineados, confiables y leales". Además, la carta también recomienda mayor regulación gubernamental, auditorías independientes antes de entrenar sistemas de IA, así como "un seguimiento de sistemas de IA altamente capaces y grandes recursos de capacidad computacional" y "una financiación pública sólida para la investigación técnica en seguridad de la IA".[1] FLI sugiere utilizar la "cantidad de cómputo que se realiza en una ejecución de entrenamiento" como indicador de cuán poderosa es una IA y, por lo tanto, como umbral. [4]
Eliezer Yudkowsky escribió que la carta "no va lo suficientemente lejos" y argumentó que debería pedir una pausa indefinida. Teme que encontrar una solución al problema de alineación pueda llevar varias décadas y que cualquier IA desalineada lo suficientemente inteligente pueda causar la extinción humana .[5]
La carta ha sido criticada por desviar la atención de riesgos sociales más inmediatos, como los sesgos algorítmicos.[6] El director ejecutivo de Microsoft, Bill Gates, optó por no firmar la carta y afirmó que no cree que "pedirle a un grupo en particular que se detenga resuelva los desafíos".[7]
Algunos miembros del IEEE han expresado varias razones para firmar la carta, como que "Hay demasiadas formas en que se puede abusar de estos sistemas. Se distribuyen libremente y no existe ninguna revisión o regulación para evitar daños".[8]
Sam Altman, director ejecutivo de OpenAI, comentó que a la carta "le faltaban la mayoría de los matices técnicos sobre dónde necesitamos la pausa" y afirmó que "una versión anterior de la carta afirmaba que OpenAI está entrenando GPT-5 en este momento. No lo estamos haciendo y no lo haremos por un tiempo." [9]