Los autores del artículo son: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser e Illia Polosukhin. Los ocho autores « colaboraron por partes iguales» en el artículo; el orden de la lista fue aleatorio. El artículo de Wired destaca la diversidad del grupo: ^[8]​

Seis de los ocho autores nacieron fuera de Estados Unidos; los otros dos son hijos de dos alemanes con permiso de residencia temporal en California y de un estadounidense de primera generación cuya familia había huido de la persecución, respectivamente.

Tras el artículo, cada uno de los autores abandonó Google para incorporarse a otras empresas o fundar empresas emergentes. Varios de ellos manifestaron sentirse incapaces de innovar y ampliar el transformador en la dirección que deseaban si se hubieran quedado en Google. ^[12]​

El artículo es más conocido por la introducción de la arquitectura «transformador», que constituye la arquitectura subyacente de la mayoría de los modelos extensos de lenguaje (LLM). Una de las razones principales por las que la mayoría de los LLM modernos prefieren esta arquitectura es su paralelizabilidad con respecto a sus predecesores. Esto garantiza que las operaciones necesarias para el entrenamiento puedan acelerarse en una GPU, lo que permite acelerar los tiempos de entrenamiento y entrenar modelos de mayor tamaño.

Los siguientes mecanismos fueron introducidos en el artículo como parte del desarrollo de la arquitectura del transformador.

Atención y autoatención del producto escalar

El uso del mecanismo de atención y autoatención del producto escalar en lugar de una red neuronal recurrente o una memoria larga a corto plazo (que se basan en la recurrencia) permite un mejor rendimiento como se describe en el siguiente párrafo. El artículo describe la atención del producto escalar de la siguiente manera:

${\displaystyle {\rm {Attention}}(Q,K,V):={\rm {softmax}}\left({\frac {Q\times K^{T}}{\sqrt {d_{k}}}}\right)\times V}$ 

dónde ${\displaystyle Q}$ , ${\displaystyle K}$ , ${\displaystyle V}$  son respectivamente las matrices de consulta, clave y valor. ${\displaystyle d_{k}}$  es la dimensión de los valores.

Dado que el modelo se basa en matrices de consulta (Q), clave (K) y valor (V) que proceden de la misma fuente (es decir, la secuencia de entrada/ventana contextual), se elimina por completo la necesidad de RNN, lo que garantiza la paralelizabilidad de la arquitectura. Esto difiere de la forma original del mecanismo de Atención introducido en 2014. Además, el documento también discute el uso de un factor de escala adicional que se encontró que era más eficaz con respecto a la dimensión de los vectores clave (representados como ${\displaystyle d_{k}}$  y fijado inicialmente en 64 en el documento) de la forma indicada anteriormente.

En el contexto específico de la traducción en el que se centra el artículo, las matrices de consulta y clave suelen representarse en codificaciones correspondientes a la lengua de origen, mientras que la matriz de valor corresponde a la lengua de destino.

Atención multicabezal

En el mecanismo de autoatención, las consultas (Q), las claves (K) y los valores (V) se generan dinámicamente para cada secuencia de entrada (limitada normalmente por el tamaño de la ventana de contexto), lo que permite al modelo centrarse en distintas partes de la secuencia de entrada en diferentes pasos. La atención multicabezal mejora este proceso introduciendo múltiples cabezales de atención paralelos. Cada cabezal de atención aprende diferentes proyecciones lineales de las matrices Q, K y V. Esto permite al modelo captar diferentes aspectos de la secuencia de entrada. Esto permite al modelo captar simultáneamente distintos aspectos de las relaciones entre las palabras de la secuencia, en lugar de centrarse en un único aspecto.

De este modo, la atención multicabezal garantiza que las codificaciones de entrada se actualicen desde un conjunto de perspectivas más variadas y diversas. Una vez calculados los resultados de la atención de todas las cabezas, se concatenan y se someten a una transformación lineal final para generar el resultado.

Codificación posicional

Dado que el modelo transformador no es un modelo seq2seq y no se basa en la secuencia del texto para realizar la codificación y descodificación, el artículo se basa en el uso de funciones de onda seno y coseno para codificar la posición del token en la incrustación. A continuación se analizan los métodos introducidos en el artículo:

${\displaystyle PE_{({\rm {pos}},2i)}=\sin({\rm {pos}}/{10000}^{2i/d_{\rm {model}}})}$ 

${\displaystyle PE_{({\rm {pos}},2i+1)}=\cos({\rm {pos}}/{10000}^{2i/d_{\rm {model}}})}$ 

donde ${\displaystyle {\rm {pos}}}$ , ${\displaystyle i}$ , ${\displaystyle {d_{\rm {model}}}}$  corresponden a la posición de la palabra, el índice de dimensión actual y la dimensión del modelo respectivamente. La función seno se utiliza para índices pares de la codificación, mientras que la función coseno se utiliza para índices impares. El resultado ${\displaystyle PE}$  Luego se agrega una codificación a la palabra en la posición correspondiente con respecto a la ventana de contexto actual. El artículo comenta específicamente por qué se eligió este método y describe:

"Elegimos la versión sinusoidal porque puede permitir al modelo extrapolar secuencias más largas que las encontradas durante el entrenamiento". ^[1]​

Aunque en aquel momento el objetivo principal del artículo era mejorar la traducción automática, también se analizaba el uso de la arquitectura en el análisis de constituyentes sintácticos de la lengua inglesa, tanto con conjuntos de datos limitados como de gran tamaño, logrando una puntuación alta sin un ajuste específico para la tarea, lo que indicaba la naturaleza prometedora del modelo para su uso en una amplia variedad de tareas seq2seq de propósito general.

Conjunto de datos

El modelo de traducción inglés-alemán se entrenó con el conjunto de datos inglés-alemán del WMT (Workshop on Statistical Machine Translation) de 2014, compuesto por casi 4,5 millones de frases procedentes de charlas TED y artículos de noticias de alta calidad. Otro modelo de traducción se entrenó con el conjunto de datos inglés-francés del WMT de 2014, mucho mayor y compuesto por 36 millones de frases. Ambos conjuntos de datos se codificaron con pares de bytes.

Hardware

Los modelos se entrenaron utilizando 8 GPUs NVIDIA P100. Los modelos base se entrenaron durante 100.000 ciclos y los modelos grandes, durante 300.000. Cada ciclo tardó 0,4 segundos en completarse para los modelos base y 1,0 segundos para los modelos grandes. El modelo básico se entrenó durante un total de 12 horas y el modelo grande durante 3,5 días. Tanto el modelo base como el modelo grande superan el estado del arte de 2017 tanto en inglés-alemán como en inglés-francés, al tiempo que consiguen el coste de formación comparativamente más bajo.^[1]​ El coste computacional estimado fue de 0,089 petaFLOP-días. ^[13]​

Hiperparámetros y regularización

Para su modelo Transformador de 100M de parámetros, los autores aumentaron la tasa de aprendizaje linealmente durante los primeros 4000 ciclos (calentamiento) y la disminuyeron proporcionalmente a la raíz cuadrada inversa del número de ciclos actual. Se aplicaron capas de abandono a la salida de cada subcapa antes de la normalización, las sumas de las incrustaciones y las codificaciones posicionales. La tasa de abandono se fijó en 0,1. El suavizado de etiquetas se aplicó con un valor de 0,1 que «mejora la precisión y la puntuación BLEU». ^[1]​

• Uszkoreit, Jakob (August 31, 2017). «Transformer: A Novel Neural Network Architecture for Language Understanding». research.google (en inglés). Consultado el 9 de agosto de 2024.  A concurrent blog post on Google Research blog.