En la primera parte de este artículo hablamos un poco de la historia de la Inteligencia Artificial, pasando por las Redes Neuronales Recurrentes y Convolucionales, el Machine Learning y las técnicas de Data Mining, las SVN, para llegar a las GANs y por último al artículo de "Attention Is All You Need" de Ashish Vaswani y su equipo en 2017, que dió origen a los Transformers. En esta parte del artículo vamos a ver cómo funcionan estos Transformers.

Vamos a centrarnos ahora en los Transformer. A diferencia de las arquitecturas anteriores como las Redes Neuronales Recurrentes (RNN) y las Convolucionales (CNN), recordemos que los Transformers no procesan secuencias de texto de manera secuencial (como ya hemos comentado en la primera parte de este artículo). En cambio, utilizan una estructura que permite procesar toda la secuencia de entrada simultáneamente, lo que se traduce en una mayor eficiencia y capacidad para manejar dependencias a larga distancia.


Ahora vamos a ver cómo funciona un Transformer partiendo su arquitectura básica. Voy a intentar resumirlo de la forma más sencilla basándome en la arquitectura del artículo y que podéis ver en la imagen anterior.

Estructura del Transformer

(Atención de Múltiples Cabezas Enmascarada):

• Es similar a la atención de múltiples cabezas, pero evita que el modelo vea las partes futuras de la secuencia durante el entrenamiento. Esto se hace típicamente en tareas de predicción secuencial como la generación de texto.

Linear (Lineal):

• Una capa lineal es una capa de red neuronal que realiza una transformación lineal. En el contexto del Transformer, esta capa lineal suele convertir la representación de alta dimensión de la red en una representación del tamaño del vocabulario.

Softmax:

• La función Softmax se utiliza en la última capa de la red para convertir los logits (salidas de la capa lineal) en probabilidades. La salida es un vector de probabilidades que indica la probabilidad de cada palabra siguiente en la secuencia.

Output Probabilities (Probabilidades de Salida):

• Es el vector final de probabilidades generado por la capa Softmax. Cada elemento del vector representa la probabilidad de que una palabra específica del vocabulario sea la siguiente en la secuencia.

Después de estas definiciones y explicaciones, simplificando un poco el proceso, vamos a ver cómo se analiza por ejemplo la frase “El gato está en el tejado” cuando pasa por cada uno de los elementos de la arquitectura:

Espero que este ejemplo os haya aclarado un poco cómo funcionan los Transformers, que son la clave de los Large Language Models (LLM) que utilizan los sistemas de Generative AI más populares de hoy en día.

Conclusión