Visualizador de atención

Calcula paso a paso la atención de un transformer: consultas, claves, valores, softmax y cabezas de atención, con embeddings que puedes leer.

Acerca de

La atención es la forma en que un transformer permite que cada palabra reúna información de las demás palabras de su contexto. Para cada token calcula un conjunto de pesos sobre todos los tokens y luego toma un promedio ponderado de lo que cada uno ofrece. Este laboratorio hace ese cálculo de verdad, con embeddings lo bastante pequeños como para leerlos.

Los pesos de los preajustes están hechos a mano, no aprendidos, así que cada patrón tiene una explicación que puedes comprobar en el panel de matemáticas. Prueba este orden: sigue la cabeza de token anterior a lo largo de la oración con las flechas del teclado; activa la máscara causal y observa cómo desaparece el triángulo superior; lleva la temperatura a 0.1 y luego a 3 y mira cómo las filas pasan de tener un solo valor encendido a ser uniformes; por último, agrega una cabeza aleatoria para ver cómo se ve la atención antes del entrenamiento.

Relacionado: la lección sobre transformers explica por qué la atención reemplazó a la recurrencia, y el Transformer Explorer ubica este paso dentro de un modelo completo.

Cómo funciona

Atención de producto punto escalado, tal como la definen Vaswani et al. (2017):

Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
  1. Proyectar. Cada fila de embedding x se multiplica por tres matrices. La consulta (query) q = x·W_Q es lo que un token está buscando; la clave (key) k = x·W_K es lo que anuncia; el valor (value) v = x·W_V es lo que entrega si lo eligen.
  2. Puntuar. El producto punto q_i·k_j mide qué tan bien coinciden. Dividir entre √d_k mantiene la varianza de los puntajes más o menos constante a medida que crece d_k; si no, el softmax se satura y los gradientes se desvanecen.
  3. Normalizar. El softmax convierte cada fila de puntajes en pesos positivos que suman 1.
  4. Mezclar. La salida del token i es Σ_j a_ij · v_j. Tiene la misma forma que un vector de valor, así que puede sumarse de vuelta a la representación del token.

Cómo funciona la cabeza de token anterior. La posición p se guarda como (sen pω, cos pω). Una rotación de −ω es una transformación lineal, así que W_Q puede convertir la posición i en la posición i − 1. El producto punto con la clave j queda entonces proporcional a cos((i − 1 − j)ω), que alcanza su máximo cuando j = i − 1. Dos frecuencias (ω = 1 y 0.45) eliminan la ambigüedad que tendría una sola sinusoide. Esta es justamente la propiedad que Vaswani et al. citan para elegir sinusoides: PE(p + k) es una función lineal de PE(p).

Cabezas en modelos reales

En los modelos entrenados, muchas cabezas hacen tareas reconocibles. Clark et al. (2019) encontraron cabezas de BERT que atienden al token anterior o al siguiente, a los objetos directos de los verbos y a los determinantes de los sustantivos, además de cabezas que ponen casi todo su peso en el token especial [SEP].

El trabajo de interpretabilidad de Anthropic (Elhage et al., 2021; Olsson et al., 2022) mostró que una cabeza de token anterior puede combinarse con una segunda cabeza para formar una cabeza de inducción (induction head): “busca dónde apareció antes el token actual y copia lo que vino después”. Las cabezas de inducción aparecen de golpe durante el entrenamiento y coinciden con un salto en el aprendizaje en contexto.

El preajuste de primer token refleja los sumideros de atención (attention sinks): Xiao et al. (2023) observaron que los modelos de lenguaje grandes ponen mucha atención en el primer token sin importar su significado, porque los pesos del softmax deben sumar 1 y una cabeza que no tiene nada que hacer necesita dónde ponerlos. Conservar esos primeros tokens en la caché es lo que permite que StreamingLLM funcione con flujos muy largos.

Qué se simplifica

Todo lo que ves se calcula de forma exacta, pero el escenario es pequeño a propósito:

  • Los embeddings son 10 rasgos diseñados a mano. Los embeddings de un modelo entrenado tienen de cientos a miles de dimensiones aprendidas y codifican significado, no solo el tipo de palabra (consulta el laboratorio de embeddings).
  • Los tipos de palabra salen de una pequeña tabla de consulta y de reglas de sufijos; por eso puedes corregirlos con un clic.
  • Los pesos de los preajustes se eligen a mano para producir patrones limpios. Las cabezas entrenadas son más desordenadas y a menudo hacen varias cosas a la vez.
  • Los modelos reales dividen el texto en fragmentos de subpalabras, apilan decenas de capas y suman la salida de la atención a un flujo residual.

Una advertencia al leer mapas de atención de modelos reales: un peso de atención alto no es lo mismo que importancia para la salida. Jain y Wallace (2019) mostraron que distribuciones de atención muy distintas pueden dar las mismas predicciones, así que toma los mapas de calor como una pista, no como una explicación.

Referencias