Laboratorio de redes recurrentes

Entrena en tu navegador una RNN simple, una GRU y una LSTM con texto en español, mira su estado oculto paso a paso y descubre el desvanecimiento del…

Acerca de

Una red neuronal recurrente lee una secuencia elemento por elemento y lleva un estado oculto de cada paso al siguiente. Ese estado es la única memoria de la red: un vector de números que tiene que resumir todo lo que ha leído hasta ahora y que podría importar más adelante.

Este laboratorio entrena tres redes recurrentes con el mismo texto, en tu navegador, mientras lo observas: una RNN simple (vanilla), una GRU y una LSTM. Cada una es un modelo de lenguaje a nivel de caracteres: dados los caracteres leídos hasta el momento, asigna una probabilidad a cada posible carácter siguiente. Nada está precalculado ni simulado. Los pesos empiezan al azar; la pasada hacia adelante, la retropropagación a través del tiempo y las actualizaciones de Adam están escritas en unas 400 líneas de TypeScript, y las imágenes se leen directamente de las redes en vivo.

Lo interesante es en qué no coinciden. Con las rimas infantiles, las tres aprenden ortografía y palabras comunes. En la prueba de memoria, donde hay que recordar una letra después de ocho guiones, la RNN simple no lo hace mejor que adivinar, la GRU acierta casi siempre y la LSTM suele ir a medio camino cuando termina el entrenamiento. Las compuertas hacen que la memoria larga se pueda aprender, pero no todas la aprenden igual de rápido. La gráfica de gradientes muestra por qué la RNN simple nunca lo logra.

Qué se está ejecutando

Unidades ocultas
32 por modelo
Ventanas de entrenamiento
24 caracteres, posiciones aleatorias
Pasos de entrenamiento
3,000 por modelo, tamaño de lote 1
Optimizador
Adam, tasa de aprendizaje 0.01, norma del gradiente recortada a 5
Estado inicial
Todo ceros, para el entrenamiento y para tu texto
Parámetros de RNN simple
3,396
Parámetros de GRU
7,812
Parámetros de LSTM
10,020

Cosas para probar

  1. Míralo aprenderPulsa R para reentrenar y presiona Generar cada pocos segundos. Las primeras muestras son letras al azar, luego formas de palabras y después palabras reales.
  2. Prueba de memoriaCambia a la prueba de memoria (3). Cuando termine el entrenamiento, avanza hasta la letra que sigue a los guiones y compara los tres paneles de predicción.
  3. Rompe el gradienteEn la gráfica de gradientes, baja σ hasta 0.5 y luego súbela a 2.5. Después pon la intensidad de entrada en 0 y vuelve a probar.
  4. TemperaturaGenera con 0.2 y con 1.3. Una temperatura baja repite la frase más probable; una alta inventa palabras.

Cómo funciona

Notación: xt es el carácter leído en el paso t (one-hot), ht el estado oculto, σ la sigmoide logística y ⊙ la multiplicación elemento a elemento. Todos los modelos terminan en la misma capa de salida: pt = softmax(Wyht + by), una probabilidad para cada carácter siguiente.

RNN simple (Elman, 1990)

ht = tanh(Wxxt + Whht−1 + b)

Una matriz mezcla el estado anterior con la nueva entrada y luego tanh comprime el resultado en (−1, 1). Los mismos pesos se reutilizan en cada paso.

LSTM (Hochreiter y Schmidhuber, 1997; compuerta de olvido de Gers et al., 2000)

i, f, o = σ(W·[xt, ht−1] + b)g = tanh(Wg·[xt, ht−1] + bg)ct = f ⊙ ct−1 + i ⊙ ght = o ⊙ tanh(ct)

Un estado de celda c independiente avanza junto a h. La compuerta de olvido f decide cuánto de él sobrevive en cada paso, la compuerta de entrada i cuánto contenido nuevo g se escribe y la compuerta de salida o cuánto se expone como h.

GRU (Cho et al., 2014)

r, z = σ(W·[xt, ht−1] + b)n = tanh(Wnxt + Un(r ⊙ ht−1) + bn)ht = (1 − z) ⊙ n + z ⊙ ht−1

Un diseño más ligero, con dos compuertas y sin celda separada. La compuerta de actualización z interpola entre conservar el estado anterior y tomar el nuevo candidato n.

Entrenamiento: retropropagación a través del tiempo

Para entrenarla, la red se despliega sobre una ventana de 24 caracteres, así que se convierte en una red prealimentada de 24 capas en la que todas las capas comparten los mismos pesos. La pérdida es la entropía cruzada promedio de los verdaderos caracteres siguientes. La retropropagación va del último paso al primero, y cada peso compartido acumula gradiente de todos los pasos. Eso es la retropropagación a través del tiempo (BPTT).

La actualización aditiva ct = f ⊙ ct−1 + … es la decisión de diseño clave. Su derivada con respecto a ct−1 es simplemente f, sin matriz de pesos y sin compresión. Cuando la compuerta de olvido está cerca de 1, el gradiente retrocede muchos pasos casi sin cambios. Hochreiter y Schmidhuber lo llamaron carrusel de error constante. Este laboratorio inicializa el sesgo de la compuerta de olvido en 1 para que el carrusel empiece encendido, siguiendo a Jozefowicz et al. (2015).

¿Quieres las mismas ideas en una lectura más larga? La lección Procesamiento de lenguaje natural (en inglés) trata los modelos de secuencias, y Transformers y atención explica qué los reemplazó.

Desvanecimiento del gradiente

Cuando la pérdida del paso T se envía de vuelta al paso T − k, se multiplica por el jacobiano de cada paso intermedio:

∂hT/∂hT−k = JT JT−1 ⋯ JT−k+1

En una RNN con tanh, cada factor es diag(1 − h²) W. Multiplica k de ellos y el tamaño del producto se comporta aproximadamente como (ganancia típica)ᵏ.

Si la ganancia típica por paso es 0.8, después de 20 pasos el gradiente queda en 0.8²⁰ ≈ 0.012 de su tamaño. Después de 50 pasos es 0.8⁵⁰ ≈ 0.000014. La red sigue recibiendo un gradiente, pero la parte que dice “este carácter de hace 50 pasos importaba” queda ahogada por los pasos cercanos. Ese es el problema del desvanecimiento del gradiente, analizado por Hochreiter (1991) y por Bengio, Simard y Frasconi (1994). Si la ganancia es mayor que 1, el producto explota, y una sola actualización puede arruinar los pesos. Pascanu, Mikolov y Bengio (2013) propusieron el recorte de gradientes para ese caso, y este laboratorio lo usa.

La gráfica de la RNN aleatoria calcula el producto de forma exacta: construye una matriz recurrente de 32 × 32 con entradas tomadas de N(0, σ²/32), ejecuta 60 pasos con entradas aleatorias y multiplica los jacobianos. El número que se muestra es la norma de Frobenius dividida entre √32, así que la matriz identidad da exactamente 1.

Qué muestra la gráfica

  • σ menor que 1Líneas rectas en un eje logarítmico: decaimiento exponencial. En la práctica, la red no ve nada que esté más de unos pocos pasos atrás.
  • σ cerca de 1Sigue decayendo, porque tanh′ es menor que 1 donde las unidades están activas. Las unidades saturadas (cerca de ±1) casi no dejan pasar gradiente.
  • σ muy por encima de 1El producto crece. Con entradas fuertes, las unidades se saturan y lo contienen; pon la intensidad de entrada en 0 para ver lo violento que puede ser.
  • Modelos entrenadosSe mide empujando ligeramente el estado de cada modelo k pasos atrás en direcciones aleatorias y volviendo a ejecutar hasta el final. La ruta de la celda de la LSTM mantiene la línea alta.

Cómo leer la franja de calor

Cada franja es una imagen de la memoria de una red. Una columna es el estado oculto justo después de leer el carácter que tiene debajo. Cada una de las 32 filas es una unidad oculta, coloreada con la escala viridis: morado oscuro en −1, verde azulado alrededor de 0 y amarillo en +1.

Busca filas que cambien de color con el mismo tipo de carácter, como cada espacio o cada vocal. Esas unidades han aprendido un rasgo. Karpathy, Johnson y Fei-Fei (2015) encontraron celdas LSTM individuales que siguen las comillas, la longitud de la línea y la sangría exactamente así. En un modelo de 32 unidades entrenado unos segundos, los rasgos son más toscos, pero los límites entre palabras suelen verse.

Compara qué tan rápido cambia cada franja. La RNN simple tiene que reescribir todo su estado en cada paso, así que sus columnas suelen parecer no tener relación entre sí. La GRU y la LSTM pueden mantener unidades estables durante muchos pasos, lo que se ve como bandas horizontales. En la prueba de memoria, busca unidades que se encienden con la primera letra y se quedan así hasta que terminan los guiones.

La lectura de las compuertas

Debajo de las predicciones de la LSTM y la GRU, el laboratorio muestra el valor promedio de las compuertas en el paso seleccionado. Una compuerta de olvido de la LSTM con promedio 0.9 significa que la mayor parte del estado de celda se sigue arrastrando. Una compuerta de actualización de la GRU cerca de 1 significa lo mismo: conservar el estado anterior e ignorar el nuevo candidato. Avanza paso a paso por una palabra y observa cómo bajan estos números en los espacios, donde el modelo puede permitirse olvidar.

Las RNN hoy

Las LSTM fueron la herramienta principal del modelado de secuencias durante casi toda la década de 2010: reconocimiento de voz, reconocimiento de escritura a mano y, desde 2014, traducción automática neuronal con modelos codificador-decodificador. En 2017, el transformer reemplazó la recurrencia por atención, que mira todas las posiciones a la vez. Eso eliminó el largo camino del gradiente y, igual de importante, permitió entrenar en paralelo a lo largo de la secuencia en lugar de paso a paso.

La recurrencia ha vuelto con una nueva forma. En un transformer, el costo por token generado crece con la longitud del contexto, mientras que un modelo recurrente lleva un estado de tamaño fijo. Modelos de espacio de estados como Mamba (Gu y Dao, 2023), RWKV (Peng et al., 2023) y xLSTM (Beck et al., 2024) diseñan sus recurrencias para que el entrenamiento se pueda seguir paralelizando, y varios modelos en producción ya combinan estas capas con atención. Feng et al. (2024) mostraron que reducir las LSTM y las GRU a versiones “mínimas” también permite entrenarlas en paralelo.

El compromiso que puedes ver en este laboratorio es el mismo que estos diseños siguen negociando: una memoria de tamaño fijo es barata, pero tiene que decidir qué olvidar.

Fuentes y lecturas adicionales

  1. 01Long short-term memory. Hochreiter y Schmidhuber, Neural Computation, 1997
  2. 02Learning to forget: continual prediction with LSTM. Gers, Schmidhuber y Cummins, Neural Computation, 2000
  3. 03Learning phrase representations using RNN encoder-decoder. Cho et al., 2014 (presenta la GRU)
  4. 04Learning long-term dependencies with gradient descent is difficult. Bengio, Simard y Frasconi, IEEE Trans. Neural Networks, 1994
  5. 05On the difficulty of training recurrent neural networks. Pascanu, Mikolov y Bengio, ICML 2013
  6. 06An empirical exploration of recurrent network architectures. Jozefowicz, Zaremba y Sutskever, ICML 2015
  7. 07Visualizing and understanding recurrent networks. Karpathy, Johnson y Fei-Fei, 2015
  8. 08Mamba: linear-time sequence modeling with selective state spaces. Gu y Dao, 2023
  9. 09RWKV: reinventing RNNs for the transformer era. Peng et al., 2023
  10. 10xLSTM: extended long short-term memory. Beck et al., 2024
  11. 11Were RNNs all we needed?. Feng et al., 2024