Laboratorio de redes neuronales

Entrena una red neuronal real en tu navegador: agrega capas ocultas, cambia la función de activación y la tasa de aprendizaje y mira cómo aprende.

Acerca de

Este laboratorio entrena una red neuronal real en tu navegador. Cada número que ves proviene de pasadas hacia adelante y de retropropagación reales sobre los puntos de la pantalla, recalculadas decenas de veces por segundo. Nada está pregrabado.

La tarea es aprender una función de dos coordenadas. En los cuatro conjuntos de datos de clasificación, la red da como salida la probabilidad de que un punto sea amarillo en lugar de morado; el sombreado del fondo es esa probabilidad evaluada en cada lugar, así que la frontera entre los colores está donde el modelo duda exactamente 50/50. En los dos conjuntos de regresión, en cambio, predice un número entre -1 y 1.

Los cuadritos del diagrama son lo más útil de la página. Cada uno muestra lo que calcula una sola neurona sobre todo el plano. Pasa el cursor sobre uno para ampliarlo en el panel de salida. Verás que la primera capa oculta solo traza bordes rectos y que las capas más profundas combinan esos bordes en curvas, anillos y espirales.

Qué probar primero

  1. Presiona Ejecutar con el círculo. Debería llegar a una pérdida de prueba cercana a cero en pocos segundos.
  2. Cambia a la espiral sin tocar nada más. La red pequeña tiene problemas. Agrega capas y neuronas hasta que lo logre.
  3. Sube el ruido al 40% y la división de entrenamiento al 10%. Observa cómo se separan la pérdida de entrenamiento y la de prueba.
  4. Abre la pestaña Experimentos para ver configuraciones guiadas que aíslan una idea cada una.

Cómo funciona

El entrenamiento repite cuatro pasos. Cada pasada por todo el conjunto de entrenamiento es una época; dentro de una época, los puntos se barajan y se procesan en minilotes del tamaño que elijas.

1. Pasada hacia adelante

Cada neurona toma una suma ponderada de las salidas de la capa anterior, le suma un sesgo y aplica su función de activación. La neurona de salida usa una sigmoide para clasificación (así se lee como una probabilidad) y ninguna activación para regresión.

aj(l) = f( Σi wji(l) ai(l-1) + bj(l) )

La capa l calcula esto para cada neurona j, con la función de activación f.

2. Pérdida

La clasificación usa entropía cruzada binaria, que castiga mucho los errores cometidos con confianza: predecir 0.99 para un punto que en realidad es de la clase 0 cuesta alrededor de 4.6, mientras que predecir 0.6 cuesta alrededor de 0.9. La regresión usa la mitad del error cuadrático. El gráfico de pérdida muestra la media sobre el conjunto de entrenamiento (línea continua) y sobre el conjunto de prueba reservado (línea discontinua).

L = -[ y log p + (1 - y) log(1 - p) ]

Entropía cruzada binaria para un punto con etiqueta y y probabilidad predicha p.

3. Retropropagación

La regla de la cadena da el gradiente de la pérdida respecto a cada peso en un solo barrido hacia atrás. Un dato curioso facilita el comienzo: con sigmoide y entropía cruzada, y con una salida lineal y error cuadrático, la señal de error en la salida es simplemente p - y. Cada capa anterior recibe el error de la capa de arriba, ponderado por los pesos que las conectan y escalado por la pendiente de su propia activación.

δ(l) = f′(z(l)) ⊙ (W(l+1))T δ(l+1), ∂L/∂W(l) = δ(l) (a(l-1))T

Señal de error δ que fluye de vuelta hacia la capa l, y el gradiente de los pesos que resulta.

4. Actualización

El optimizador mueve cada peso un poco en contra de su gradiente. El SGD simple da un paso igual a la tasa de aprendizaje por el gradiente. Momentum mantiene una velocidad acumulada, así que pasa por encima de pequeños baches. Adam, el predeterminado aquí y el caballo de batalla del aprendizaje profundo moderno, divide cada paso entre una estimación acumulada del tamaño del gradiente de ese peso, de modo que cada peso tiene su propio tamaño de paso efectivo.

Haz competir a SGD, momentum y Adam sobre una superficie de pérdida en el laboratorio de descenso de gradiente (en inglés)

Activaciones y ajuste

Funciones de activación

Sin una función de activación no lineal, cualquier pila de capas se reduce a una sola transformación lineal, y la frontera siempre es una recta. Pon la activación en Lineal y prueba con el círculo para comprobarlo.

TanhCon forma de S, salida en (-1, 1), centrada en cero. Fronteras suaves. Se satura con entradas grandes, donde su gradiente se desvanece.ReLUmax(0, z). Barata y no se satura con entradas positivas, así que las redes profundas entrenan rápido. Las unidades que quedan negativas en todas partes dejan de aprender (unidades "muertas").SigmoideSalida en (0, 1). Popular históricamente, pero no está centrada en cero y se satura con facilidad, así que las capas ocultas aprenden despacio.LinealSin activación. Útil como experimento de control: la profundidad no aporta nada sin una no linealidad.

Tasa de aprendizaje y tamaño de lote

La tasa de aprendizaje es el parámetro más importante. Si es muy pequeña, el entrenamiento avanza a paso de tortuga; si es muy grande, cada paso se pasa de largo y la curva de pérdida tiembla o se dispara (el laboratorio se pausa y te avisa si la pérdida se vuelve infinita). Los buenos valores dependen del optimizador: aquí, entre 0.003 y 0.03 para Adam, y entre 0.03 y 0.3 para SGD. Los lotes más pequeños dan actualizaciones más ruidosas pero más frecuentes, lo que a menudo ayuda a escapar de regiones malas.

Regularización

La regularización suma a la pérdida una penalización por pesos grandes: sacrifica un poco de ajuste al entrenamiento a cambio de funciones más simples que generalizan mejor. L2 suma λ·w²/2 por cada peso y encoge cada peso en proporción a su tamaño, lo que suaviza la frontera. L1 suma λ·|w|, un tirón constante hacia cero que lleva los pesos poco útiles exactamente a cero, así que realiza selección de características. Los sesgos no se penalizan.

Ingeniería de características

Los siete cuadros de entrada son características hechas a mano. Con X₁² y X₂², un círculo se vuelve un problema lineal; con X₁X₂, también XOR. Elegir buenas características permite que un modelo diminuto haga lo que uno profundo tendría que aprender. El gran cambio del aprendizaje profundo fue dejar que las capas ocultas aprendieran esas características a partir de las entradas sin procesar.

Experimentos

Cada configuración aísla una idea. Al cargar una se reemplazan los ajustes actuales y vuelves a la red; presiona Ejecutar (o Espacio) para empezar.

  1. 01

    Una línea recta no puede dibujar un círculo

    Sin capas ocultas y solo con X₁ y X₂: esto es regresión logística, y su frontera es una recta. No puede separar las clases y se queda lejos del 100%, a menudo cerca del azar.

    Ahora haz clic en los cuadros de entrada X₁² y X₂² del diagrama. Con las características al cuadrado, el mismo modelo sin capas ocultas lo resuelve al instante, porque un círculo es lineal en (x², y²).

  2. 02

    XOR, el problema que frenó al campo

    Una sola capa oculta de 4 unidades tanh aprende XOR a partir de las coordenadas sin procesar. Minsky y Papert demostraron en 1969 que un perceptrón de una sola capa nunca puede lograrlo.

    Pasa el cursor sobre las unidades ocultas: cada una aprende una recta inclinada, y la salida las combina en el tablero de ajedrez.

  3. 03

    Profundidad para la espiral

    Tres capas ocultas (8, 8, 6) aprenden dos espirales entrelazadas a partir de X₁ y X₂ sin procesar. Tarda varios cientos de épocas; observa cómo la frontera se va enrollando.

    Pasa el cursor sobre las unidades capa por capa: la primera capa solo conoce rectas, y las capas siguientes construyen curvas con ellas.

  4. 04

    Sobreajuste a simple vista

    XOR con mucho ruido, solo el 10% de los puntos para entrenar, todas las características activas y una red grande. La pérdida de entrenamiento tiende a cero mientras la pérdida de prueba (discontinua) sube muy por encima de donde empezó.

    La frontera forma islas alrededor de puntos ruidosos individuales. Ahora pon la regularización en L2 con tasa 0.03 y presiona Reiniciar: la pérdida de entrenamiento queda más alta, pero la de prueba baja varias veces.

  5. 05

    L1 encuentra las características que importan

    Las siete características alimentan una red pequeña sobre el círculo, con regularización L1.

    Las líneas de entradas poco útiles, como sin X₁ y X₁X₂, se desvanecen hasta desaparecer a medida que L1 lleva sus pesos exactamente a cero. X₁² y X₂² sobreviven.

  6. 06

    Una tasa de aprendizaje demasiado grande

    Adam con tasa de aprendizaje 1 sobre el círculo fácil. Los primeros pasos son tan grandes que todas las unidades tanh quedan saturadas de golpe, donde su gradiente es casi cero.

    La pérdida deja de mejorar y se queda alta, a menudo cerca de 0.693 (ln 2, el costo de responder 50/50 para cada punto). Pon la tasa en 0.01 y presiona Reiniciar para ver a la misma red resolverlo.

  7. 07

    Regresión con ReLU

    Ajusta un paisaje suave de cinco colinas con unidades ReLU. Ahora la salida es un número, no una clase, así que la pérdida es el error cuadrático.

    Las redes ReLU son lineales por tramos: busca pliegues rectos y tenues en el mapa de calor, donde las unidades se encienden y se apagan.