Español

Descenso de gradiente

UniversidadInformáticaOptimizadores de paso fijo para funciones de pérdida de dos variables con gradientes exactos

Desbloquea este laboratorio con un pase

Un pase da acceso a todas las simulaciones del sitio, incluido el modo Presentación para clase. Los materiales didácticos de abajo siguen siendo gratuitos para todos.

Ver pasesYa tengo un pase

Pago único, sin suscripción.

Acerca de este experimento

Entrenar una red neuronal significa bajar por una superficie de pérdida. El descenso de gradiente da un paso en dirección opuesta al gradiente, escalado por la tasa de aprendizaje. Esta sencilla regla esconde muchos comportamientos: si el paso es demasiado pequeño, se avanza a paso de tortuga; si es demasiado grande, el método oscila o diverge. Los valles estrechos provocan movimientos en zigzag, y el método puede quedarse atrapado en un mínimo local. Elige una superficie, haz clic en un punto inicial y compara el descenso de gradiente estándar con el momentum y Adam, paso a paso, en el mapa y en la curva de pérdida.

Objetivos de aprendizaje

  • Escribe la actualización del descenso de gradiente y explica el papel de la tasa de aprendizaje
  • Deriva el límite de estabilidad η < 2/λ_max para una función de pérdida cuadrática y compruébalo
  • Explica por qué los valles mal condicionados hacen que el descenso de gradiente avance en zigzag y cómo ayuda el momentum
  • Describe cómo Adam reescala cada coordenada mediante promedios móviles del gradiente
  • Reconoce la convergencia a un mínimo local en lugar de a uno global

Cómo usarlo

  1. 1Elige «Cuenco redondo» con descenso del gradiente. Prueba las tasas de aprendizaje 0,1, 1 y 2,1. Describe los tres recorridos.
  2. 2Elige «Valle estrecho». Encuentra la tasa de aprendizaje más alta con la que el método aún converge y compárala con el límite de estabilidad que aparece debajo del control deslizante.
  3. 3En el valle estrecho, establece η en 0,05. Cuenta cuántos pasos necesita el descenso del gradiente para alcanzar una pérdida de 1e-6; luego cambia a Momentum con β = 0,9 y vuelve a contar.
  4. 4Elige «Valle de plátano» (la función de Rosenbrock). Compara el descenso del gradiente, Momentum y Adam después de 300 pasos.
  5. 5Elige «Dos mínimos». El descenso del gradiente desde el punto inicial predeterminado se detiene en la cuenca poco profunda de la derecha. Haz clic en puntos iniciales a ambos lados de la cresta: ¿cuáles llegan a la cuenca más profunda?
  6. 6Vuelve al punto inicial predeterminado y cambia a Momentum con β = 0,9 y η = 0,1. ¿Por qué ahora la trayectoria supera la cresta?

El modelo

Descenso del gradiente con tasa de aprendizaje η
Momentum de bola pesada: la velocidad recuerda los gradientes anteriores
Adam, por coordenada, con promedios corregidos por sesgo y β₂ = 0,999
En una función cuadrática con valores propios λᵢ de la Hessiana, cada dirección se contrae por un factor de 1 − ηλᵢ en cada paso.

Supuestos

  • Los gradientes son exactos. En el entrenamiento real se estiman a partir de minilotes, lo que añade ruido (descenso de gradiente estocástico).
  • Las superficies de pérdida son funciones fijas de dos variables: un cuenco redondo ½(x² + y²), un valle estrecho ½(0.5x² + 5y²), la función de Rosenbrock (1 − x)² + 10(y − x²)² y un doble pozo inclinado.
  • Cada ejecución se detiene tras 300 pasos con una tasa de aprendizaje fija. No hay programas de ajuste de la tasa de aprendizaje.
  • Las ejecuciones son deterministas: el mismo punto de partida y la misma configuración siempre producen la misma trayectoria.

Pruébalo en clase

  1. Q1En el valle estrecho, el límite estable lo determina la dirección pronunciada, pero el progreso está limitado por la dirección más suave. Explícalo usando los factores 1 − ηλ.
  2. Q2¿Por qué puede converger más rápido el momentum aunque en cada paso se use el mismo gradiente?
  3. Q3Adam da pasos de tamaño aproximadamente η, independientemente de lo pronunciada que sea la superficie. ¿Cuándo es una ventaja y cuándo un problema?
  4. Q4Las funciones de pérdida de las redes neuronales tienen millones de dimensiones. ¿Crees que los mínimos locales o los puntos de silla son el mayor obstáculo? ¿Por qué?
  5. Q5Propón un programa de tasa de aprendizaje que combine un progreso rápido al principio con una convergencia precisa.

Preguntas frecuentes

¿Por qué una tasa de aprendizaje demasiado alta hace que aumente la pérdida?

En cada paso se sobrepasa el fondo del valle y se aterriza más arriba en la pared opuesta. En una función cuadrática, el sobrepaso multiplica la distancia por |1 − ηλ| en cada paso, un valor superior a uno cuando η es mayor que 2/λ.

¿Qué efecto tiene el momentum en un valle estrecho?

Los gradientes en zigzag que cruzan el valle apuntan en direcciones opuestas y se cancelan en la velocidad acumulada, mientras que los pequeños gradientes a lo largo del valle apuntan todos en la misma dirección y se suman. La trayectoria se endereza y acelera a lo largo del fondo del valle.

¿Es Adam siempre mejor que el descenso por gradiente?

No. Adam es robusto y requiere pocos ajustes, por eso es popular para entrenar redes, pero en problemas sencillos y bien condicionados el descenso de gradiente simple o el momentum pueden converger más rápido o llegar a mejores soluciones.