이 실험 소개
신경망을 학습한다는 것은 손실 곡면을 따라 내리막으로 이동하는 것입니다. 경사 하강법은 기울기의 반대 방향으로 학습률에 비례하는 크기의 걸음을 내딛습니다. 이 간단한 규칙에는 많은 동작 특성이 숨어 있습니다. 걸음이 너무 작으면 진행이 더디고, 너무 크면 진동하거나 발산합니다. 좁고 길게 뻗은 골짜기에서는 지그재그로 움직이며, 지역 최솟값에 갇힐 수도 있습니다. 곡면을 선택하고 시작점을 클릭한 다음, 지도와 손실 곡선에서 일반 경사 하강법, 모멘텀, Adam을 한 단계씩 비교해 보세요.
학습 목표
- 경사 하강법의 업데이트 식을 쓰고 학습률의 역할을 설명하세요
- 이차 손실에 대한 안정성 한계 η < 2/λ_max를 유도하고 검증하세요
- 조건이 나쁜 골짜기에서 경사 하강법이 지그재그로 움직이는 이유와 모멘텀이 어떻게 도움이 되는지 설명하세요
- Adam이 기울기의 이동 평균을 사용해 각 좌표의 크기를 어떻게 재조정하는지 설명하세요
- 전역 최솟값이 아닌 지역 최솟값으로 수렴하는 것을 알아보세요
사용 방법
- 1경사 하강법에서 ‘둥근 그릇’을 선택하세요. 학습률을 0.1, 1, 2.1로 설정해 보고 세 경로를 설명하세요.
- 2‘좁은 골짜기’를 선택하세요. 수렴하는 가장 큰 학습률을 찾고 슬라이더 아래에 표시된 안정 한계와 비교하세요.
- 3‘좁은 골짜기’에서 η를 0.05로 설정하세요. 손실이 1e-6에 도달할 때까지 경사 하강법에 필요한 단계 수를 센 다음, Momentum으로 전환해 β = 0.9로 설정하고 다시 세세요.
- 4‘바나나 골짜기’(Rosenbrock 함수)를 선택하세요. 300단계 후 경사 하강법, Momentum, Adam을 비교하세요.
- 5‘두 개의 최소점’을 선택하세요. 기본 시작점에서 경사 하강법을 실행하면 오른쪽의 얕은 분지에서 멈춥니다. 능선 양쪽에 시작점을 놓아 보세요. 어떤 시작점에서 더 깊은 분지에 도달하나요?
- 6기본 시작점으로 돌아가 Momentum으로 전환하고 β = 0.9, η = 0.1로 설정하세요. 이제 경로가 능선을 넘어가는 이유는 무엇인가요?
모델
가정
- 기울기는 정확합니다. 실제 학습에서는 미니배치로부터 기울기를 추정하므로 노이즈가 추가됩니다(확률적 경사 하강법).
- 손실 곡면은 고정된 두 변수 함수입니다. 둥근 그릇 ½(x² + y²), 좁은 골짜기 ½(0.5x² + 5y²), Rosenbrock 함수 (1 − x)² + 10(y − x²)², 그리고 기울어진 이중 우물입니다.
- 모든 실행은 학습률을 고정한 상태로 300단계 후에 종료됩니다. 학습률 스케줄은 없습니다.
- 실행은 결정론적입니다. 시작점과 설정이 같으면 항상 같은 경로가 나옵니다.
수업에서 해 보기
- Q1좁은 골짜기에서는 안정성 한계가 가파른 방향에 의해 정해지지만, 진행 속도는 완만한 방향에 의해 제한됩니다. 계수 1 − ηλ를 사용해 설명하세요.
- Q2각 단계에서 같은 기울기를 사용하는데도 모멘텀은 왜 더 빨리 수렴할 수 있을까요?
- Q3Adam은 곡면이 얼마나 가파른지와 관계없이 대략 η 크기의 스텝을 밟습니다. 이는 언제 장점이며, 언제 문제가 될까요?
- Q4신경망의 손실 함수는 수백만 개의 차원을 가집니다. 지역 최솟값과 안장점 중 어느 쪽이 더 큰 장애물이라고 생각하나요? 그 이유는 무엇인가요?
- Q5초기에 빠르게 진전을 이루면서도 정확하게 수렴할 수 있는 학습률 스케줄을 제안해 주세요.
자주 묻는 질문
학습률이 너무 크면 왜 손실이 증가하나요?
각 단계에서 골짜기 바닥을 지나쳐 반대편 경사면의 더 높은 지점에 도달합니다. 이차 함수에서는 오버슈트가 일어날 때마다 거리가 |1 − ηλ| 배가 되며, η가 2/λ보다 크면 이 값은 1을 초과합니다.
좁은 골짜기에서 모멘텀은 어떤 역할을 하나요?
골짜기를 가로지르는 지그재그 방향의 기울기는 서로 반대 방향을 가리켜 누적 속도에서 상쇄됩니다. 반면 골짜기를 따라가는 작은 기울기는 모두 같은 방향을 가리키므로 더해집니다. 경로는 곧게 펴지고 골짜기 바닥을 따라 더 빠르게 이동합니다.
Adam은 항상 경사 하강법보다 더 나은가요?
아니요. Adam은 안정적이고 조정이 거의 필요하지 않아 네트워크 학습에 널리 사용됩니다. 하지만 조건이 좋은 단순한 문제에서는 일반 경사 하강법이나 모멘텀이 더 빠르게 수렴하거나 더 나은 해를 찾을 수 있습니다.