목록AdaGrad (1)

Replicated

신경망 학습 관련 기술들

확률적 경사하강법 단점- 비등방성 함수에서는 탐색 경로가 비효율적임* 비등방성 함수: 방향에 따라 성질(여기선 기울기)이 달라지는 함수 f(x, y) = 1/20x^2 + y^2- 기울기를 그려보면 y축 방향은 크고 x축 방향은 작음- SGD 수행 시 심하게 시그재그로 여러번 움직여 탐색 -> 비효율- 기울어진 방향이 본래의 최솟값과 다른 방향을 가리키기 때문 모멘텀(Momentum)- 관성처럼 과거의 기울기 값을 일정한 비율만큼 반영- 경사 방향이 일정한 축에서는 속도가 누적되어 빠르게 이동- 진동하는 축에서는 속도가 상쇄되어 진동 억제- W: 모델의 가중치 벡터- v: 속도 벡터 (momentum)- α: 모멘텀 계수 (보통 0.9 정도로 설정)- η: 학습률 (learning rate)- ∇L(W..
학부/빅데이터마이닝 2025. 6. 8. 13:30
이전 Prev 1 Next 다음