목록mini-batch sgd (1)

Replicated

경사하강법의 종류

1. 전체-배치 경사하강법 (full-batch gradient descent)- 모든 데이터를 한 번에 입력하는 경사하강법   * batch : 하나의 데이터셋- 이전 글에서는 하나의 값에 대한 경사도를 구한 다음 값들을 업데이트..- 실제로는 각 데이터의 경사도를 모두 더해 하나의 값으로 가중치를 업데이트 점 한 개씩 사용하여 가중치 업데이트를 하지 않는 이유?- 시간이 오래 걸리고- 시작점에 따라 지역 최적화(local optimum)에 빠짐 -> 그래프 전체에서 최솟점 못찾고 부분최솟점을 찾을 수 있음  특징- 업데이트 횟수 감소 : 가중치 업데이트 횟수가 줄어 계산 효율 상승- 안정적인 비용함수 수렴 : 모든 값의 평균을 구하기 때문에 일반적으로 경사하강법이 갖는 지역 최적화 문제를 줄임 그러나..
빅데이터마이닝 2025. 4. 7. 22:38
이전 Prev 1 Next 다음