경사하강법 선형회귀

경사하강법(Gradient Descent)

- 경사를 하강하며 수식을 최소화하는 매개변수 찾아내기

 

J(w)라는 비용 함수가 있을 때

- 최솟값을 달성하는 방향으로 점점 내려감

- 몇 번을 적용할 것인가? .. 많이 실행할수록 최솟값에 가까워짐

- 한 번에 얼마나 많이 내려갈 것인가? .. 경사에 비례하여 결정

 

경사하강법 기본 수식

f(x) = x^2, dy/dx = 2x

미분해서 기울기 반영

xold는 현재 x, xnew는 경사 적용 후 생성된 값

α는 Learning Rate(학습률)

경사만큼의 변화가 계속 x에 적용되어 x의 최솟값을 찾는 것임

- 변하지 않거나, 미미해지는 지점까지 줄이기

 

경사하강법에서 개발자가 결정해야 하는 것

학습률 α

- 값이 너무 작으면 충분히 많은 반복을 적용해도 원하는 최적값을 찾지 못하는 경우 발생

- 값이 너무 크면 발산해서 최솟값에 수렴하지 않거나 시간이 너무 오래 걸림

 

얼마나 많은 반복(Interation)으로 돌릴 것인가?

- 반복 횟수가 충분하지 않으면 최솟값을 못찾음

- 너무 많으면 필요없는 시간, 비용 낭비

 

---

 

경사하강법으로 선형 회귀 찾기

MSE, 비용 함수임

이게 최소가 되는 w0, w1을 찾아야 함

 

w0, w1의 업데이트

- 먼저 임의의 w0, w1 지정

- 비용함수 J가 최소화될 때 까지 반복, w0와 w1 학습

- 비용함수가 더 이상 줄어들지 않거나 정해진 반복이 종료 시 학습 끝남

 

매개변수 업데이트식