로지스틱 회귀

분류 문제: 몇 가지 이산적 값 중 하나를 선택하는 모델 == 분류 모델
일반 선형 회귀처럼 선 하나 쭉 그어넣고 위는 0, 아래는 1 이렇게 못함

 

로지스틱 회귀의 개념

- 이진 분류(binary classification) 문제를 확률로 표현

- 어떤 확률이 일어날 확률 P(X), 일어나지 않을 확률 1 - P(X) .. (0 <= P(X) <= 1)

- 오즈비(odds ratio) : 어떤 사건이 일어날 확률과 일어나지 않을 확률의 비율,  P(X) / (1 - P(X))

.. 수식 상 확률이 올라갈수록 => 오즈비 급상승

 

로짓(logit) 함수 : 오즈비에 상용로그 붙인 수식

x가 들어왔을 때 y가 1일 확률(성공) => 그냥 P(X)라 보면 됨

 

로짓 함수와 Logistic(Sigmoid)함수는 역함수 관계 (y=x에 대해 대칭)

 

로짓 함수

역함수 적용

이렇게 변형되고

 

로지스틱(시그모이드) 함수

결과

 

 

로지스틱 함수(logistic function) : 로짓 함수의 역함수

- 그래프가 S자 커브 형태인 시그모이드 함수

- 종속 변수가 이분형일 때 수행할 수 있는 예측 분석을 위한 회귀분석

- 0과 1 사이.. 확률 예측에 적합

---

 

가설함수

- z는 가중치 값과 피쳐 값의 선형 결합

- 가중치 값을 찾는 학습을 위해 경사하강법 알고리즘 사용

 

 

비용함수

0 <= h <= 1

실제값이 1, 0일 때 각각 다르게 비용함수 정의

y=1이면 가설함수 값이 커질수록 비용함수 감소, y=0이면 가설함수 값이 작아질 수록 비용함수 증가

 

크로스 엔트로피

y가 1이면 오른쪽이 사라지고 0이면 왼쪽이 사라짐

 

 

비용 함수의 미분과 가중치 업데이트