Replicated

Fab에서 메테리얼 샀는데, 용량이 너무 크다\  이거 줄이면 해결이다

def gradient(self, X, y, theta): # 경사하강법을 위한 기울기 계산 return X.T.dot(self.hypothesis_function(X, theta) - y) / len(X) ######## 코드 작성 ##########일단 이건 알파(학습률)랑 곱해지는 경사를 구하는 수식임어떻게 계산되는가? 이걸 기반으로 하는데, 저기서 J.. 즉 손실함수를 기울기로 사용한다 이때 손실 함수는 늘 보는 그거, MSE 미분한 거다 미분 시 이렇게 정리된다. 위의 gradient 함수는 그냥 이 수식 그 자체이다부호가 좀 다른 거 같긴 한데, 그마저도 내부 - 정리하면 같아진다. def fit(self, X, y): self._new_X = np.arr..

1. 전체-배치 경사하강법 (full-batch gradient descent)- 모든 데이터를 한 번에 입력하는 경사하강법   * batch : 하나의 데이터셋- 이전 글에서는 하나의 값에 대한 경사도를 구한 다음 값들을 업데이트..- 실제로는 각 데이터의 경사도를 모두 더해 하나의 값으로 가중치를 업데이트 점 한 개씩 사용하여 가중치 업데이트를 하지 않는 이유?- 시간이 오래 걸리고- 시작점에 따라 지역 최적화(local optimum)에 빠짐 -> 그래프 전체에서 최솟점 못찾고 부분최솟점을 찾을 수 있음  특징- 업데이트 횟수 감소 : 가중치 업데이트 횟수가 줄어 계산 효율 상승- 안정적인 비용함수 수렴 : 모든 값의 평균을 구하기 때문에 일반적으로 경사하강법이 갖는 지역 최적화 문제를 줄임 그러나..

훈련/테스트 분할 (train/text split)- 머신러닝에서 데이터 학습을 하기 위한 학습 데이터 셋(train dataset)과 학습의 결과로 생성된 모델의 성능을 평가하기 위한 테스트 데이터셋(test dataset)으로 나눔- 모델이 새로운 데이터셋에도 일반화하여 처리 가능한지 확인- from sklearn.model_selection import train_test_split, train_test_split( X, y, test_size=0.33, random_state=42) 과다적합(over-fit)- 생성된 모델이 특정 데이터에만 잘 맞아 새로운 데이터에 성능이 안나옴과소적합(under-fit)- 기존 학습 데이터를 제대로 예측하지 못함 홀드아웃 메서드(hold-out method)- ..

경사하강법(Gradient Descent)- 경사를 하강하며 수식을 최소화하는 매개변수 찾아내기 J(w)라는 비용 함수가 있을 때- 최솟값을 달성하는 방향으로 점점 내려감- 몇 번을 적용할 것인가? .. 많이 실행할수록 최솟값에 가까워짐- 한 번에 얼마나 많이 내려갈 것인가? .. 경사에 비례하여 결정 경사하강법 기본 수식f(x) = x^2, dy/dx = 2x미분해서 기울기 반영xold는 현재 x, xnew는 경사 적용 후 생성된 값α는 Learning Rate(학습률)경사만큼의 변화가 계속 x에 적용되어 x의 최솟값을 찾는 것임- 변하지 않거나, 미미해지는 지점까지 줄이기 경사하강법에서 개발자가 결정해야 하는 것학습률 α- 값이 너무 작으면 충분히 많은 반복을 적용해도 원하는 최적값을 찾지 못하는 경..

import numpy as npx = np.array([1, 2, 3]).reshape(-1, 1)y = np.array([2, 3, 5])x_with_intercept = np.c_[np.ones(x.shape[0]), x]w = np.linalg.inv(x_with_intercept.T.dot(x_with_intercept)).dot(x_with_intercept.T).dot(y)intercept = w[0]slope = w[1]print("절편: ", intercept)print("기울기: ", slope)y_pred = x_with_intercept.dot(w)print("예측값: ", y_pred)x는 독립변수.reshape(-1, 1)은 무엇이냐?- reshape 배열의 형태 변경- -1 -..

일단 이걸 최소화시키는 세타를 찾아야 함-> 미분해서 0되는 걸 찾자! Wn에 대해 미분각각에 대해 편미분하면?? 위의 시그마 풀고 w1, w0에 대해 정리하면 이렇게 됨  이걸 이제 행렬에 적용할 필요가 있음일단 각각 편미분한 거 0으로 넣고 간단히 정리하면 위와 같음 각각 X, w, y가 이렇게 있다고 치면X를 트랜스포즈해서 곱할 시 이렇게 나옴 이 식을 풀어 계산하면 맨 처음 편미분한 식이랑 같게 나오고 가중치 w(세타)를 구하는 식을 유도 가능 수식 전개 과정이렇게 표시 가능한데xˉ는 입력값들의 평균을 의미, 1/m 생겼으니 밖으로 m 나옴 행렬식(Determinant) 계산.. 역행렬을 구하기 위함일단 대각선으로 엮어 곱해 빼고m으로 묶고, 마지막으로 분산 공식 ******************..

선형회귀(Linear Regression)- 종속변수 y와 한 개 이상의 독립 변수 x와의 선형 상관관계를 모델링하는 회귀분석 기법- 기존 데이터를 활용해 연속형 변수값을 예측- y = ax + b 꼴의 수식 만들고 a와 b의 값을 찾아냄 어떻게 되어야 기존 데이터를 잘 표현하는가?- 예측값이 실제값 대비 차이가 많이 나지 않는 그래프 예측 함수와 실제값 간 차이- 예측 함수는 예측값과 실제값 간의 차이를 최소화하는 방향..- 데이터 n개 중 i번째 데이터의 y값에 대한 실제값과 예측값의 차이- 데이터가 5개 있을 때 5개 데이터의 오차의 합ŷⁱ − yⁱ (ŷ^(1) − y^(1)) + (ŷ^(2) − y^(2)) + (ŷ^(3) − y^(3)) + (ŷ^(4) − y^(4)) + (ŷ^(5) − y^(..