Replicated

- 베이즈 분류기: 하나의 변수만 고려- 나이브 베이지안 분류기(Naive Bayesian Classifier) : 여러 개의 열을 사용하여 분류기 구성- 변수들 간 상호 의존성이 없다고 가정 -> 조건부 확률 독립적 계산 가능 독립적이니 그냥 다 곱하면 됨 BoW(Bag of Words)- 단어별로 인덱스가 부여되어 있을 때 한 문장 또는 한 문서에 대한 벡터를 표현하는 기법- 전체 문서에 있는 모든 단어들에 이미 인덱스가 부여되어 있고 출현한 단어에 대해서만 단어의 개수를 벡터로 표현y_example_text = ["Sports", "Not Sports", "Sports", "Sports", "Not Sports"]y_example = [1 if c=="Sports" else 0 for c in y_..

이산형 값의 확률- P(X) = count(Event.x) / count(Event.allevent)연속형 값의 확률- 적분 확률의 기본 성질- 확률은 모든 사건에 대해 반드시 0~1 사이에 값을 가짐, 0 - 각 사건들이 서로 관계가 없는 경우, 즉 각 사건이 일어날 확률이 다른 사건이 일어날 확률에 영향을 미치지 않을 때 각 사건들이 독립되었다고 정의 조건부 확률(conditional probability)- 어떤 사건이 일어난다고 가정했을 때 다른 사건이 일어날 확률- P(A|B) : B 발생했을 때 A와 B 사건의 교집합이 발생할 확률 P(A | B) = P(A ∩ B) / P(B)A = {x | x는 홀수}, B = {x | x는 4 이하의 수}=> P(A | B) = 1/2  베이즈 정리(Ba..

손글씨를 숫자로 인식하는 이미지 분류 문제컴퓨터는 이미지를 일종의 숫자로 변환하여 인식- mxn 공간에서 색이 진할 수록 높은 값, 옅을 수록 낮은 값 from sklearn import datasetsdigit_dataset = datasets.load_digits()digit_dataset.keys() 이미지 뽑아 보면 1797개의 8 * 8 짜리 존재 0번째 샘플의 값은 0임 찍어보면 이렇게 데이터가 존재 import matplotlib.pyplot as pltfrom random import randint_, axes = plt.subplots(nrows=1, ncols=4, figsize=(10, 3))for ax in axes: # (2) num = randint(1, 1000) # (3) ..

다중클래스 분류(multi-class classification)- 2개 이상의 클래스를 가진 y값에 대한 분류 * 다중 클래스와 다중 레이블다중 클래스 분류- 2개 이상의 클래스를 가진 분류 작업- 중복 선택 불가다중 레이블 분류- 상호 배타적이지 않은 속성 예측- 중복 선택 가능 분류 접근One-vs-All - 각 클래스를 나머지 클래스와 구별하는 방식, 각 분류기는 자신이 속한 클래스의 확률을 출력하고 가장 높은 확률을 가진 클래스를 예측값으로 선택 (분류기 m개)- One-vs-Rest라고도 함 One-vs-One- 클래스 간 모든 쌍에 대해 이진 분류기를 학습, 클래스 수가 많으면 필요한 분류기의 수가 기하급수적으로 증가. 최종적으로 각 분류기들의 결과를 투표로 결정- 총 m(m-1)/2개 분류..

def sigmoid(z): return 1/( 1 + np.exp(-z) )import matplotlib.pyplot as pltx = np.linspace(-10, 10, 400)y = sigmoid(x)plt.plot(x, y, label="Sigmoid Function")이렇게 그려짐 가설함수- 시그모이드 함수의 z -> 가중치와 피쳐의 선형 결합임- 피쳐 값들을 x 벡터, 가중치 값들은 세타로 입력def hypothesis_function(x, theta): z = (np.dot(x,theta)) return sigmoid(z)벡터 dot 시 알아서 내적임 비용함수def compute_cost(x, y, theta): m = y.shape[0] J = (-1.0 / m) * (y.T...

모델을 평가하는 성능 지표들- 회귀(regression): MAE, MSE, RMSE, SSE- 분류(classification): 정확도, 정밀도, 민감도, F1 스코어, ROC 커브, 리프트 차트- 클러스터링(clsutering): DBI, 엘보우 메서드, 실루엣 계수 추가적인 성능 지표- 모델의 경제성- 모델이 쓰는 데이터 양- 모델이 용량이 작은 컴퓨터에서도 돌아가나?  분류 문제의 성능지표혼동행렬(confusion matrix)- 예측값이 실제값 대비 얼마나 잘 맞는지 2x2 행렬로 표햔 예측값(prediction)실제값(actual class) 101True PositiveFalse Negative0False PositiveTrue NegativeTrue Positive(TP) : 예측값, 실..

분류 문제: 몇 가지 이산적 값 중 하나를 선택하는 모델 == 분류 모델일반 선형 회귀처럼 선 하나 쭉 그어넣고 위는 0, 아래는 1 이렇게 못함 로지스틱 회귀의 개념- 이진 분류(binary classification) 문제를 확률로 표현- 어떤 확률이 일어날 확률 P(X), 일어나지 않을 확률 1 - P(X) .. (0 - 오즈비(odds ratio) : 어떤 사건이 일어날 확률과 일어나지 않을 확률의 비율,  P(X) / (1 - P(X)).. 수식 상 확률이 올라갈수록 => 오즈비 급상승 로짓(logit) 함수 : 오즈비에 상용로그 붙인 수식x가 들어왔을 때 y가 1일 확률(성공) => 그냥 P(X)라 보면 됨 로짓 함수와 Logistic(Sigmoid)함수는 역함수 관계 (y=x에 대해 대칭) ..

편향(bias) : 학습된 모델이 학습 데이터에 대해 만들어 낸 예측값과 실제값과의 차이- 모델의 결과가 얼마나 한쪽으로 쏠려 있는지를 나타냄 분산(variance) : 모델이 학습 데이터에 민감하게 반응하는 정도. 훈련 데이터가 조금만 달라져도 모델이 얼마나 다른 예측을 하는지를 나타냄- 모델의 결과가 얼마나 퍼져 있는지를 나타냄 편향-분산 트레이드오프 좌측 상: 높은 편향, 낮은 분산- under-fitting된 모델- 단순한 모델일수록 학습 데이터에서 모든 패턴을 찾지 못해 Bias크고 Variance 작음좌측 하: 낮은 편향, 낮은 분산- 에러율 가장 낮음우측 상: 높은 편향, 높은 분산- 에러율 가장 큼우측 하: 낮은 편향, 높은 분산- over-fitting된 모델- 학습 데이터 셋이 잘 학습..