Replicated

생성 모델과 판별 모델- 판별 모델에서는 이미지를 정확히 분류하거나 이미지 내 객체를 검출하는 등이 목적- 생성 모델은 입력 이미지에 대한 데이터 분포를 학습해 새로운 이미지를 생성하는 것이 목적 확률 변수의 유무에 따른 구분- 확률 변수 p(x): 주어진 데이터 x가 관측될 확률을 나타내는 분포. 전체 학습 데이터의 분포로 생각해도 됨- 변형 오토 인코더: 확률 변수를 명시적으로 정의하여 사용 (명시적 방법)- GAN: 확률 변수에 대한 정의가 없는 모델 (암시적 방법) 오토인코더- 단순히 입력을 출력으로 복사하는 신경망, 은닉층(혹은 병목층이라고도 함)의 노드 수가 입력 값보다 적은 것이 특징- 데이터를 압축한다는 의미 오토 인토더 vs 변형 오토인코더 (Variational Autoencoder)-..

RNN- 순환 신경망- 시간적으로 연속성이 있는 데이터를 처리 (시계열 데이터)- Recurrent: 반복적인 순환 구조를 갖는다- 기억 능력을 가짐. 새로운 입력이 들어올 때마다 기억이 조금씩 수정- 최종 출력: 모든 입력을 요약한 정보- 각 단계마다 같은 가중치를 학습함 다양한 구조일대다- 입력이 하나이고 출력이 다수인 구조- 이미지를 입력해서 이미지에 대한 설명을 문작으로 출력하는 이미지 캡션(image captioning)이 대표적 다대일- 입력이 다수이고 출력이 하나인 구조- 문장을 입력해서 긍정/부정을 출력하는 감정 분석기에서 사용 다대다- 입력과 출력이 다수인 구조- 언어를 번역하는 자동 번역기 등이 대표적 RNN 구조RNN 계층(layer)과 셀(cell)- RNN 셀은 RNN 계층의 구..

합성곱 신경망의 전체 구조Fully-connected Layer- 앞에서 배운 Affine 계층과 같음- 입력 뉴런과 출력 뉴런이 모두 연결된 층- 간단한 2~3개층 짜리 모듈이나 최종 출력 직전 레이어에 주로 사용- MLP (Multi Layer Perceptron) : Fully-connected Layer 여러 개로 구성된 네트워크ex. Affine - ReLU -> Affine - ReLU -> Affine - ReLU -> Affine - ReLU -> Affine - Softmax => CNN으로 이뤄진 신경망의 예- 합성곱 계층(Conv)과 풀링(Pooling) 계층이 새롭게 추가됨- 풀링은 안 쓰는 경우도 있음- Conv - ReLU - Pooling -> Conv - ReLU - P..

확률적 경사하강법 단점- 비등방성 함수에서는 탐색 경로가 비효율적임* 비등방성 함수: 방향에 따라 성질(여기선 기울기)이 달라지는 함수 f(x, y) = 1/20x^2 + y^2- 기울기를 그려보면 y축 방향은 크고 x축 방향은 작음- SGD 수행 시 심하게 시그재그로 여러번 움직여 탐색 -> 비효율- 기울어진 방향이 본래의 최솟값과 다른 방향을 가리키기 때문 모멘텀(Momentum)- 관성처럼 과거의 기울기 값을 일정한 비율만큼 반영- 경사 방향이 일정한 축에서는 속도가 누적되어 빠르게 이동- 진동하는 축에서는 속도가 상쇄되어 진동 억제- W: 모델의 가중치 벡터- v: 속도 벡터 (momentum)- α: 모멘텀 계수 (보통 0.9 정도로 설정)- η: 학습률 (learning rate)- ∇L(W..

신경망 학습 과정1. 순전파 (Forward Propagation)2. 손실함수 계산3. 역전파 (Backward Propagation)4. 파라미터 업데이트 수치 미분 vs 오차 역전파법수치미분- 단순하고 구현하기 쉽지만 계산 시간이 오래 걸림. 파라미터 수가 많을수록 연산량 증가- ex. 파라미터 100만개 -> 백만번 계산- 딥러닝 모델은 많은 수의 파라미터를 가지므로 수치 미분으로는 실시간 학습 불가능- 근사치여서 오차항에 민감 오차 역전파법- 한 번의 순전파와 역전파로 모든 파라미터 기울기를 동시 계산- 수학적으로 정확한 도함수 계산 계산 그래프계산 과정을 표현한 그래프- 국소적 계산을 전파함으로써 최종 결과를 얻음- 4000 + 200 = 4200.. 4000이라는 숫자가 어떻게 계산되었느냐..

데이터 주도 학습손글씨 이미지를 보고 무슨 숫자인지 알아볼 수 있어야 함 이미지에서 특징(feture)를 추출한 후, 그 특정 패턴을 머신러닝 기술로 학습- 컴퓨터 비전 분야에서는 SIFT, SURF, HOG 등(기계학습)의 특징을 많이 사용했음- 하지만 이미지를 특징 벡터로 변환하는 로직은 여전히 사람이 설계 딥러닝 방식은 사람의 개입을 최소화 가능- End-to-end 러닝 (종단 간 러닝): 데이터 입력부터 결과 출력까지 사람의 개입 없이 얻는다는 뜻- 종단 간 러닝이 편리하지만 성능이 무조건 좋은 건 아님. 최근 딥러닝 알고리즘들은 피쳐 기반 방법을 적절히 섞어 사용 손실 함수- 신경망 학습에서 사용하는 지표는 손실 함수(loss function)- 기본 손실함수: 평균 제곱 오차, 교차 엔트로피..

import sysimport osimport pickleimport numpy as npsys.path.append('/content/gdrive/MyDrive/BigDataMining/MNIST') # 구글 드라이브 디렉터리의 파일을 가져올 수 있도록 설정from common.functions import sigmoid, softmaxfrom keras.datasets import mnist(x_train, t_train), (x_test, t_test) = mnist.load_data()x_train = x_train.reshape(60000, 784)x_test = x_test.reshape(10000, 784)print(x_train.shape)print(t_train.shape)print(x..