Replicated

생성 모델과 판별 모델- 판별 모델에서는 이미지를 정확히 분류하거나 이미지 내 객체를 검출하는 등이 목적- 생성 모델은 입력 이미지에 대한 데이터 분포를 학습해 새로운 이미지를 생성하는 것이 목적 확률 변수의 유무에 따른 구분- 확률 변수 p(x): 주어진 데이터 x가 관측될 확률을 나타내는 분포. 전체 학습 데이터의 분포로 생각해도 됨- 변형 오토 인코더: 확률 변수를 명시적으로 정의하여 사용 (명시적 방법)- GAN: 확률 변수에 대한 정의가 없는 모델 (암시적 방법) 오토인코더- 단순히 입력을 출력으로 복사하는 신경망, 은닉층(혹은 병목층이라고도 함)의 노드 수가 입력 값보다 적은 것이 특징- 데이터를 압축한다는 의미 오토 인토더 vs 변형 오토인코더 (Variational Autoencoder)-..

RNN- 순환 신경망- 시간적으로 연속성이 있는 데이터를 처리 (시계열 데이터)- Recurrent: 반복적인 순환 구조를 갖는다- 기억 능력을 가짐. 새로운 입력이 들어올 때마다 기억이 조금씩 수정- 최종 출력: 모든 입력을 요약한 정보- 각 단계마다 같은 가중치를 학습함 다양한 구조일대다- 입력이 하나이고 출력이 다수인 구조- 이미지를 입력해서 이미지에 대한 설명을 문작으로 출력하는 이미지 캡션(image captioning)이 대표적 다대일- 입력이 다수이고 출력이 하나인 구조- 문장을 입력해서 긍정/부정을 출력하는 감정 분석기에서 사용 다대다- 입력과 출력이 다수인 구조- 언어를 번역하는 자동 번역기 등이 대표적 RNN 구조RNN 계층(layer)과 셀(cell)- RNN 셀은 RNN 계층의 구..

합성곱 신경망의 전체 구조Fully-connected Layer- 앞에서 배운 Affine 계층과 같음- 입력 뉴런과 출력 뉴런이 모두 연결된 층- 간단한 2~3개층 짜리 모듈이나 최종 출력 직전 레이어에 주로 사용- MLP (Multi Layer Perceptron) : Fully-connected Layer 여러 개로 구성된 네트워크ex. Affine - ReLU -> Affine - ReLU -> Affine - ReLU -> Affine - ReLU -> Affine - Softmax => CNN으로 이뤄진 신경망의 예- 합성곱 계층(Conv)과 풀링(Pooling) 계층이 새롭게 추가됨- 풀링은 안 쓰는 경우도 있음- Conv - ReLU - Pooling -> Conv - ReLU - P..

확률적 경사하강법 단점- 비등방성 함수에서는 탐색 경로가 비효율적임* 비등방성 함수: 방향에 따라 성질(여기선 기울기)이 달라지는 함수 f(x, y) = 1/20x^2 + y^2- 기울기를 그려보면 y축 방향은 크고 x축 방향은 작음- SGD 수행 시 심하게 시그재그로 여러번 움직여 탐색 -> 비효율- 기울어진 방향이 본래의 최솟값과 다른 방향을 가리키기 때문 모멘텀(Momentum)- 관성처럼 과거의 기울기 값을 일정한 비율만큼 반영- 경사 방향이 일정한 축에서는 속도가 누적되어 빠르게 이동- 진동하는 축에서는 속도가 상쇄되어 진동 억제- W: 모델의 가중치 벡터- v: 속도 벡터 (momentum)- α: 모멘텀 계수 (보통 0.9 정도로 설정)- η: 학습률 (learning rate)- ∇L(W..

신경망 학습 과정1. 순전파 (Forward Propagation)2. 손실함수 계산3. 역전파 (Backward Propagation)4. 파라미터 업데이트 수치 미분 vs 오차 역전파법수치미분- 단순하고 구현하기 쉽지만 계산 시간이 오래 걸림. 파라미터 수가 많을수록 연산량 증가- ex. 파라미터 100만개 -> 백만번 계산- 딥러닝 모델은 많은 수의 파라미터를 가지므로 수치 미분으로는 실시간 학습 불가능- 근사치여서 오차항에 민감 오차 역전파법- 한 번의 순전파와 역전파로 모든 파라미터 기울기를 동시 계산- 수학적으로 정확한 도함수 계산 계산 그래프계산 과정을 표현한 그래프- 국소적 계산을 전파함으로써 최종 결과를 얻음- 4000 + 200 = 4200.. 4000이라는 숫자가 어떻게 계산되었느냐..

데이터 주도 학습손글씨 이미지를 보고 무슨 숫자인지 알아볼 수 있어야 함 이미지에서 특징(feture)를 추출한 후, 그 특정 패턴을 머신러닝 기술로 학습- 컴퓨터 비전 분야에서는 SIFT, SURF, HOG 등(기계학습)의 특징을 많이 사용했음- 하지만 이미지를 특징 벡터로 변환하는 로직은 여전히 사람이 설계 딥러닝 방식은 사람의 개입을 최소화 가능- End-to-end 러닝 (종단 간 러닝): 데이터 입력부터 결과 출력까지 사람의 개입 없이 얻는다는 뜻- 종단 간 러닝이 편리하지만 성능이 무조건 좋은 건 아님. 최근 딥러닝 알고리즘들은 피쳐 기반 방법을 적절히 섞어 사용 손실 함수- 신경망 학습에서 사용하는 지표는 손실 함수(loss function)- 기본 손실함수: 평균 제곱 오차, 교차 엔트로피..

import sysimport osimport pickleimport numpy as npsys.path.append('/content/gdrive/MyDrive/BigDataMining/MNIST') # 구글 드라이브 디렉터리의 파일을 가져올 수 있도록 설정from common.functions import sigmoid, softmaxfrom keras.datasets import mnist(x_train, t_train), (x_test, t_test) = mnist.load_data()x_train = x_train.reshape(60000, 784)x_test = x_test.reshape(10000, 784)print(x_train.shape)print(t_train.shape)print(x..

신경망: 퍼셉트론을 다층으로 쌓고 활성화함수를 개선한 것가장 왼쪽 층을 입력층, 맨 오른쪽 층을 출력층, 중간 층들을 은닉층이라 함- 은닉충의 뉴런은 사람 눈에 보이지 않음 활성화 함수- 입력 신호의 총합을 출력 신호로 변환하는 함수를 일반적으로 활성화 함수(activation function)라 함- 활성화라는 이름이 말해주듯 입력 신호의 총합이 활성화를 일으키는지 정하는 역할가중치가 달린 입력 신호와 편향의 총합을 계산, 이를 a라 함a를 함수 h()에 넣어 y를 출력하는 흐름 1. 시그모이드 함수신경망에서는 활성화 함수로 시그모이드 함수를 이용하여 그 변환된 신호를 다음 뉴런에 전달* 시그모이드: S자 형태라는 의미-> 앞 장의 퍼셉트론은 계단 함수, 신경망은 시그모이드 등의 다른 비선형 함수 사용..