끵뀐꿩긘의 여러가지

seq2seq seq2seq는 "Learning Phrase Representations using RNN Encoder-Decoder"에서 제안된 transformer 이전에 번역기에 대표적으로 사용되는 모델이다. 내부구조는 번역할 입력 데이터를 encoding하는 Encoder와 encoding된 데이터를 decoding하여 번역된 출력 데이터를 생성하는 Decoder로 이루어져있다. 길이가 고정되지 않은 자연어를 입력으로 받고 번역된 자연어를 출력해야하기 때문에 Encoder와 Decoder의 길이는 가변적이다. Encoder 위의 그림처럼 Encoder는 RNN(LSTM,GRU)를 이용하여 데이터를 h라는 hidden state Vector로 변환한다. Encoder 마지막 시점에 출력하는 은닉상..

Generalization 일반화 성능(Generalization performance)이란, test error(학습에 사용되지 않은 데이터로 평가)와 training error(학습에 사용된 데이터로 평가)의 차이이다. 하지만 일반화 성능이 좋다고 해서 모델의 성능이 좋은 것은 아니다. (ex. training error와 test error가 차이가 별로 안나지만, training error가 높은 경우) Underfitting / Overfitting underfitting: 모델이 너무 간단하기 때문에 학습 오류가 줄어들지 않는 경우 Overfitting: 모델이 너무 학습 데이터셋에 최적화되어있어, 학습 오류가 테스트 오류보다 현저히 작은 경우 Validation train set: 모델을 학..

Neural Networks의 정의 - Neural networks are computing systems vaguely inspired by the biological neural networks that constitute animal brains 동물의 뇌를 구성하는 뉴런 네트워크에서 영감을 받아 만든 computing system => 앞으로도 더욱 인간의 뇌와 비슷한 모양으로 만들어야 하는가? X 현재도 인간의 뇌와 다른 방향으로 진화하고 있으며, 마치 비행기가 박쥐나 새의 영향을 받아 만들어졌지만, 독자적인 방법으로 발전하고 있는것처럼 NN도 뇌를 꼭 따라갈 필요는 없다 - Neural networks are function approximators that stack affine transf..

좋은 딥러닝 개발자의 조건 implemenation skills - TF, PyTorch Math skills - Linear Algebra, Probability Knowing a lot of recent Papers - 최근 연구 트렌드 알기 인공지능의 정의와 딥러닝 Artificial Inteligence(인공지능): 인간의 학습능력, 추론능력, 지각능력을 인공적으로 구현하려는 컴퓨터 과학의 세부분야 중 하나 Machine Learning(기계학습): ML은 컴퓨터 시스템이 패턴과 추론에 의존하여 명시적 지시 없이 태스크를 수행하는 데 사용하는 알고리즘과 통계 모델 Deep Leaning(딥러닝): 학습 과정 동안 인공 신경망으로서 예시 데이터에서 얻은 일반적인 규칙을 독립적으로 구축하는 기계학습의..