딥러닝 분야를 공부하는 사람이라면 무조건 마스터 해야 할 Attention 매커니즘을 공부한다. 방대한 자료가 있으나, 밑바닥부터 시작하는 딥러닝, 성균관대학교 이지형 교수/고영중 교수의 강의 및 동 대학 이종욱 교수 교안을 참고하여 공부하였고, 해당 이해를 기반으로 논문 리뷰를 진행했다. 논문: https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models al..

[분포 가설 기반] 1. 통계 기반 기법 1) 시소러스 2) PPMI 행렬로 변환: 단어 등장 횟수 고려 3) SVD: Sparse Matrix to Dense Matrix 2. 추론 기반 기법 : 단어가 출현할 확률을 학습하는 방식 1) Word2Vec CBOW - 맥락이 주어짐 : Continuous bag-of-words. 맥락(주변 단어)으로부터 target(중심 단어)을 추측 : Softmax, CE Loss 사용 : Posterior Priority를 모델링 한다 P(W_t | W_(t-1), W_(t+1)) skip-gram - 맥락을 맞춰야함 : skip-gram이 어려운 문제를 푸는 만큼 CBOW 대비 성능이 좋다(고 설명함) ※ 통계/추론 기법 간 성능에 뚜렷한 우열은 없다