Adversarial Attack은 원본 이미지에 약간의 noise를 가해서 유사한 이미지로 neural net을 속이는 공격 기법을 이야기한다. I Goodfellow가 초기 개념 정리를 했고, FGSM, PGD 등과 같은 공격 기법 등이 개발되었다. 공격 원리에 대한 어렴풋한 이해는 있으나 아직 완전히 이해하지 못했고 이에 따라 완전한 보안 방법도 나오지 않았다. 이러한 공격을 막지 못하면, 자율주행 등 neural net을 이용하는 많은 시스템에서 큰 위협이 될 수 있다. 본 summary는 성균관대학교 이지형 교수의 딥러닝 강의를 참고하여 작성되었으며, 기본 개념, 공격 기법, 방어 기법에 대해 살펴보고자 한다. 1. Adversarial Attack이 발생하는 이유? 위 그림에서 trainig ..

GAN은 무엇일까? 일반적으로 딥러닝 이론들을 배울 때 우리는 Classification 또는 Regression을 수행하는 모델에 대해 주로 배우게 된다. GAN은 생성 모델이다. 훌륭한 판별자(Discriminator)가 있을 때 그 판별자를 속일 수 있는 Sample을 Generate 하는 모델을 학습하는 것이다. Discriminator를 속이기 위해 더 좋은 Generator를 생성과 좋아지는 Generator에게 속지 않으려는 더 똑똑한 Discriminator를 생성하는, 두 개의 Network 간의 경쟁적 학습이 일어난다. 최종적으로는 Discriminator가 도저히 판별할 수 없는 퀄리티의 Fake를 생성하는 고성능 Generator를 만들어내는 것을 목표로 한다. 일반적으로는 Imag..

1. Discrete Random Variables 2. Probability Distribution of a Discrete Random Variable (생략) Expected Value of a Discrete Random Variable The Variance of a Discrete Random Variable 3. Binomial Distribution Characteristics of the Biniomial Distribution 4. Hypergeometric Distribution 5. Poisson Distribution Characteristics of the Poisson Distribution

내일 비가 올까? 올 수도 있고 오지 않을 수도 있다. 내일의 날씨는 현재의 상황들만 가지고는 '관측'할 수 없다. 오늘의 단서 조항들, 예컨대 오늘의 날씨/구름의 양/온도/습도/바람 등 지금까지 관측해온 데이터를 근거로 예측 할 뿐이다. 그렇게 해서 예측한 내일의 날씨가 '구름 조금'이라면 안 그래도 무거운 가방에 더해 거추장스러운 장우산을 들고 나가지는 않을 것이다. 그렇지만, 여전히 비는 올 수 있다. '구름 조금'이라는 결론은 삼단논법처럼 확실한 명제에 기반한 예측이 아니었기 때문이다. 그렇다 하더라도 우리는 여전히 예측한다. 절대불변의 명제에 기반하여 예측할 수 있는 미래는 매우 한정적이기 때문이다. 우리는 틀리더라도 예측을 한다. 우리의 믿음에 근거하여 우리가 관측할 수 없는 일에 대해 가설을..

딥러닝 분야를 공부하는 사람이라면 무조건 마스터 해야 할 Attention 매커니즘을 공부한다. 방대한 자료가 있으나, 밑바닥부터 시작하는 딥러닝, 성균관대학교 이지형 교수/고영중 교수의 강의 및 동 대학 이종욱 교수 교안을 참고하여 공부하였고, 해당 이해를 기반으로 논문 리뷰를 진행했다. 논문: https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models al..