티스토리

Sootudy Repository

검색하기

블로그 홈

Sootudy Repository

soorep.tistory.com/m

수터디 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[딥러닝] Adversarial Attack Adversarial Attack은 원본 이미지에 약간의 noise를 가해서 유사한 이미지로 neural net을 속이는 공격 기법을 이야기한다. I Goodfellow가 초기 개념 정리를 했고, FGSM, PGD 등과 같은 공격 기법 등이 개발되었다. 공격 원리에 대한 어렴풋한 이해는 있으나 아직 완전히 이해하지 못했고 이에 따라 완전한 보안 방법도 나오지 않았다. 이러한 공격을 막지 못하면, 자율주행 등 neural net을 이용하는 많은 시스템에서 큰 위협이 될 수 있다. 본 summary는 성균관대학교 이지형 교수의 딥러닝 강의를 참고하여 작성되었으며, 기본 개념, 공격 기법, 방어 기법에 대해 살펴보고자 한다. 1. Adversarial Attack이 발생하는 이유? 위 그림에서 trainig .. 공감수 4 댓글수 2 2022. 9. 23.
[딥러닝] GAN GAN은 무엇일까? 일반적으로 딥러닝 이론들을 배울 때 우리는 Classification 또는 Regression을 수행하는 모델에 대해 주로 배우게 된다. GAN은 생성 모델이다. 훌륭한 판별자(Discriminator)가 있을 때 그 판별자를 속일 수 있는 Sample을 Generate 하는 모델을 학습하는 것이다. Discriminator를 속이기 위해 더 좋은 Generator를 생성과 좋아지는 Generator에게 속지 않으려는 더 똑똑한 Discriminator를 생성하는, 두 개의 Network 간의 경쟁적 학습이 일어난다. 최종적으로는 Discriminator가 도저히 판별할 수 없는 퀄리티의 Fake를 생성하는 고성능 Generator를 만들어내는 것을 목표로 한다. 일반적으로는 Imag.. 공감수 0 댓글수 0 2022. 9. 9.
[베이즈통계] 5. Discrete Random Variables 1. Discrete Random Variables 2. Probability Distribution of a Discrete Random Variable (생략) Expected Value of a Discrete Random Variable The Variance of a Discrete Random Variable 3. Binomial Distribution Characteristics of the Biniomial Distribution 4. Hypergeometric Distribution 5. Poisson Distribution Characteristics of the Poisson Distribution 공감수 0 댓글수 0 2022. 9. 5.
[베이즈통계] 4. Logic, Probability and Uncertainty 내일 비가 올까? 올 수도 있고 오지 않을 수도 있다. 내일의 날씨는 현재의 상황들만 가지고는 '관측'할 수 없다. 오늘의 단서 조항들, 예컨대 오늘의 날씨/구름의 양/온도/습도/바람 등 지금까지 관측해온 데이터를 근거로 예측 할 뿐이다. 그렇게 해서 예측한 내일의 날씨가 '구름 조금'이라면 안 그래도 무거운 가방에 더해 거추장스러운 장우산을 들고 나가지는 않을 것이다. 그렇지만, 여전히 비는 올 수 있다. '구름 조금'이라는 결론은 삼단논법처럼 확실한 명제에 기반한 예측이 아니었기 때문이다. 그렇다 하더라도 우리는 여전히 예측한다. 절대불변의 명제에 기반하여 예측할 수 있는 미래는 매우 한정적이기 때문이다. 우리는 틀리더라도 예측을 한다. 우리의 믿음에 근거하여 우리가 관측할 수 없는 일에 대해 가설을.. 공감수 0 댓글수 0 2022. 9. 3.
베이즈통계 스터디 계획 공감수 0 댓글수 0 2022. 8. 30.
[자연어처리 논문리뷰] Attention Is All You Need 딥러닝 분야를 공부하는 사람이라면 무조건 마스터 해야 할 Attention 매커니즘을 공부한다. 방대한 자료가 있으나, 밑바닥부터 시작하는 딥러닝, 성균관대학교 이지형 교수/고영중 교수의 강의 및 동 대학 이종욱 교수 교안을 참고하여 공부하였고, 해당 이해를 기반으로 논문 리뷰를 진행했다. 논문: https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models al.. 공감수 0 댓글수 0 2022. 8. 28.
자연어 처리 기법 개요 - 단어를 의미로 [분포 가설 기반] 1. 통계 기반 기법 1) 시소러스 2) PPMI 행렬로 변환: 단어 등장 횟수 고려 3) SVD: Sparse Matrix to Dense Matrix 2. 추론 기반 기법 : 단어가 출현할 확률을 학습하는 방식 1) Word2Vec CBOW - 맥락이 주어짐 : Continuous bag-of-words. 맥락(주변 단어)으로부터 target(중심 단어)을 추측 : Softmax, CE Loss 사용 : Posterior Priority를 모델링 한다 P(W_t | W_(t-1), W_(t+1)) skip-gram - 맥락을 맞춰야함 : skip-gram이 어려운 문제를 푸는 만큼 CBOW 대비 성능이 좋다(고 설명함) ※ 통계/추론 기법 간 성능에 뚜렷한 우열은 없다 공감수 0 댓글수 0 2022. 8. 24.
[추천시스템 논문리뷰] StarSpace: Embed All The Things! 들어가기에 앞서 - 본 논문은 추천시스템에도 적용이 가능하지만, Labeling (Classification), Ranking (Information Retrieval), Graph Embedding, Word/Sentence/Document Embedding 등의 분야에 다양하게 적용된다 - 추천시스템에서는 Collaborative Filtering, Content-based Recommendation에 적용할 수 있다 - 본 리뷰는 Content-based Recommendation 연구 중 작성했다 논문 링크 https://ojs.aaai.org/index.php/AAAI/article/view/11996 논문 주요 내용 0) Abstract - StarSpace는 Facebook(현 Meta)에서.. 공감수 0 댓글수 0 2022. 8. 3.
Alexnet [Alexnet] ㅇ 쉬운 코드 : https://github.com/SohaibBari/AlexNet/blob/master/AlexNet.py ㅇ 정석적 코드(대신 설명이 꼼꼼해보임): https://github.com/bentrevett/pytorch-image-classification/blob/master/3_alexnet.ipynb GitHub - bentrevett/pytorch-image-classification: Tutorials on how to implement a few key architectures for image classification Tutorials on how to implement a few key architectures for image classificatio.. 공감수 0 댓글수 0 2022. 7. 29.
GoogLeNet - Inception Module I. 특징 다양한 사이즈의 필터를 동시 적용 1x1 conv의 특성과 장점 Auxiliary Classification의 역할 - 혁신적으로 Depth 확장. ResNet 구조로 인해 현재는 잘 사용되지 않음 ㅇ 쉬운 코드 : https://github.com/GunhoChoi/PyTorch-FastCampus/blob/master/04_CNN_Advanced/2_GoogleNet.ipynb ㅇ 논문 구현 코드: https://github.com/Seonghoon-Yu/AI_Paper_Review/blob/master/Classification/GoogLeNet(2014).ipynb GitHub - Seonghoon-Yu/AI_Paper_Review: 까먹으면 다시 보려고 정리합니다. 까먹으면 다시 보려.. 공감수 0 댓글수 0 2022. 7. 28.
PyTorch 기본 함수 정리 torch.zeros_iike(텐서) : 모든 entry가 0이면서 입력된 텐서와 동일한 shape를 갖는 텐서 생성 scatter(dimension, 지정한 위치, scatter할 value : 지정한 dimension에 대해 지정한 위치에 특정 value를 scatter 하는 함수 # class 개, sample 3개 z = torch.rand(3, 5, requires_grad=True) # uniform random hypothesis = F.softmax(z, dim=1) # prediction y_hat y = torch.randint(5, (3,)).long() print(y) print(y.shape) print(y.unsqueeze(1).shape) # tensor([0, 2, 2]) #.. 공감수 0 댓글수 0 2022. 6. 21.
PyTorch 기본 함수 정리 (torch.optim, torch.nn) import torch.optim as optim # optimizer import optimizer = optim.SGD(model.parameters(), lr = 1e-5) # optim.옵티마이저(파라미터, 러닝레이트) import torch.nn as nn class 딥러닝모델(nn.Module): # nn.Module을 상속받아 딥러닝 모델 생성 시 def __init__(self): super().__init__() self.모델오브젝트 = nn.기정의된모델사용가능(dim0, dim1) def forward(self, x): return self.모델오브젝트(x) model = 딥러닝모델() optimizer = optim.SGD(model.parameters(), lr=1e-5) #####.. 공감수 0 댓글수 0 2022. 6. 18.
PyTorch 기본 함수 정리(In-place Operation) x = torch.FloatTensor([[1,2], [3,4]]) print(x) # tensor([[1., 2.], # [3., 4.]]) # inplace 안했을 때 print(x.mul(2.)) print(x) #tensor([[2., 4.], # [6., 8.]]) #tensor([[1., 2.], # [3., 4.]]) # inplace 했을 때 # PyTorch는 garbage collector가 잘 구현되어 있어서 in-place 사용 이점이 없을 수 있음 print(x.mul_(2.)) print(x) #tensor([[2., 4.], # [6., 8.]]) #tensor([[2., 4.], # [6., 8.]]) 공감수 0 댓글수 0 2022. 6. 18.
PyTorch 기본 함수 정리 (Ones, Zeros) x = torch.FloatTensor([[0, 1, 2], [2, 1, 0]]) print(x) # tensor([[0., 1., 2.], # [2., 1., 0.]]) print(torch.ones_like(x)) # device도 동일하게 간다. 같은 device에 텐서 선언 print(torch.zeros_like(x)) # tensor([[1., 1., 1.], # [1., 1., 1.]]) # tensor([[0., 0., 0.], # [0., 0., 0.]]) 공감수 0 댓글수 0 2022. 6. 18.
PyTorch 기본 함수 정리 (Concatenate, Stack) Concatenate x = torch.FloatTensor([[1,2], [3,4]]) y = torch.FloatTensor([[5,6], [7,8]]) print(torch.cat([x,y], dim=0)) print(torch.cat([x,y], dim=1)) # tensor([[1., 2.], # [3., 4.], # [5., 6.], # [7., 8.]]) # tensor([[1., 2., 5., 6.], # [3., 4., 7., 8.]]) Stacking x = torch.FloatTensor([1, 4]) y = torch.FloatTensor([2, 5]) z = torch.FloatTensor([3, 6]) print(x.shape) # torch.Size([2]) # 3개가 쌓임 #.. 공감수 0 댓글수 0 2022. 6. 18.
PyTorch 기본 함수 정리 (Type Casting) lt = torch.LongTensor([1, 2, 3, 4]) print(lt) # tensor([1, 2, 3, 4]) print(lt.float()) # tensor([1., 2., 3., 4.]) # ByteTensor: Boolean을 저장 bt = torch.ByteTensor([True,False,False,True]) print(bt) print(bt.long()) print(bt.float()) # tensor([1, 0, 0, 1], dtype=torch.uint8) # tensor([1, 0, 0, 1]) # tensor([1., 0., 0., 1.]) lt == 3 # tensor([False, False, True, False]) 공감수 0 댓글수 0 2022. 6. 18.
PyTorch 기본 함수 정리 (View, Squeeze, Unsqueeze) View (Numpy의 Reshape) t = np.array([[[0, 1, 2], [3, 4, 5]], [[6, 7, 8], [9, 10, 11]]]) t array([[[ 0, 1, 2], [ 3, 4, 5]], [[ 6, 7, 8], [ 9, 10, 11]]]) t.shape (2, 2, 3) ft = torch.FloatTensor(t) ft tensor([[[ 0., 1., 2.], [ 3., 4., 5.]], [[ 6., 7., 8.], [ 9., 10., 11.]]]) ft.shape torch.Size([2, 2, 3]) print(ft.view(-1,3).shape) ft.view(-1,3) torch.Size([4, 3]) tensor([[ 0., 1., 2.], [ 3., 4., 5.. 공감수 0 댓글수 0 2022. 6. 18.
PyTorch 기본 함수 정리 (mean, max) t = torch.FloatTensor([[1,2],[3,4]]) ## 평균 print(t.mean()) print(t.mean(dim=0)) print(t.mean(dim=1)) print(t.mean(dim=-1)) ## 결과 # tensor(2.5000) # tensor([2., 3.]) # tensor([1.5000, 3.5000]) # tensor([1.5000, 3.5000]) ## max 함수 t = torch.FloatTensor([[1,2],[3,4]]) # base print(t.max()) #tensor(4.) # dim = 0 print("\ndim=0") print(t.max(dim=0)) print("value:",t.max(dim=0)[0]) print("argmax:",t.m.. 공감수 0 댓글수 0 2022. 6. 18.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.