본문 바로가기

IT 지식/인공지능_딥러닝5

[논문] DenseNet arxiv.org/pdf/1608.06993.pdf 0. Abstract 최근의 연구는 컨볼루션 네트워크가 입력쪽 계층과 출력쪽 계층간 더 짧은 연결을 포함할 경우 훨씬 더 깊고, 더 정확하고, 더 효율적으로 훈련할 수 있다는 것을 보여주었다. 본 논문에서는 이러한 관찰을 수용하고 각 레이어를 피드포워드 방식으로 다른 모든 레이어에 연결하는 밀도 컨볼루션 네트워크 (DenseNet)을 소개한다. L 레이어를 사용하는 기존의 컨볼루션 네트워크는 각 레이어와 후속 레이어 사이의 L 연결을 가지지만 해당 네트워크는 L(L+1) 2 직접 연결을 가진다. 각 레이어에 대해, 모든 선행 레이어의 형상 맵이 입력으로 사용되며, 자체 형상 맵은 모든 후속 레이어에 대한 입력으로 사용된다. DenseNet은 몇 가지 이.. 2021. 3. 7.
[논문] ResNet arxiv.org/pdf/1512.03385.pdf 0. Abstract 어려운 DNN의 훈련을 위해 Residual leraning 프레임워클르 제시했다. 참조되지 않은 함수를 학습하는 대신 레이어 입력을 참조하여 레이어를 Residual function으로 재구성한다. 이러한 Residual 네트워크는 최적화가 쉽고 깊이를 증가시켜도 정확도를 얻을 수 있다. VGGNet보다 8개 깊지만 복잡성을 낮춘 152개의 Residual Layer로 이루어진 Residual nets로 ImageNet의 데이터셋을 평가했다. Residual Net의 앙상블은 3.57%의 오류를 테스트 셋에서 달성했다. 이 결과로 ILSVRC 2015 분류 과제에서 1위를 차지했고, 논문에서는 100과 1000개의 레이어를 가진 .. 2021. 3. 2.
[논문] AlexNet 출처 : papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf 0. Abstract ImageNet LSVRC-2010 대회에서 1000개의 클래스의 120만 고해상도 이미지를 분류를 위해 깊은 dnn을 훈련했다. 이 대회에서 테스트 데이터로 37.5%와 17.0%로 1등과 5등의 오류율을 달성했다. 신경망은 6천만 개의 파라미터와 650,000 개의 뉴런, 몇몇은 3개의 max 풀링층과 연결된 5개의 합성곱층, 그리고 마지막은 softmax인 3개의 완전연결 층으로 구성되었다. 학습을 빠르게 하기 위해 비 포화 뉴런과 GPU를 사용했으며, 오버피팅을 줄이기 위해 완전연결층에 최근 개발된 드롭아웃을 적용했다. 해당 모델은 IL.. 2021. 2. 27.
자연어 처리 : 트랜스포머 출처 : 동빈나 유튜브 www.youtube.com/watch?v=AA621UofTUA&t=44s *해당 글은 학습을 목적으로 위의 포스팅 내용 중 일부 내용만을 요약하여 작성한 포스팅입니다. 상세한 내용 및 전체 내용 확인은 위의 링크에서 확인하실 수 있습니다. Transformer (Attention is all you need) Tranformer는 Attention을 메인 아이디어로 활용한 모델이다. 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다. GPT : Transformer의 디코더 아키텍처를 활용했다. BERT : Transformer의 인코더 아키텍처를 활용했다. Transformer의 등장 기점으로 자연어 처리 태스크에서 RNN 기반의 아키.. 2021. 2. 22.
Convolutional Neural Network (합성곱 신경망, CNN) 1) Why was CNN developed?​ CNN이전에는 DNN (Deep Neural Networks)가 주로 사용되었다. 하지만 DNN은 1차원 형태의 데이터를 입력값으로 받는 모델로, 2차원 이상의 데이터를 입력값으로 사용하는 경우 반드시 1차원으로 평탄화하는 Flatten 작업이 필요했다. 이미지와 같은 현실 세계의 데이터는 Flatten 작업시 이미지의 공간적, 지역적 정보의 손실이 일어난다. 위의 사진을 보면 이해가 빠를 것이다. 그리고 이러한 손실은 정보 부족을 야기하여 비효율적이고 비정확한 학습을 유도할 수 있다. *컬러 이미지의 픽셀은 3차원 데이터 (R,G,B), SHAPE은 (height, width, 3) *흑백 이미지의 픽셀은 1차원 데이터 (R,G,B), SHAPE은 (he.. 2021. 1. 27.