본문 바로가기

IT 지식51

[논문] AlexNet 출처 : papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf 0. Abstract ImageNet LSVRC-2010 대회에서 1000개의 클래스의 120만 고해상도 이미지를 분류를 위해 깊은 dnn을 훈련했다. 이 대회에서 테스트 데이터로 37.5%와 17.0%로 1등과 5등의 오류율을 달성했다. 신경망은 6천만 개의 파라미터와 650,000 개의 뉴런, 몇몇은 3개의 max 풀링층과 연결된 5개의 합성곱층, 그리고 마지막은 softmax인 3개의 완전연결 층으로 구성되었다. 학습을 빠르게 하기 위해 비 포화 뉴런과 GPU를 사용했으며, 오버피팅을 줄이기 위해 완전연결층에 최근 개발된 드롭아웃을 적용했다. 해당 모델은 IL.. 2021. 2. 27.
자연어 처리 : 트랜스포머 출처 : 동빈나 유튜브 www.youtube.com/watch?v=AA621UofTUA&t=44s *해당 글은 학습을 목적으로 위의 포스팅 내용 중 일부 내용만을 요약하여 작성한 포스팅입니다. 상세한 내용 및 전체 내용 확인은 위의 링크에서 확인하실 수 있습니다. Transformer (Attention is all you need) Tranformer는 Attention을 메인 아이디어로 활용한 모델이다. 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있다. GPT : Transformer의 디코더 아키텍처를 활용했다. BERT : Transformer의 인코더 아키텍처를 활용했다. Transformer의 등장 기점으로 자연어 처리 태스크에서 RNN 기반의 아키.. 2021. 2. 22.
Convolutional Neural Network (합성곱 신경망, CNN) 1) Why was CNN developed?​ CNN이전에는 DNN (Deep Neural Networks)가 주로 사용되었다. 하지만 DNN은 1차원 형태의 데이터를 입력값으로 받는 모델로, 2차원 이상의 데이터를 입력값으로 사용하는 경우 반드시 1차원으로 평탄화하는 Flatten 작업이 필요했다. 이미지와 같은 현실 세계의 데이터는 Flatten 작업시 이미지의 공간적, 지역적 정보의 손실이 일어난다. 위의 사진을 보면 이해가 빠를 것이다. 그리고 이러한 손실은 정보 부족을 야기하여 비효율적이고 비정확한 학습을 유도할 수 있다. *컬러 이미지의 픽셀은 3차원 데이터 (R,G,B), SHAPE은 (height, width, 3) *흑백 이미지의 픽셀은 1차원 데이터 (R,G,B), SHAPE은 (he.. 2021. 1. 27.