본문 바로가기

BOOSTCAMP AI TECH/4주차_자연어 처리5

[BOOSTCAMP AI TECH] 20일차_Self-supervised Pre-training Models 강의 목록 - Self_supervised Pre-training Models : GPT-1, BERT - Advanced Self-supervised Pre-training Models 요약 강의 피어세션 학습정리 Pre-trained 모델의 최신 발전 동향 Transformer와 Self-attention block은 범용적인 인코더와 디코더로써의 역할을 잘 수행해냈다. 그래서 자연어 처리 뿐 아니라 다른 분야에서도 활발히 활용 중에 있다. Transformer은 6개 정도의 self-attention block을 쌓아서 사용했는데, 최근에는 보다 많은 블럭들을 쌓아서 대규모 데이터의 학습 용도로 사용할 수 있는 Self-supervised Learning 프레임워크으로 학습한 후 다양한 작업에 대해.. 2021. 2. 19.
[BOOSTCAMP AI TECH] 19일차_Transformer 강의 목록 Transformer1 Transformer2 요약 강의 Transformer 관련 학습 진행 피어세션 어제자 학습 내용 복습 학습정리 Transformer LSTM이나 GRU의 성능을 개선한 Seq2Seq 모델. 자연어를 입력받아 자연어를 출력하는 데 사용되는 모델로, 2017년 'Attention is all you need'에서 나온 모델이다. 기존의 인코더-디코더 구조를 따르면서도, 어텐션만으로 이를 구현했다. 즉, 어텐션을 기존의 RNN을 보조하기 위한 용도가 아닌, 인코더, 디코더의 역할로 사용한다. N개의 인코더와 N개의 디코더로 구성된다 *Query : t 시점의 디코더 셀에서의 은닉 상태. 다른 INPUT 데이터와의 유사도 판별 기준 *Keys : 모든 시점의 인코더 셀의 은닉.. 2021. 2. 18.
[BOOSTCAMP AI TECH] 18일차_Seq2Seq with attention, BLEU 강의 목록 - Sequence to Sequence with Attention - Beam Search and BLEU 요약 강의 Seq2Seq 모델을 구현하기 위해 인코더와 디코더, 그리고 attention 모델에 대해 학습했다. 그리고 모델의 평가 지표인 BELU에 대해 학습했다. 피어세션 어제 학습한 내용을 복습하는 시간을 가졌다. 학습정리 Seq2Seq Model RNN의 구조 중 many-to-many 형태에 속한다. (입출력이 모두 시퀀스) many-to-many 중 모든 입력을 읽은 후 하나씩 출력을 하는 모델 인코더와 디코더로 구성되어 있다. 인코더 : 입력문장을 순차적으로 읽어들이는 RNN 모델 디코더 : 출력문장을 순차적으로 생성하는 RNN 모델 인코더와 디코더는 서로의 파라미터를 공유.. 2021. 2. 17.
[BOOSTCAMP AI TECH] 17일차_RNN, LSTM, GRU 강의 목록 - Recurrent Neural Networks(RNNs) - LSTM and GRU 요약 강의 시퀀셜 데이터를 다루는 모델인 RNN, LSTM, GRU의 개념과 학습법에 대해 학습했다. 그리고 실습을 통해 각 모델의 사용법을 학습했고, 과제를 통해 전처리를 학습했다. 피어세션 어제 배운 실습 코드를 복습하며 Word2Vec과 네이브 베이즈 분류를 재학습했다. 학습정리 Recurrent Neural Networks (RNNs) 다양한 길이를 가진 시퀀스 데이터에 특화된 유연한 구조의 딥러닝 구조 Vanilla RNN은 구조가 매우 간단하지만 경사도 손실, 폭주 문제가 존재한다. 시퀀스 데이터가 입력, 출력으로 주어진 상황에서 히든 스테이트의 출력값을 저장하고, 다음 학습의 입력으로 받아 활용.. 2021. 2. 16.
[BOOSTCAMP AI TECH] 16일차_BOW, Word2Vec, Glove 강의 목록 -Bag-of-words -Word2Vec, Glove -나이즈베이안 분류, Word2Vec 실습 -NLP 전처리 실습 요약 강의 자연어 처리의 동향을 학습했다. 자연어 처리를 위한 Bag of Words, Word2Vec, GloVe 알고리즘을 학습했다. 나이브 베이즈 분류와 word2vec 실습을 진행했고, NLP 전처리를 실습을 통해 학습했다. 피어세션 파이썬 머신러닝 완벽가이드 책의 군집화와 자연어 처리 파트를 다 함께 학습했다. 학습정리 NLP (Natural Language Processing, 자연어처리) 컴퓨터와 인간 언어 사이의 상호 작용하는 기술로, 인공지능의 핵심 기능 중 하나이다. 크게 NLU (Natural Language Understanding), NLG (Natur.. 2021. 2. 15.

티스토리툴바