RoBERTa : A Robustly Optimized BERT Pretraining Approach (2019.07.V1)Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi 외 5인https://arxiv.org/abs/1907.11692 오늘 리뷰할 논문은 2019년도에 워싱턴 대학과 페이스북 연구진들이 발표한 논문으로, 이전에 나왔던 논문들과는 약간 다르게 특별한 아키텍쳐의 변형없이 기존에 발표되었던 BERT의 학습 과정 내 파라미터 조정과 약간의 방법론 수정을 통해 추가적인 성능 향상을 도모한 연구 결과를 다룬 논문입니다. 그럼 논문 리뷰 시작하겠습니다! 😁 📌 Abstract기존 연구들에서 언어 모델의 사전학습 방식 자체가 좋다는 것은..

BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding (2019.05.V5)Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova (Google)오늘 리뷰할 논문은 2019년 구글에서 발표한 논문으로, 이전에 나왔던 OpenAI의 GPT와는 다르게 트랜스포머 인코더 구조의 사전학습을 통해 NLP Task 성능을 향상시킨 획기적인 연구로 종종 평가받는 BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding 입니다. 논문 리뷰 시작하겠습니다! 😁 📌 AbstractBE..

GPT-1 : Improving Language Understanding by Generative Pre-Training (2018)Alec Radford, Karthic Narasimhan, Tim Salimans, Ilya Sutskever(OpenAI) 오늘 리뷰할 논문은 2018년 OpenAI에서 GPT라는 이름으로 처음 발표한 논문이자, 트랜스포머의 디코더 구조를 활용하여 획기적인 비지도 사전학습 방법론을 제시한 GPT-1 : Improving Language Understanding by Generative Pre-Training 입니다! 논문 리뷰 시작하겠습니다! 😁 📌 Abstract & Introduction본 논문에서는 기계번역, 텍스트 요약 등에 해당하는 NLP Task들이 아닌,..

Transformer : Attention Is All You Need (2017.06.)Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit 외 4인https://arxiv.org/abs/1706.03762 오늘 리뷰할 논문은 현재까지도 분야에 관계없이 무수히 많은 딥러닝 아키텍쳐의 베이스 모델로 활용되고 있으며, 현대 딥러닝 발전 과정에 있어 결코 빼놓을 수 없는 Transformer 아키텍쳐를 처음으로 소개한 Attention Is All You Need입니다. 논문 리뷰 시작해보도록 하겠습니다! 😁 📌 Abstract & Introduction당시 순차적 특징을 지닌 시퀀스 데이터를 모델링하거나 변환(기계 번역)할 때에는 LSTM, GRU 등..

Attention : Neural Machine Translation By Jointly Learning To Align and Translate (2015 ICLR)Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengiohttps://arxiv.org/abs/1409.0473 오늘 리뷰할 논문은 Transformer를 읽기 전에 반드시 이해하고 넘어가야할, 소위 Attention 개념이 처음으로 등장한 Neural Machine Translation By Jointly Learning To Align and Translate입니다. 논문 리뷰 시작하겠습니다! 📌 Abstract & Introduction기계 번역 Task는 과거 SMT(Statistical Machine T..

Seq2Seq : Seqeunce to Sequence with Neural Networks(2014.12.)Ilya Sutskever, Oriol Vinyals, Quoc V.Le(Google)https://arxiv.org/abs/1409.3215 이번에 리뷰할 논문은 2014년에 발표되었던, 여러 NLP 논문들의 시초라고도 볼 수 있는 Seq2Seq : Sequence to Sequence with Neural Networks 논문입니다! 논문 리뷰 시작하겠습니다!😁 📌 AbstractSeq2Seq 논문을 본격적으로 이해하려면 시퀀스가 무엇인지부터 이해할 필요성이 있을 것 같습니다. 일반적인 의미의 시퀀스는 순서가 있는 순차 데이터를 의미하는데요, 이를 언어 모델로 확장하면 텍스트를 모델이 처리..

ELMo : Deep contextualized word representations (2018.02.)Mattew E.Peters, Mark Neumann, Mohit Iyyer, Matt Gardener, Christopher Clark, Kenton Lee, Luke ZettleMoyerhttps://arxiv.org/abs/1802.05365 오늘 리뷰할 논문은 특정 단어의 임베딩을 생성하는 과정에서 앞뒤 문맥을 고려하는 방법론을 채택한 2018년에 발표된 ELMo : Deep contextualized word representations 입니다. 논문리뷰 시작하겠습니다! 📌 Abstract & Introduction Glove 등과 같은 당시 기준 전통적인 단어 임베딩 방식들은 단순히 N-..