Jimmy의 공부방 Jimmy의 공부방

Attention Is All You Need 논문에서 제안된 Transformer은 이후 NLP 분야에서 매우 폭넓게 사용됐습니다(현재까지도). inductive bias가 적다는 특징이 있으며, 데이터셋이 매우(구글의 300M과 같이...) 큰 환경에서 pretrain, 혹은 pretext task 학습을 진행후 downstream task 등에서 활용하기에 용이합니다. BERT, GPT 등의 Transformer 기반 NLP 모델들이 많이 연구되었으니, 찾아보시길 권합니다. 오늘 설명할 논문은 구글의 An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale 이라는 논문입니다. 구글 리서치, 브레인 팀 소속의 연구자들이 집필..

최근 Natural Language Processing(NLP) 분야 뿐만 아니라 Computer Vision 등의 다양한 분야에서 응용되고 있는 모델이 바로 Transformer 입니다. 트랜스포머는 오늘 설명할 논문인 Attention Is All You Need 에서 제안된 모델로서, 매우 범용적이라는 특성을 가지고 있습니다. NIPS 2017에서 발표된 논문으로 구글 브레인, 리서치 팀의 Vaswani 외 저자들이 집필한 논문입니다. 조경현 교수님의 Neural Machine Translation by Jointly Learning to Align and Translate 에서 다룬 Attention의 개념과 더불어, neural machine translation의 한 획을 그은 트랜스포머를 제..

이번에 설명할 논문은 뉴욕대 조경현 교수님의 Neural Machine Translation by Jointly Learning to Align and Translate 이라는 논문입니다. 목차 Introduction Background: Neural Machine Translation Learning to ALIGN and TRANSLATE Experiment Results Related Works Conclusion ICLR 2015에 발표된 논문으로, 저자는 조경현 교수님을 비롯하여 Dzmitry Bahdanau와 Yoshua Bengio입니다. 기본적으로 Machine Translation 주제를 가지고 있으며, statistical machine translation와 비교할 때 우수한 성능을 ..