Natural Language Processing
-
[Attention Is All You Need] 논문 리뷰Natural Language Processing 2021. 2. 25. 15:09
최근 Natural Language Processing(NLP) 분야 뿐만 아니라 Computer Vision 등의 다양한 분야에서 응용되고 있는 모델이 바로 Transformer 입니다. 트랜스포머는 오늘 설명할 논문인 Attention Is All You Need 에서 제안된 모델로서, 매우 범용적이라는 특성을 가지고 있습니다. NIPS 2017에서 발표된 논문으로 구글 브레인, 리서치 팀의 Vaswani 외 저자들이 집필한 논문입니다. 조경현 교수님의 Neural Machine Translation by Jointly Learning to Align and Translate 에서 다룬 Attention의 개념과 더불어, neural machine translation의 한 획을 그은 트랜스포머를 제..
-
[Neural Machine Translation by Jointly Learning to Align and Translate] 논문 리뷰Natural Language Processing 2021. 2. 25. 11:31
이번에 설명할 논문은 뉴욕대 조경현 교수님의 Neural Machine Translation by Jointly Learning to Align and Translate 이라는 논문입니다. 목차 Introduction Background: Neural Machine Translation Learning to ALIGN and TRANSLATE Experiment Results Related Works Conclusion ICLR 2015에 발표된 논문으로, 저자는 조경현 교수님을 비롯하여 Dzmitry Bahdanau와 Yoshua Bengio입니다. 기본적으로 Machine Translation 주제를 가지고 있으며, statistical machine translation와 비교할 때 우수한 성능을 ..