Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

Abstract

In this paper, we propose a novel neural network model called RNN Encoder–Decoder that consists of two recurrent neural networks (RNN). One RNN encodes a sequence of symbols into a fixed- length vector representation, and the other decodes the representation into another sequence of symbols. The encoder and de- coder of the proposed model are jointly trained to maximize the conditional probability of a target sequence given a source sequence. The performance of a statistical machine translation system is empirically found to improve by using the conditional probabilities of phrase pairs computed by the RNN Encoder–Decoder as an additional feature in the existing log-linear model. Qualitatively, we show that the proposed model learns a semantically and syntactically meaningful representation of linguistic phrases.

---

이 논문은 두개의 RNN으로 구성된 RNN Encoder-Decoder이라고 명명된 새로운 신경망 구조를 제안한다.

첫번째 RNN은 문장을 쪼개어 고정 길이의 벡터에 mapping하고, 두번째 RNN은 인코딩된 벡터를 하나의 단어씩 디코딩하여 다시 하나의 문장으로 만든다.

이 모델의 인코더와 디코더는 주어진 source 문장에서 target 문장의 조건부 확률을 최대화하도록 학습한다.

통계 기계 번역 시스템의 성능은 RNN 인코더-디코더가 기존 로그-선형 모델의 추가 특징으로 제시한 구문 쌍의 조건부 확률을 사용하여 개선되는 것으로 경험적으로 확인된다.

질적으로, 우리는 제안된 모델이 의미적이고 의미 있는 언어적 어구의 표현을 배운다는 것을 보여준다.

---

요약

• SMT의 성능을 높일 수 있었으며, 완전히 대체할 가능성을 보았다.
• 학습된 벡터가 의미와 문법을 포착한다.
• RNN을 활용하여 문장 구절을 학습시킴(다양한 길이에 적용 가능)

---

 

 

Reference

Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078.