Sequence to Sequence Models: A Review
Presenter: Cao Vu Dung
In this seminar, we will explore several important applications of the fundamental RNN models for various critical tasks including image captioning, machine translation, and speech recognition. First, a brief review of the RNN models is presented to provide the prerequisite and essential knowledge of RNN. In the main part, we will dig deep into the major cutting-edge algorithms and techniques for the tasks of image captioning, machine translation, and speech recognition through reviewing a number of recent influential papers on sequence to sequence models that have achieved the state-of-the-art accuracy and performance.
Trong buổi seminar này, chúng ta sẽ thảo luận về sequence to sequence models qua ứng dụng cụ thể của các mô hình này.
Đây là nội dung mang tính kế thừa từ hai bài phát biểu trước của Khang Pham về Word Embedding và Hai Minh Do về sequence models. Mọi tham khảo lại hai bài phát biểu này để lấy kiến thức cơ bản về word embedding và Recurrent Neural Networks.
Điểm khác biệt là trong buổi này mình sẽ trình bày các idea chính từ papers thay vì đi sâu vào phân tích từng paper để giúp các bạn hình dung được bức tranh lớn về RNN và các ứng dụng hiện nay. Bên cạnh đó mình sẽ demo thử một ví dụ thực tế đơn giản nếu thời gian cho phép.
Với cách làm như vậy, các bạn dù mới với deep learning (như mình :D) cũng dễ dàng nắm bắt nhanh và có thể triển khai ngay vào một dự án thực tế.
Key references:
Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. In Advances in neural information processing systems (pp. 3104-3112).
Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078.
Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.