Neural Turing Machines

Abstract

We extend the capabilities of neural networks by coupling them to external memory resources, which they can interact with by attentional processes. The combined system is analogous to a Turing Machine or Von Neumann architecture but is differentiable end-to-end, allowing it to be efficiently trained with gradient descent. Preliminary results demonstrate that Neural Turing Machines can infer simple algorithms such as copying, sorting, and associative recall from input and output examples.

---

우리는 신경망의 기능을 외부 메모리 자원과 결합시킴으로써 확장하는데, 신경망들은 attentional process로 상호 작용할 수 있다.

결합된 시스템은 튜링 머신 또는 폰 노이만 아키텍처와 유사하지만 경사 하강법을 통한 효율적인 방법을 가진 end-to-end와는 다르다.

논문에 쓰여진 결과는 Neural Turing Machine이 입출력 예제로부터 copying, sorting 및 associative recall 등과 같은 간단한 알고리즘을 유추할 수 있음을 보여준다.

---

요약

• 메모리와 neural network가 나뉘어져 있으며, Attention mechanism을 활용한다.
• Writing mechanism과 Reading을 동시에 사용한다.
• Turing machine과 다르게 부드러운 곡선(미분 가능)을 학습할 수 있다.
• RNN, LSTM을 무한정 쌓는 것 보다는 NTM(Neural Turing Machine)을 사용하는 것이 훨씬 효율적이다.
• content addressing, interpolation Convolutional shift sharpening을 통해서 weight를 구하고 메모리를 중요한 부분에 집중시키겠다.

이번 요약은 다음을 참고하였습니다.

https://jamiekang.github.io/2017/05/08/neural-turing-machine/

Neural Turing Machines · Pull Requests to Tomorrow

https://www.youtube.com/watch?v=2wbDiZCWQtY&list=PLWKf9beHi3Tg50UoyTe6rIm20sVQOH1br&index=7

---

 

Reference

Graves, A., Wayne, G., & Danihelka, I. (2014). Neural turing machines. arXiv preprint arXiv:1410.5401.