RNN의 개요
http://karpathy.github.io/2015/05/21/rnn-effectiveness/
The Unreasonable Effectiveness of Recurrent Neural Networks
There’s something magical about Recurrent Neural Networks (RNNs). I still remember when I trained my first recurrent network for Image Captioning. Within a few dozen minutes of training my first baby model (with rather arbitrarily-chosen hyperparameters)
karpathy.github.io
심심할때 읽어보기 좋은 내용
RNN은 Feed Forward Neural Network과는 다르다. hidden layer의 값이 output으로 이어지지 않고 다음 hidden의 입력이 된다.
https://discuss.pytorch.org/t/pytorch-rnn-many-to-many-learning-one-to-many-test/91874
일대일부터 다대다까지 다양한 형태가 있다. 일대다의 경우 이미지 캡션에 사용되기도 한다.
예를 들어 입력이 디지털정부이면 출력은 정부24, 주민등록등본, 민원24 등으로 나타날 수 있다.
다대일의 경우 여러 입력언어를 기반으로 결과를 보는 형태 예를 들어 '나는', 코카콜라; '마시고' 등의 입력에 대해 출력은 '충치'와 같은 형태로 나타나게 되는 경우를 들 수 있을 것이다.
다대다의 경우 '차량', '분류', '교통량조사'와 같은 입력에 대해 출력층이 '교통신호조정', 'KTDB', '차선조정'과 같은 형태로 나타나게 될 수 있을 것이다. 또는 번역과정이나 품사출력이 될 것이다.
시점 t 에서 은닉층의 값이 ht일 경우
출력층 yt는
ht는 하이퍼탄젠트가 사용되며, 출력층의 경우 이진분류는 로지스틱, 다중회귀일 경우 소프트맥스가 사용된다.