RNN(Recurrent Neural Network)이란

• 각 히든 레이어가 순차적으로 연결되어 있어 input으로 (입력 값과) 이전 스텝의 hidden state를 계속해서 사용하는 것이 가장 큰 특징인 모델임

특징

• RNN은 순차적으로 연결되어 있기 때문에, 역전파를 시행할 떄 멀리 있는 히든 레이어까지 기울기가 제대로 전달되지 못한다는 단점이 존재(1보다 작은 값들이 계속 곱해지면서 기울기가 사라지는 기울기 소실 문제(Vanishing Gradient Problem)가 발생)(tanh (-1 ~ 1)을 사용하기 떄문에)

  • relu를 사용하면 반대로 너무 증폭될 수 있음

  (최근 데이터일수록 더 강하게 학습되고 과거 데이터는 약하게 학습됨)

• 또한, 긴 시계열을 학습할 때 역전파 계산을 하는 컴퓨팅 연산량도 증가함

  • 각 RNN 계층마다 거쳐간 중간 데이터를 메모리에 모두 유지해야 하기 떄문

  → 따라서 RNN은 길이가 짧은 시계열일 때 활용하는 것이 좋음

참고: https://techblog-history-younghunjo1.tistory.com/470?category=1025617