41일차 [ LSTM, GRU ]

또 월요일이다... 오늘은 날씨도 다시 추워져서 나오는데 힘들었다. 봄이 왔으면 좋겠는데...
이번주는 내용 정리 잘 하면서 이해하고 꼭꼭 씹어먹겠다.
그리고 게임/sns 최대한 줄이면서 내가 해야할 일 마이크로 단위로 나눠서 채워나갈 것이다..

• RNN 단점: 양방향 학습이 어렵다.
• LSTM
  • forget gate 통해 얼마나 저장할 지 판단 => 좀 더 긴 시계열 데이터 해석 가능
  • cell state & hidden state
• GRU: 긴 문장 해석 가능하게 하는 알고리즘
  • reset gate, update gate (=lstm forget gate)
  • hidden state만 만들면 됨 => RNN 과 비슷하나 더 긴 문장 해석하는 능력이 뛰어남.

GRU model with NLG

https://colab.research.google.com/drive/1s5nJEFDMTnMuVf-qSsRLJy5SnyZjSq_K

Google Colab Notebook

 

Seq2Seq 번역

Google Colab Notebook