勾配消失問題

定義

深いネットワークで逆伝播時に勾配が指数的に小さくなり、初期層が学習できなくなる現象。ReLU・残差接続・LSTM ゲートで緩和。