勾配降下法

定義

損失関数の勾配方向と逆向きにパラメータを少しずつ更新する最適化法。バッチ・確率的(SGD)・ミニバッチがある。