ReLU

定義

活性化関数 $\max(0, x)$。負の領域で勾配 0、正の領域で勾配 1。DL で勾配消失を緩和して学習を成功させた立役者。