知識蒸留

定義

大きい教師モデルの出力(soft target)を学習目標として、小さい生徒モデルを学習させる手法。BERT → DistilBERT が代表例。