DistilBERT

定義

Sanh et al. 2019。BERT-base を蒸留して 40% 軽量・60% 高速化、性能 97% 維持。蒸留の有名な実例。