BERT

定義

Google が 2018 年に発表した Transformer Encoder ベースの事前学習モデル。マスクされた単語の予測(MLM)で学習し、ファインチューニングで様々な NLP タスクに適用。