事前学習

定義

大規模な教師なしデータで汎用表現を学習させる段階。BERT・GPT は事前学習 → ファインチューニングの流れ。