アテンション機構

定義

入力のどの部分にどれだけ注目するかを重み付けで動的に決める仕組み。Transformer の中核で、機械翻訳・LLM の性能を飛躍させた。