Self-Attention

定義

入力系列の各位置が他のすべての位置を参照する仕組み。$\mathrm{softmax}(QK^\top/\sqrt{d_k})V$ で計算。Transformer の中核。