Flash Attention

定義

Dao et al. 2022。GPU メモリ階層を意識した Attention 実装で、数学的に同一のまま 2〜4 倍高速化。現代の LLM 学習・推論で標準採用。