MoE

定義

複数の「エキスパート」サブネットワークから条件に応じて少数だけを活性化させる Transformer アーキテクチャ。Mixtral・DeepSeek-V3 などで採用。