キーよりバリューを優先せよ: 疎にアクセスされる多数のバリューヘッドで高速化するアテンション

Prioritize values over keys: faster attention with many sparsely accessed value heads

MatX の研究チームは、Multi Query Attention とスパース化を組み合わせた「Sparse Multi Value Attention（SMVA）」を提案した。Transformer のデコード時に必要な KV キャッシュのメモリ帯域を削減することが狙いだ。密にアクセスするキーヘッドを1つだけ持たせ、バリューヘッドは複数用意して疎にアクセスする構成を採る。Grouped Query Attention と同等の品質を保ちながらメモリ帯域コストを最大8分の1に抑えられ、1億100万パラメータのモデルでの実験では、より低い計算コストで Grouped Query Attention を上回る結果が得られたという。