ブロック単位スパースアテンションを用いた投機的デコーディング

Speculative Decoding with Blockwise Sparse Attention

MatX の研究チームは、投機的デコーディングとブロック単位のスパースアテンションを組み合わせることで、検証時の演算強度を最大3.5倍に高められることを示した。これは、ドラフトトークン全てが同じコンテキストの部分集合を参照するようにすることで実現される。検証には LongCrawl64 のデータを用いて1億8,400万パラメータと12億パラメータのモデルを学習させた。その結果、言語モデルとしての品質を損なわずに、検証ステップでの KV キャッシュのスパース性を維持できたと報告している。