SPIRe: 投機的デコーディングによる LLM 推論スループットの向上

SPIRe: Boosting LLM Inference Throughput with Speculative Decoding

MatX の研究チームは、投機的デコーディングによって LLM の推論スループットを高めるためのドラフトモデル「SPIRe」を発表した。SPIRe は静的スパースアテンション、枝刈りによる初期化、フィードバックメモリを組み合わせている。素の投機的デコーディングと比べてスループットは100%以上、ベースラインの MagicDec と比べても35%向上したという。大きなバッチサイズと中〜長文コンテキストで特に効果が高く、本番環境では20%を超えるコスト削減が見込めるとしている。