学習 FLOPs だけでなく、推論も最適化の対象にすべき

Optimize for inference too, not just training FLOPs

MatX の ML チームは、LLM のアーキテクチャ選択が長らく学習コストを基準に行われ、推論コスト、とりわけデコード段階で支配的になる KV キャッシュの読み込みが軽視されてきたと指摘している。記事では、学習・プリフィル・デコードをまとめて評価する「生涯総コスト（total estimated lifetime cost）」という指標を提案する。80億パラメータのモデルでは、KV キャッシュの読み込みコストが順伝播の計算コストの約20倍に達すると試算している。そのうえで、KV キャッシュの圧縮、モデル形状の変更、投機的デコーディング、クエリとキーの相互作用の強化という4つの方策を挙げ、学習コストは約1.5倍になるが推論コストは10分の1になるモデルが実現しうるとしている。