ブロック量子化アテンションにおける未来情報の漏洩

Future leakage in block-quantized attention

MatX の研究記事は、ブロック量子化アテンションで Transformer を学習させたときに生じる「未来情報の漏洩（future leakage）」という問題を取り上げている。バリュー行列をトークン位置をまたいで量子化すると、後続トークンの情報が前の位置に影響してしまい、因果的なモデリングが崩れることを示した。著者らは、ブロック対角のタイルについては量子化しない演算を使うという対処法を提案している。10億パラメータ規模のモデルで検証したところ、この方法により、漏洩のある手法で見られた並列計算と自己回帰計算の損失の乖離が解消されたという。