Press

オープンモデルは発話の前に読み取り可能な無音のシグナルを持ちうるか？ Kimi K3 と Qwen3.5-9B における J-Lens リードアウトの再現

・ Fireworks AI その他

Can open models carry readable silent signals before they speak? Reproducing J-Lens Readouts on Kimi K3 & Qwen3.5-9B

Fireworks AI は Anthropic の J-Lens プローブをオープンウェイトモデルの Kimi K3 と Qwen 3.5-9B に適用し、トークン生成前の内部的な推論シグナルを調べた。その結果、モデルはテキストを出力する前に隠れ状態でタスクに関連する語彙を一貫して活性化させており、この現象が異なるアーキテクチャ間で確認された。一方で、トークナイザ依存のエンコードが主要な限界として挙げられ、Qwen の複数トークン表現では、Kimi が単一トークンとして捉えた一部の中間的な数値結果を検出できなかった。

Fireworks AIで全文を読む ↗

Fireworks AI の他のリリース