Llama 3.3 70B および Llama 3.1 8B 向けオープンソース SAE の公開を発表

・ Goodfire 製品・技術

Announcing Open-Source SAEs for Llama 3.3 70B and Llama 3.1 8B

Goodfire は、大規模言語モデルが内部で情報をどう処理しているかを解釈するためのオープンソースのスパースオートエンコーダ(SAE)を公開した。SAE は Llama 3.1 8B と Llama 3.3 70B の双方に対応し、特徴の発見やモデル挙動のプログラム的制御といった用途をサポートする。配布は Hugging Face 経由でドキュメントとともに行われ、研究コミュニティ全体での解釈可能性研究の加速を狙う。

Goodfire 公式ニュースルームで全文を読む ↗

Goodfire の他のリリース