状態空間モデル

概要

状態空間モデル（SSM）は、内部状態を保持して系列を順に更新していく形式のモデルである。深層学習では、この形式を並列に学習できる形へ書き換えた系列モデルとして 2020 年代に再評価された。代表例が Gu と Dao による Mamba である。

技術的な要点

Mamba の論文は、SSM のパラメータを入力内容の関数にする選択機構を導入し、現在のトークンに応じて情報を取捨選択できるようにした点を中核に置く。この変更により従来の畳み込みによる高速化が使えなくなるため、ハードウェアを意識した並列アルゴリズムを別途設計している。同論文は、注意機構と MLP ブロックの両方を持たない構成で系列長に対して線形にスケールし、推論スループットが Transformer より高いと報告している。

産業での位置づけ

注意機構の計算量が系列長の二乗に比例するのに対し、SSM は線形で済む。長い文書、音声、ゲノム配列、センサ時系列など、系列長が問題になる用途で関心を集めている。Mamba の論文自体も言語、音声、ゲノミクスを評価対象としている。Transformer 層と SSM 層を混在させる構成も研究されており、アーキテクチャの選択は用途とハードウェア制約に依存する。