マットエックス

MatX

大規模言語モデル専用の推論チップ MatX One を開発する米国企業

概要

大規模言語モデル向けに一から設計した専用チップ MatX One を開発する。分割可能なシストリックアレイ構成を採り、重みを SRAM に置いて低レイテンシを確保しつつ、長い文脈のキー・バリューは HBM に持たせる。100層規模の MoE モデルで毎秒2,000トークン超の出力を狙い、学習・強化学習・推論（prefill と decode の双方）に使えるとする。小規模モデルの性能や少量ワークロード、プログラミングの容易さは割り切り、大規模モデルを扱うフロンティア研究機関を顧客に据える。従業員は約100人。

創業の背景

MatXは2023年に、GoogleでTPUの開発に携わったライナー・ポープ（TPU向けAIソフトウェア開発を率いた）とマイク・ガンター（TPUハードウェアの主任設計者）が共同で設立した。ポープCEOは自社の投稿で、LLM向けの最良のチップは第一原理から設計し、LLMが何を必要とし今後どう進化するかを深く理解した上で作るべきだと考えたと述べている。そのため小型モデルでの性能、少量ワークロード、プログラミングの容易さを割り切る方針を取った。現在は約100人の体制である。

出典: matx.com / techcrunch.com