ディーマトリックス

d-Matrix

推論アクセラレータCorsairを作る米国のメモリ密着型半導体企業

概要

データセンターの生成AI推論に絞り、演算をメモリ側に寄せてメモリと演算の距離を詰めるアーキテクチャで低遅延を狙う半導体を開発する。製品は推論アクセラレータ Corsair、ノード間を結ぶネットワークアクセラレータ JetStream、推論を最適化するソフトウェアスタック Aviator で構成される。GPU ベースのシステム比で10倍の速度、3分の1のコスト、3〜5倍の電力効率を掲げ、Llama 70B で毎秒3万トークン規模の生成を示す。顧客はハイパースケーラーや企業、ソブリン案件。2019年に Sid Sheth と Sudeep Bhoja が創業、本社はカリフォルニア州サンタクララ。