d-Matrix Demo Cloudの提供開始:数分で試せる超低遅延推論環境

・ ディーマトリックス 製品・技術

Introducing d-Matrix Demo Cloud: Ultra Low Latency Inference, Ready to Test in Minutes

d-Matrixは、Corsairによる推論を数分で試せるホスティング環境「Demo Cloud」を提供開始した。OpenAI互換のAPIアクセス、セルフサービスでのキー管理、設定済みエンドポイントを備える。ドラフトモデルとターゲットモデルをCorsairとGPUに分散させるヘテロジニアスな投機的デコーディングにも対応する。

d-Matrix 公式ニュースルームで全文を読む ↗

ディーマトリックス の他のリリース