機械学習推論

Machine Learning Inference

学習済みのモデルに新しい入力を与え、結果を得る処理である。業界団体MLCommonsのMLPerf Inferenceベンチマークは、学習済みモデルを用いてシステムが入力を処理し結果を出す速さを測るものと説明する。評価は標準の負荷生成器が特定のパターンで推論要求を発生させ、定められた指標を測る形で行われ、single-stream、multiple-stream、server、offline の各シナリオが置かれている。ベンチマークはデータセンター、エッジ、モバイル、tiny といった配備先ごとに区分されている。

関連スタートアップ

サンバノバ・システムズ US データフロー型の AI 推論システムを開発する米国サンノゼの企業 グロック US 独自チップLPUでAI推論クラウドを運営する米サンフランシスコの企業 DeepInfra US GPUを自社保有し低コストな推論を提供するAI基盤クラウド Opticore US 時間多重の光演算でAIの学習と推論を行うフォトニック計算チップ Orbital US 太陽光で低軌道上のAI推論を動かす衛星 Lambda US NVIDIA GPUクラスタをAI学習・推論向けに貸し出すAIクラウド事業者 ユークリッド NL AI推論の効率化を目指す欧州発の次世代AI半導体スタートアップ TeRAM US 最先端AI向けにカスタム3D SRAMを開発し、オンチップのメモリ容量と帯域を最大化し... Delos Data US Delos Dataはパロアルトに拠点を置くチップ・システム企業であり、より高速で効率... ヴェルダ FI ヘルシンキを拠点に、AIワークロード向けのデータセンター、ハードウェア、GPUコン...