Multiverse Computing, HPE and Intel run enterprise speech-to-text on CPUs alone
Multiverse ComputingはHPEおよびIntelと協力し、OpenAIのWhisperモデルを圧縮してCPUのみで動作させ、元モデルの2倍のスループットを達成した。圧縮版はパラメータを8億から4億に削減しつつ精度を維持している。専用アクセラレータなしで標準的なサーバー1台が1日あたり約17,000時間の音声を文字起こしでき、企業の文字起こしコストを低減できるとしている。
Multiverse Computing 公式ニュースルームで全文を読む ↗