Groq Among the First to Bring NVIDIA Groq 3 LPX and Vera Rubin NVL72 to Market
Groqは、自社のAI推論クラウドにNVIDIA Groq 3 LPXおよびVera Rubin NVL72プロセッサをいち早く導入すると発表し、インフラ展開ではDell Technologiesと協業する。同社によれば、このシステムはGemma 4 31Bを100Kトークンのコンテキストで実行した際に毎秒3,400出力トークンに達し、レイテンシに敏感なワークロードで競合プラットフォーム比4倍の対話性を実現するという。Groqは各地のデータセンターを通じて600万人の開発者とFortune 500企業に提供しており、新インフラはより高速なトークン生成と低レイテンシを必要とするエージェント型AIアプリケーションを狙うとしている。