Parasail to Combine NVIDIA AI Infrastructure with d-Matrix Accelerators to Achieve 10x Faster Token Generation
Parasail と d-Matrix は、Parasail が NVIDIA の Hopper および Blackwell GPU と並べて d-Matrix の Corsair 推論アクセラレータを導入すると発表した。これにより最大10倍高速で低コストな推論サービスを提供するという。構成はヘテロジニアスかつ分離型で、計算負荷の重い prefill を NVIDIA GPU が、遅延に敏感な decode を Corsair が担う。両社は、この方式が商用規模で本番稼働する最初期の例のひとつであり、Parasail の世界各地のインフラで運用されるとしている。