Multiverse Computing launches Luminary, the first AI wind tunnel that evaluates LLMs on full multi-turn conversations
Multiverse Computingは、単発のプロンプトではなく顧客との完全なマルチターン会話をシミュレーションすることで、企業が最適な大規模言語モデルを選定できるよう支援するプラットフォーム「Luminary」を発表した。会話全体を通じて、完了タスクあたりのコスト、成功率、レイテンシ、ポリシー遵守といったビジネス上の指標を測定する。Luminaryは複数ベンダーのモデルを試験でき、本番導入前に失敗パターンを明らかにすることで導入リスクの低減を目指す。
Multiverse Computing 公式ニュースルームで全文を読む ↗