Fine-Tune Your Own Embedding Model for the Price of a Coffee
Fireworks AIは、対照学習を用いてドメイン特化データで埋め込みモデルをファインチューニングする手法を紹介し、費用は10ドル未満で済むとしている。検索精度は大きく改善し、法令引用タスクでnDCG@100が39%向上、EU判例のマッチングでは61%向上した。柔軟性と効率のバランスが異なる3つの学習モードも用意されている。InfoNCE損失とバッチ内ネガティブを使うことで、ベースモデルの汎化性能を保ちながらドメインへの特化を実現するという。
無料登録で、調達額・投資家・記事全文が読めます（メールアドレスのみ）。
無料で登録する