FullFT vs LoRA training
Fireworks AIは、Qwen3.5-9Bを用いた統制実験を公開し、フルファインチューニング(FullFT)がLoRAを上回るケースを検証した。その差の多くは、アダプタの表現力の限界ではなく、学習データの網羅性、学習レシピ、学習率の設定に起因していたという。検証には自動評価が可能な3つの合成タスク(配置、レジスタ割り当て、Nexa VMの実行)を用い、データを広げて学習率を上げると品質差がしばしば解消された。記事は、FullFTに切り替える前にデータの網羅性・学習率・アダプタのランクを順に確認する診断手順を示している。
無料登録で、調達額・投資家・記事全文が読めます(メールアドレスのみ)。
無料で登録する