FIDを訓練に投入：AI画像生成の新手法が示す意外な真実

画像生成の「黄金標準」が、訓練の場へ

AI画像生成の進化を測る尺度として、約10年にわたり業界を支配してきた指標がある。FID（Frechet Inception Distance）だ。生成画像と本物の画像の分布の違いを数値化し、低いほど「よりリアル」とされるこの指標は、研究者たちがモデルを比較する際の事実上の標準となってきた。

しかし、FIDには大きな課題があった。それは「評価には使えるが、訓練には使えない」という点だ。正確にFIDを計算するには約5万枚の画像が必要だが、GPUのメモリに収まるバッチサイズはせいぜい1000枚程度。全データを逆伝播に使おうとすれば、計算資源が即座に破綻する。

この長年の壁を打ち破る研究が発表された。南カリフォルニア大学、カーネギーメロン大学、香港中文大学、そしてOpenAIの研究者からなるチームだ。彼らは「FD-loss」という新手法を提案し、FIDを直接的な訓練損失関数としてモデルの最適化に組み込むことに成功した。

統計量と勾配計算を「徹底解離」

この手法の核心にあるのは、「統計量の計算」と「勾配の伝播」を完全に分離するという発想だ。

従来の課題を整理すると、FIDの計算には大量のサンプルから得られる平均と共分散が必要だった。一方で、モデルの学習（勾配計算）は現在処理している小規模なバッチに対してのみ行われるべきだ。両者を混ぜれば、計算コストとメモリ使用量が膨大になる。

研究チームは2つのアプローチを設計した。1つは「キュー法」だ。数万枚の特徴量を格納する巨大なキュー（待ち行列）を維持し、新しいバッチが生成されるたびに古いデータを追い出す。FDの計算にはこのキュー全体の統計量を使い、勾配の伝播は現在のバッチのみに限定する。

もう1つは「EMA法（指数移動平均）」だ。こちらは特徴量データを一切保持せず、指数移動平均によって生成サンプルの特徴量の一次・二次モーメントをリアルタイムで更新する。メモリ消費が少なく、統計的な結果もより滑らかで安定するため、研究チームはこの方法を採用した。

小さなモデルでもFID0.8を突破

このFD-lossの威力を示す実験結果は、いくつかの点で従来の常識を覆すものだった。

まず、単一ステップで画像を生成するモデルの可能性を拡げたことだ。研究者らは既に訓練済みの単一ステップ生成器にFD-lossを適用し、微調整を行った。その結果、ImageNet 256×256のベンチマークでFIDが2.29から0.77にまで改善された。生成に必要な計算ステップは1のまま、推論コストは増加していない。

さらに興味深いのは、元々は50ステップの多段階生成を前提に訓練されたモデルを、単一ステップの高性能生成器に変換できた点だ。教師蒸留や敵対的学習を必要とせず、FD-lossによる微調整だけで、元の多段階モデルと同等かそれ以上の品質を達成した。

「FIDが低い」が「良い画像」を意味しない

しかし、この研究で最も衝撃的だったのは、FIDの数値と人間の視覚的な品質の間に乖離（かいり）が見つかったことだ。

異なる視覚的表現空間（Inception、DINOv2、MAE、SigLIPなど）を使ってFD-lossを最適化した結果、Inception特徴量に基づくモデルが最も低いFIDを達成した。にもかかわらず、人間の目で見ると、このモデルが生成した画像は物体の構造やディテールの再現性において劣っていた。

逆に、DINOv2やMAEなど現代的な視覚表現を使って訓練されたモデルは、InceptionベースのモデルよりもFIDの数値は高く出るものの、視覚的な品質は明らかに優れていた。物体の輪郭がくっきりとしており、テクスチャの再現もより精密だった。

これは、長年業界がFIDの数値最適化に集中してきたことが、時にモデルの真の品質向上とは逆行する方向への最適化を促していた可能性を示唆している。

新指標「FDrk」の提案と今後の展望

この発見を受けて、研究チームはより堅牢な新しい評価指標「FDrk」も提案している。6種類の異なる表現空間における正規化されたFréchet Distanceの比を平均化したこの指標は、Inception特徴量に偏らない総合的な評価を可能にする。

FDrkで測定した場合、現在の最先端モデルでも1.89という数値を示しており、真の意味での画像生成技術の成熟にはまだ大きな余地があることを示している。

FD-lossは、既存のモデルアーキテクチャを変更することなく、既存の訓練済みモデルに適用できるプラグイン型のアプローチだ。これにより、画像生成分野ではFIDを訓練に組み込むだけでなく、評価基準そのものを再考する動きが加速する可能性がある。

---