品質スコア指標 – AIでビデオパフォーマンスを測定する

これらのメトリクスはどのように機能しますか？

ビデオ品質メトリクスは、2つの大きなカテゴリに分かれます：

• フルリファレンス/客観的メトリクスは、生成されたコンテンツを既知のリファレンスと比較し、空間的または時間的な違いを使用します。例としては：

  • PSNR（ピーク信号対ノイズ比）：ピクセルレベルの忠実度を測定します。高い値は歪みが少ないことを示しますが、人間の知覚を反映するのが不十分です。

  • SSIM（構造類似度指数）：構造的および知覚的な類似性をモデル化し、ほとんどの視覚的歪みに対してPSNRを上回ります。

  • VMAF（ビデオ多方法評価融合）：人間の知覚評価に合うように、複数の画像ベースの特徴を機械学習と組み合わせて、0～100のスコアを生成します。

  • FVD（フレシェビデオ距離）：生成されたビデオセットとリファレンスビデオセット間の空間的・時間的特徴分布における統計的変動を測定し、生成ビデオの評価に広く使用されています。

• ノーリファレンス/ユニタリメトリクスは、リファレンスビデオなしでビデオを評価します。これらは、人間が注釈を付けたデータセットで訓練された学習モデルに依存しています：

  • VideoScore：人間の詳細なフィードバックを含むデータセットで訓練されており、ヒューマンジャッジメントとの相関が約77％で、FVDやISを上回ります。

  • UGVQ：AI生成コンテンツ用に設計されており、空間、時間、テキスト-ビデオの整合機能を組み合わせ、新しいベンチマークをLGVQデータセットで設定します。

  • VAMP：物理ベースと視覚的スコアリングを使用して視覚的外観と動きの妥当性を評価し、FVDやISを超えて時間的リアリズムの評価を改善します。