表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

複数の物理現象を順序どおり描くプロンプトを学ぶHiPhy

HiPhy

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

HiPhyの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: HiPhy enables generation of physically plausible videos for scenes with multiple concurrent physical principles. Wan (left) collapses on multi-principle prompts, failing to generate coherent motion or dropping a physical principle entirely, such as missing boiling or steam motions. Instead of collapsing physical plausibility into a single score, HiPhy (right) aligns generation with a hierarchical reward that tracks the temporal sub-stages of each principle as an independent learning stream, jointly recovering all concurrent processes with correct temporal progression.

出典:HiPhy / arXiv ↗

概要

  • 凍結した動画生成モデルへ渡すプロンプトを、強化学習で改善する。
  • 物理現象ごとの段階と、映像全体の意味・一貫性を別の報酬で扱う。
  • MultiPhyBenchで物理と意味を同時に満たす割合52.7%を報告した。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、HiPhyの仕組み

左から右へ読む
  1. 01複数現象の文章指示
  2. 02学習済み方策で具体化
  3. 03凍結モデルで動画生成
  4. 04階層報酬で学習

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

HiPhyは、複数の物理現象を含む指示を、時間的な進行が伝わるプロンプトへ変える。動画生成では見た目が自然でも、水へ落ちた物体に波が起きない、蒸気が省略されるなど、現象の一部が欠けることがある。

一つの動画に複数の原理があると、一方だけを正しく描く問題が強まる。本研究は、各現象が存在することと、その内部の段階が順に進むことを分けて監督し、全体の意味と映像品質も保つ方法を作る。

手法

動画モデルは固定し、そこへ渡すプロンプトを出す推論方策をGRPOという強化学習方式で訓練する。各物理現象には時間順の階層木を用意する。例えばリンゴが水へ落ちる場面なら、落下、接触時の飛沫、沈下へ分け、飛沫を衝突と水冠形成へさらに分解する。

生成動画から視覚言語モデルで観測した段階の木を抽出し、参照木へ対応付ける。局所報酬は各現象の整合、欠落の少なさ、順序を評価する。全体報酬は指示の意味と映像の一貫性を支える。現象ごとの学習信号を分離・正規化して、一つの強い信号が別の現象の不足を覆い隠さないようにする。

新規性

物理らしさを一つの評点へ潰さず、各現象の細かい時間段階を独立に監督する点が中心だ。欠落と順序の省略を別に扱い、複合場面を構成的に学ぶ。

動画生成モデルの構造を変えず、プロンプト側の方策として組み込むことも特徴となる。5万件の訓練指示と、最大3現象を含む1,000件のMultiPhyBenchを作り、複数原理の条件を評価できるようにした。

従来手法との違い

比較にはWan2.1、PnP、VideoRepa、PhyT2V、WISAなどを含む。単一原理中心の方式は複合場面で現象を省きやすいと著者らは分析し、HiPhyの現象別報酬でその欠落を抑える。

全体報酬だけのHiPhyは意味の一致に強いが細かな物理に弱く、局所報酬だけでは全体の意味や動きが低下する。両者を組み合わせる構成比較により、単に報酬を増やすだけでなく役割の相補性を示している。

実験結果

著者らはGemini 3 Flashで物理常識と意味整合を評価した。MultiPhyBenchでHiPhyは物理76.7%、意味68.85%、両方52.7%となり、Wan2.1の両方27.0%を上回った。VideoPhy2では両方68.8%だった。

50人・30指示の人手評価では5段階尺度で物理3.89、意味4.13を報告する。単一H200での生成は約6分、基盤Wanに対する追加時間は約2.4秒だった。これらは評価器や条件に依存する成績で、厳密な物理計算の誤差指標ではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案は、製造工程の説明動画を作る前に、同時に起きる現象と順序を点検することだ。例えば加熱と流体移動を含む文章指示を入力し、具体化したプロンプトと生成動画を出力する。

担当者は対象の移動、液面の変化、蒸気の発生がそれぞれ描かれたかを確認する。教育用の説明候補を作る用途として、見た目が良いだけで現象が抜ける動画を減らせるか検証する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案では、1現象、2現象、3現象を含む同じ難度の指示集合を作る。通常プロンプトを基準に、HiPhyで具体化したプロンプトを同じ動画モデルへ渡す。

欠落率、段階の順序、元指示との一致、画質、追加時間を記録する。視覚言語モデルによる採点と人手点検を併用し、評価器に合う表現だけが増えていないか、実際の工程の説明として正しいか確かめる。

限界と課題

著者らは複数原理の同時生成がどの方式でも難しいと述べ、HiPhyも物理と意味を同時に満たす割合は100%ではない。階層の注釈と観測段階の抽出には言語・視覚言語モデルを使う。

編集上の確認事項は、参照する段階そのものの正しさ、評価器が見落とす物理破綻、対象工程への転用だ。物理常識の評価改善を、工学的なシミュレーションの精度や実装置の動作検証と同一視しない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

HiPhy: Hierarchical Alignment for Physically-Plausible Multi-Principle Video Generation

Video generation models have achieved remarkable visual fidelity and have strong potential to become general-purpose world simulators. Despite this progress, they still fail to generate videos which adhere to laws of physics. The problem becomes even more apparent in realistic settings where multiple physical principles must work together within the same video; for example, "a balloon floating upward while steam rises from a pot" requires buoyancy and fluid dynamics to unfold coherently and simultaneously. Yet existing methods largely ignore multi-principle interactions, focusing on a single principle per video. We propose HiPhy (Hierarchical Physical Alignment), a reinforcement learning framework that grounds video generation in physical laws through a dual-level objective: locally enforcing the temporal dynamics of individual physical principles, and globally ensuring the physical and semantic coherence of the entire scene. To support multi-principle generation, we construct a 50K-prompt dataset and introduce a prompt benchmark MultiPhyBench, spanning a diverse range of co-occurring physical events. Our experiments show that HiPhy significantly outperforms prior methods and baselines, improving physical commonsense and semantic alignment significantly across various benchmarks, with the largest gains on scenes involving multiple concurrent physical principles where competing methods degrade most sharply.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-04