新着研究 / Generative AI / LLM
動画プロンプトの試行履歴を再利用ルールへ蒸留、TIDEが本番の繰返し生成を一回へ集約
TIDE
TIDEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Qualitative comparison of prompt optimization. Left: Ours and VPO on CogVideoX1.5. Right: Ours and Custom on Wan2.2.
概要
- 反復生成と映像評価から得た改善経験を、意味の軸ごとの書換えルールへまとめる。
- 完成後は元の指示に該当するルールを使い、一回のLLM呼出しと一回の動画生成で動く。
- 百プロンプトで作ったルールを固定して別の動画生成器へ移し、品質指標を比較した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TIDEの仕組み
- 01元の動画指示
- 02該当ルールを選択
- 03正負プロンプトを作成
- 04一回の動画生成
- 05出力動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文章から動画を作るモデルは、動作や配置をどれだけ具体的に書くかで出力が変わる。生成動画を見て指示を直す反復探索は品質を上げられるが、利用するたびに生成と視覚評価を繰り返すため時間と計算を要する。
TIDEは、その探索で学んだ書換え方を再利用できるルールへまとめる。毎回の動画生成を伴う改善から、指示を読む一回の書換えへ移すことで、本番の費用を減らしながら元の要求を保つことを狙う。
手法
準備段階では生成した動画を評価し、助言から修正版の指示を作り、候補を比較して次の指示を選ぶ。この履歴から意味の軸ごとの改善片を集め、対応するルールへ統合する。ここでSkillとはモデルの重みを変更する技能ではなく、書換えの方針、適用条件、ルールをまとめた再利用可能な記述である。
運用時には元の指示が条件を満たすルールと共通ルールだけを有効にし、望む内容の正プロンプトと避けたい崩れの負プロンプトを一つのLLM呼出しで生成する。例えば人物の動作が指定された場合、その軸のルールを使い、指示にない別の内容を無条件に加えることを避ける。
新規性
反復探索の最終的な良い指示だけを保存するのではなく、途中の改善経験を意味の軸に分けて再利用する。適用条件と担当する軸が明示されるため、どのルールが指示を変えたかを点検できる。
完成したルールを凍結して別の生成器へ移すことも焦点である。特定の動画モデルの重みを追加学習せず、テスト時の映像評価や繰返し探索を不要にする設計を取る。
従来手法との違い
比較は元の指示、反復型のVISTA、蒸留前の初期ルール、蒸留後のルールを含む。別の生成器では公式のプロンプト拡張や、その生成器用に設計・学習された方式も比べる。
同じLLMでルール書換えを行い、SANA-Video-2Bで一度作ったTIDEを別モデルでは更新せず使う。探索費用をなくしたという説明は完成後の利用についてであり、ルール作成時の反復生成は必要になる。
実験結果
要旨では百プロンプトを十四時間使ってルールを作ったとする。VBench2の九次元の平均は元指示75.72、VISTA78.37、初期ルール77.91、蒸留後78.60で、反復探索に近い成績だった。
別モデルのWan2.2では平均67.29で、表の公式拡張63.64などを上回った。一方で全次元が最良ではなく、画質や動的な程度などの個別値には差がある。平均の一致を、各指示で同じ映像が得られるという意味には読まない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内説明動画の素材生成で、過去に行った指示修正の履歴を意味の軸別に整理する。新しい短い指示から正負のプロンプトを一回で作り、動画モデルへ渡して担当者が出力を確認する。
人物動作や複数物体の関係など、業務で繰り返す要求をルール化する。元の依頼と書換え後の差分を残し、ルールが過剰な演出や指定外の物を加えていないかを確認する運用にする。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の代表指示で反復改善の履歴を集め、ルール化した後は未見の指示で評価する。元指示、初期ルール、蒸留ルール、反復探索を同じ生成条件で比較する。
要求の一致、画質、物体関係、動作の自然さを別に測り、LLM呼出し数と生成回数も数える。別の生成器へ移す場合はルールを固定し、品質が維持されるかと、負プロンプトの解釈の違いを確かめる。
限界と課題
蒸留に使う百指示と生成器の探索経験に依存するため、特殊な撮影条件や未知の要求へ同じ効果が出るとは限らない。指標の平均改善と、元の指示への忠実さも別に点検が要る。
編集上の確認点は、改善片に含まれる過剰指定、ルール間の衝突、負プロンプトを扱わない生成器での使い方である。一回生成で誤りを直す再試行が不要になるわけではなく、出力確認を含む実際の工程時間を測りたい。
出典
元のタイトル・要旨を確認する（英語）
TIDE: Trajectory-Informed Skill Distillation for Efficient Text-to-Video Prompt Optimization
Text-to-video (T2V) models are highly sensitive to prompt specificity, while iterative prompt optimization typically improves generation quality only through repeated video generation and vision-language model evaluation at inference time. We propose TIDE, a framework that distills this costly search process into an interpretable and reusable prompt-rewriting Skill. TIDE formulates prompt rewriting as a set of source-conditioned rule modules, each targeting a distinct semantic dimension. Once distilled, the frozen Skill activates the relevant rules and generates both positive and negative prompts in a single LLM call, followed by only one T2V generation, without test-time visual search or backbone fine-tuning. Evolved using only 100 prompts over 14 hours, TIDE achieves prompt-optimization performance comparable to computationally expensive search-based methods. Moreover, when transferred to previously unseen video-generation models, TIDE outperforms existing approaches specifically designed or trained for those models. Code is available at https://github.com/xiningin/TIDE_T2V.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-14