アーカイブ / Generative AI
長い生成動画の崩れを抑える、参照履歴のトークン選別
TokenTrim
TokenTrimの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Text-to-video results before and after applying TokenTrim on Rolling Forcing [ 18 ] and Self Forcing [ 19 ] .
概要
- TokenTrimは、連続する場面群の潜在表現を比べ、異常判定時に差の大きい位置を参照履歴から除く。
- 著者らのVBench評価では、Final ScoreがRolling Forcingで75.12％から79.67％、Self Forcingで75.93％から81.84％になった。
- 再生成は各場面群につき最大1回。実用途では場面転換や大きな動きへの反応を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TokenTrimの仕組み
- 01文章指示と前の場面群
- 02候補場面群を生成
- 03潜在差分を判定
- 04履歴選別と再生成
- 05採用した動画
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TokenTrimは、長い動画を短い場面群に分けて順に作る際、前に生成した内容のどこを次の手掛かりとして残すかを決める。前の場面に小さな乱れがあると、後続の生成で繰り返し参照され、人物や物の形、色が徐々に変わり得る。
この蓄積は「時間的ドリフト」と呼ばれる。著者らは、乱れた情報が生成時の参照履歴を通じて伝わることに着目し、履歴に入れる情報を選ぶ方法を提案した。
手法
TokenTrimは、前の場面群と新しく作った候補場面群について、各フレームを画像の特徴を表す数値列「潜在表現」に変換する。場面群ごとにフレーム間の平均を取り、画像内の同じ位置に当たる小さな情報単位「トークン」の差を比べる。例えば被写体の一部に大きな差が出た場合、その位置は選別候補になる。
差が大きい上位の位置について平均を求め、過去に採用した場面群から計算した基準と比べる。初期の準備期間は統計を集め、選別しない。基準を超えた場合は、過去の情報を保存する「KVキャッシュ」から該当位置を除き、現在の場面群を最大1回再生成する。基準以下なら候補を採用する。
新規性
TokenTrimは、生成済み動画から次の場面群へ引き継ぐ情報を、生成時に位置単位で点検する。前後の場面群で潜在表現の差が大きいトークンを特定し、異常と判定した場合に履歴から除く。
モデルの重みや構造を変えず、潜在表現のまま判定と介入を行う点が提案の中心である。常に履歴を削るのではなく、採用済みの場面群から求めた基準を超えたときだけ再生成する。
従来手法との違い
Rolling ForcingとSelf Forcingは、先に生成した場面群を参照しながら動画を延ばす。TokenTrimを加えると、その参照履歴から変化の大きい位置を必要時に除く。Rolling Forcingでは直近の履歴だけを対象とし、初期フレーム由来の基準情報は除かない。
FlowMoとの比較条件にも違いがある。比較用のFlowMo設定では全場面群に適用する一方、TokenTrimとの組み合わせでは最初の場面群だけに適用する。表の差を履歴選別だけの効果とは解釈できない。
実験結果
著者らは、Wan2.1-1.3Bを基にするRolling ForcingとSelf Forcingで、30秒、毎秒16フレーム、832×480の動画を評価した。VBenchの総合集計値「Final Score」は、Rolling Forcingで75.12％から79.67％、Self Forcingで75.93％から81.84％になったと報告する。
同じ文章指示と生成設定で比較したという。著者らはまた、30秒動画128本の平均実行時間がRolling Forcing単体の1.08倍だったと報告する。確認できた本文の範囲では、個別の文章指示や評価対象の内訳は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。文章指示から製品紹介動画を作り、同じ製品の色と形が後半まで続くかを調べる。入力は比較用の文章指示と生成済み場面群、出力は動画と、履歴の選別・再生成が起きた記録とする。
追加の学習データ、正解ラベル、センサーは必須ではない。適用には、使う生成方式の潜在表現を位置ごとに比較し、参照履歴を選別して現在の場面群を再生成できるようにする必要がある。この用途での改善は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。同じ文章指示を使い、元のRolling ForcingとTokenTrimを加えた方式で同じ長さの動画を作る。必要な入力データは比較用の文章指示で、追加の学習データ、正解ラベル、センサーは用いない。潜在表現の比較とKVキャッシュの選別を生成手順に組み込む。
人が後半の色、形、背景の変化を記録し、同じVBench指標と生成時間も比べる。意図的な動きや場面転換を含む指示を用意し、選別した位置と再生成の有無を残す。結果はこの用途での適合性を判断する材料とする。
限界と課題
著者らは、異常判定後の再生成を各場面群につき最大1回とし、再生成後も基準を超える場合はその結果を採用すると明記している。したがって、検出した崩れが毎回解消する手順ではない。
編集上の検証事項は、意図的な場面転換や大きなカメラ移動を異常と判定しないか、選別によって必要な被写体情報を失わないかである。確認できた本文の範囲では、個別の文章指示や人手評価の勝率の詳細は確認できない。
出典
元のタイトル・要旨を確認する（英語）
TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation
Auto-regressive video generation enables long video synthesis by iteratively conditioning each new batch of frames on previously generated content. However, recent work has shown that such pipelines suffer from severe temporal drift, where errors accumulate and amplify over long horizons. We hypothesize that this drift does not primarily stem from insufficient model capacity, but rather from inference-time error propagation. Specifically, we contend that drift arises from the uncontrolled reuse of corrupted latent conditioning tokens during auto-regressive inference. To correct this accumulation of errors, we propose a simple, inference-time method that mitigates temporal drift by identifying and removing unstable latent tokens before they are reused for conditioning. For this purpose, we define unstable tokens as latent tokens whose representations deviate significantly from those of the previously generated batch, indicating potential corruption or semantic drift. By explicitly removing corrupted latent tokens from the auto-regressive context, rather than modifying entire spatial regions or model parameters, our method prevents unreliable latent information from influencing future generation steps. As a result, it significantly improves long-horizon temporal consistency without modifying the model architecture, training procedure, or leaving latent space.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01