新着研究 / Generative AI
動画の看板文字を正しく置き換え、動きと周囲を保てるか測るViTeX-Bench
ViTeX-Bench / ViTeX-Edit-14B
ViTeX-Bench / ViTeX-Edit-14Bの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of ViTeX-Bench. Paired training examples from ViTeX-Dataset (shown on top) illustrate the high visual fidelity of the paired data across diverse text-motion conditions. In ViTeX-Bench, each task instance provides a source video V V , a text-region mask M M , and a source-target string pair ( s src , s tgt ) (s_{\mathrm{src}},s_{\mathrm{tgt}}) (shown on the left). Representative baseline outputs (in the middle) exhibit distinct failure modes, while ViTeX-Bench (on the right) scores each edit along three axes (text correctness, visual quality, and edit locality) with a total of 13 metrics.
概要
- 文字の正確さ、映像と時間の品質、編集範囲の局所性を三軸で評価する。
- 387本の実動画から230本を学習用、157本を固定の評価用にする。
- 参照エディタは文字精度0.688を達成するが、文字、安定性、場面維持の両立には課題が残る。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ViTeX-Bench / ViTeX-Edit-14Bの仕組み
- 01元動画と文字指示
- 02文字領域の編集
- 03編集後の動画
- 04三軸の品質評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
動画内の文字編集は、看板、ホワイトボード、商品ラベルなどの文字だけを変更する処理である。単に新しい文字を描けばよいのではなく、元のカメラや物体の動き、周囲の映像を保つ必要がある。
静止画像では正しく見えても、時間が進むと文字が変形したり周囲が変わったりする場合がある。一般的な動画品質の指標だけでは、指定文字が全編で正しいかを十分に測れない。
手法
ViTeX-Benchは、文字領域のマスクと編集指示を付けた720pの実動画387本を収録する。230本は確認済みの工程生成ペアを持つ学習用で、157本は固定した評価用である。マスクはどの部分を書き換えるかを示す。
評価は文字の正確さ、映像と時間方向の品質、編集が指定範囲に収まるかを三軸の13指標で測る。各軸の主指標を置き、ある軸を改善すると別の軸が悪化する関係も比較する。参照モデルViTeX-Edit-14Bは動きへ対応した文字動画の条件を用い、学習用のペアで追加学習する。
新規性
文字が正しく表示されることと、時間的に安定すること、周囲を変えないことを分けて評価する点が中心である。全体の映像が自然でも文字が違えば、文字編集として成功ではない。
実動画のペアと固定評価分割を用意し、三軸のトレードオフを同じ基盤で測る。参照エディタも提供し、評価だけでなく改善の出発点を作る。
従来手法との違い
一般的な動画編集の評価は、指定文字が時間を通して正しいかへ直接対応しないと著者らは説明する。本評価は文字認識による確認や人の評価を使って指標の意味を点検する。
四つの編集系列に属する八つのベースラインを比べる。単一の総合得点だけではなく、文字の正確さを優先して周囲が変わる場合など、軸間の差を読むことが重要になる。
実験結果
著者らは八方式で、文字精度、時間安定性、場面維持の同時達成が難しいと報告する。ViTeX-Edit-14Bの文字精度CharAccは0.688で、評価した動画向けエディタの中では平均が最も高かった。
未加工の出力の比較では、文字領域のWarpも最も低かったとされる。文字精度0.688は全編集が完全成功した割合とは異なる。文字認識の校正、人の評価、注釈への感度分析も指標解釈のために行われた。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、製品紹介映像のラベルを別言語へ差し替える制作補助が考えられる。元動画、対象文字の領域、置換文を入力し、出力を担当者が時間方向に確認する。
静止画の一枚だけで確認せず、カメラ移動や遮蔽の前後でも文字が同じかを見る。背景や製品形状が変わっていないかも点検し、確認済みの候補だけを制作工程へ渡す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、短い動画に少数の文字置換を行い、元映像と出力を同じ時刻で並べて確認する。固定カメラ、動く対象、部分的な遮蔽を分けて評価する。
フレームごとの文字一致、時間方向の揺れ、領域外の変化、修正に要した時間を測る。映像が自然という主観だけで合否を決めず、指定文が保持されるかを独立に確認する。
限界と課題
著者らの比較でも三軸の両立には難しさが残る。最良の平均文字精度でも、誤字や一時的な文字崩れがなくなることを意味しない。
編集上は、日本語の長文、小さい文字、強い反射、遮蔽への対応を確認したい。データセットに近い条件の成績と制作物の完成度を分け、実際に使う動画全体を目視で点検する必要がある。
出典
元のタイトル・要旨を確認する(英語)
ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing
Recent video generation is increasingly realistic and controllable, yet video editing remains less developed, particularly for precise local edits that must preserve the original scene dynamics. Video scene text editing replaces text on scene surfaces, such as storefront signs, whiteboards, and product labels, while preserving the surrounding content, motion, and camera dynamics. Although scene text editing is well studied for images, video scene text editing that achieves high visual quality, temporal consistency, and edit locality remains underexplored. Existing resources offer limited paired real-video data, and general video-editing metrics do not directly measure whether the requested text remains correct over time. We introduce ViTeX-Bench, a benchmark suite comprising ViTeX-Dataset and a three-axis evaluation protocol. The dataset contains 387 real-world 720p videos with text-region masks and editing instructions: 230 provide reviewed, pipeline-generated paired edits for training, and 157 form a frozen evaluation split. The protocol evaluates text correctness, visual and temporal quality, and edit locality through 13 metrics, with one primary metric per axis and a Pareto comparison of their trade-offs. OCR calibration, human evaluation, and annotation-sensitivity analyses support the interpretation of these scores. Across eight baselines from four editing families, accurate text, temporal stability, and scene preservation remain difficult to achieve together. We also release ViTeX-Edit-14B, an open-source reference editor fine-tuned on the paired training split with motion-aligned glyph-video conditioning. It achieves CharAcc 0.688, the highest mean among the evaluated video-native editors, and the lowest comparable text-crop Warp among raw editor outputs. ViTeX-Bench provides a reproducible foundation for studying these trade-offs in video scene text editing.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-01




