アーカイブ / VLM / Computer Vision
文字画像をどこまで読み戻せるか――視覚トークンの認識限界を調べる
Vision Token Recognition Scaling Law
Vision Token Recognition Scaling Lawの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of the Block-wise Shuffling strategy. Text blocks are segmented, randomly sampled, and concatenated to construct randomized semantic text.
概要
- 著者らは、文字画像の読取誤りが文字数の増加に伴って安定期、不安定期、崩壊期へ移ると報告した。
- 画素位置をずらすと不安定期の高い誤りは大きく減ったが、崩壊期では高い誤りが残った。
- 提案モデルは視覚トークン当たりの文字数と局所的な文字密度を用いる。実文書への適用には別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Vision Token Recognition Scaling Lawの仕組み
- 01公開文書の文字列
- 02語順を崩して画像化
- 03解像度別に読取
- 04原文と出力を照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文字を画像に描いてモデルへ渡すと、画像は視覚トークンという、モデルが画像を処理するための情報のまとまりに変換される。トークン数を抑えると、一つのまとまりに多くの文字情報を載せることになる。
著者らが調べるのは、その状態で原文をどこまで正しく読み戻せるかだ。読取誤りの原因が、縮小された文字の見えにくさなのか、限られたトークン数で表せる情報量なのかを区別できれば、文字画像の作り方を検討しやすい。
手法
著者らはProject Gutenbergの公開文書から小説、法律、経済、医学、新聞、書簡の文章を集めた。文章を短い塊に分けて順序を入れ替え、前後の文脈から語を推測しにくい文字画像を作る。文字数、文字の大きさ、行間、字間を変え、画像の縦横比も一定範囲に収めた。
画像を視覚と言語を扱うモデルに渡し、出力と原文の違いを編集距離で測る。編集距離は、文字の挿入・削除・置換で一方の文字列を他方へ直すのに必要な操作量を表す。さらに、文字数を視覚トークン数で割った負荷と、画像を区切る小領域に入る行数で表す密度から、読取が崩れる確率をモデル化する。
新規性
著者らは、画像内の文字数を増やしたときの読取結果を、誤りが少ない安定期、同程度の文字数でも誤りが揺れる不安定期、誤りが大きくなる崩壊期に整理した。
さらに、視覚トークン当たりの文字数と局所的な文字密度を組み合わせ、崩壊に移る確率を表すモデルを提案した。画素位置の変更で回復する誤りと、変更しても残る誤りを実験で分けている。
従来手法との違い
既存の文書評価について著者らは、選んだ圧縮率で最終的な読取精度を測るだけでは、文字の見えにくさと視覚トークンの情報容量を切り分けにくいと指摘する。本研究は文字だけの画像を作り、文字数と配置を変えて調べた。
主な対象はDeepSeek-OCRである。InternVL3.5-8BとQwen2.5-VL-8Bへの適用では、DeepSeek-OCRで得た密度と負荷の係数を固定し、解像度ごとの基準値だけを推定し直した。
実験結果
著者らはDeepSeek-OCRを入力解像度512、640、1024、1280で評価し、文字数の増加に伴う三つの段階を報告した。小説の誤りが大きい標本を２画素刻みでずらす実験では、不安定期のほぼ全標本で誤りが大きく減り、崩壊期では高い誤りが残った。
小説から安定期と崩壊期の各150標本を選び、文字の見かけの大きさをそろえても差が残ることを確認した。４解像度と48種類の配置による192条件でモデルを当てはめ、不安定期の文字数の幅を約2.2倍と算出した。別の二モデルでも三段階を報告するが、モデル別の詳細数値は本文にない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の文字中心の保存文書を検索用テキストに変える際、文字の密集したページを分割する候補として抽出する。入力は文書画像、出力は認識テキストと人が確認するページの一覧とする。検索精度の改善は、この研究では示されていない。
適用には対象文書の画像、正解の転記文を付けた標本、文字数を調べる手順が必要である。追加センサーは想定しない。まず対象文書で読取誤りと密度の関係を測り、その結果に応じて分割基準を調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象文書から文字中心のページ画像を集め、正解の転記文を付ける。必要なラベルはその正解文字列で、追加センサーは使わない。文書の種類や配置ごとに標本を分け、固定した解像度でページ全体を読む方法を基準にする。
次に、密度が高いページを分割して読み、基準との差を文字の挿入・削除・置換量、読めないページの割合、視覚トークン数、処理時間で測る。分割位置と解像度は一部の標本で調整し、残した標本で再測定する。日本語や実際のスキャン画像で使えるかは、この検証結果から判断する。
限界と課題
著者らの評価対象は、文字だけを描画した画像の再構成である。表や図を含む実文書の理解や、検索の正答率を測った結果ではない。別モデルへの適用結果の詳細は付録に置かれており、確認できた本文の範囲ではモデル別の数値比較はできない。
編集上の検証事項は、日本語やスキャン画像でも同じ変化が現れるか、画素位置の調整が有効か、ページ分割に要する処理量が読取精度に見合うかである。また、実運用では入力時に正解の文字数が分からないため、分割候補を選ぶ方法を別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
How Much Information Can a Vision Token Hold? A Scaling Law for Recognition Limits in VLMs
Recent vision-centric approaches have made significant strides in long-context modeling. Represented by DeepSeek-OCR, these models encode rendered text into continuous vision tokens, achieving high compression rates without sacrificing recognition precision. However, viewing the vision encoder as a lossy channel with finite representational capacity raises a fundamental question: what is the information upper bound of visual tokens? To investigate this limit, we conduct controlled stress tests by progressively increasing the information quantity (character count) within an image. We observe a distinct phase-transition phenomenon characterized by three regimes: a near-perfect Stable Phase, an Instability Phase marked by increased error variance, and a total Collapse Phase. We analyze the mechanical origins of these transitions and identify key factors. Furthermore, we formulate a probabilistic scaling law that unifies average vision token load and visual density into a latent difficulty metric. Extensive experiments across various Vision-Language Models demonstrate the universality of this scaling law, providing critical empirical guidance for optimizing the efficiency-accuracy trade-off in visual context compression.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01