表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

帳票の細部と動画の時刻を読み取るQwen2.5-VL

Qwen2.5-VL

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
著者の公式図・デモ

Qwen2.5-VLの原論文から掲載した図です。細部はクリックして拡大できます。

出典:Qwen2.5-VL / arXiv ↗

概要

  • Qwen2.5-VLは画像の大きさに応じて処理し、物体や項目の位置を元画像の座標で表す。
  • 動画には絶対時刻に沿った位置情報を与え、異なるフレーム間隔や長い動画を扱う設計である。
  • 著者らは文書・図の理解などで高い性能を主張するが、確認できた本文の範囲では比較得点を確認できない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Qwen2.5-VLの仕組み

左から右へ読む
  1. 01文書画像と質問
  2. 02画像を領域に分割
  3. 03画像と言葉を統合
  4. 04項目と位置を出力

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

請求書や図表を含む文書では、文字を読むだけでなく、どの欄に書かれた値かを判断する必要がある。動画では、何が起きたかに加えて、いつ起きたかも問われる。画像の解像度や動画のフレーム間隔が変わると、細部や時刻の扱いが難しくなる。

視覚言語モデルとは、画像や動画と文章を合わせて処理するモデルである。Qwen2.5-VLは、文書の構造、物体の位置、長い動画の出来事を一つの系列で扱うための改良を報告した。

手法

例えば請求書画像を入れると、画像を小さな領域に分けて特徴を取り出し、近接する領域の情報をまとめて文章を生成する部分へ渡す。質問で指定した項目を文字列として答え、位置を求める場合は元画像の座標で示せる。座標とは、画像の左上を基準に対象の場所を数値で表したものだ。

動画では場面を一定間隔だけでなく変化するフレーム間隔で取り込み、各場面に実際の時刻に沿う情報を付ける。これにより、モデルが場面の順序と経過時間を合わせて扱う設計である。学習には文字認識、文書、物体の位置、動画、画面操作などの例を用いる。

新規性

Qwen2.5-VLは画像の大きさに応じて処理する情報量を変え、物体の位置を元画像の座標で扱う。動画ではフレーム番号だけでなく絶対時刻に位置情報を合わせ、異なるフレーム間隔でも出来事の時刻を捉える設計にした。

画像を読む部分では、近い領域ごとに主に情報を結び付けるウィンドウ注意を使い、計算負担を抑える。著者らは文書解析、物体の位置特定、長い動画の理解を狙った改良として説明する。

従来手法との違い

従来のQwen2-VLでは、動画の時間方向の位置が入力フレームの順番に結び付いており、出来事の実際の時刻や再生速度を直接表しにくかった。Qwen2.5-VLは時刻に合わせた位置情報を与える。画像中の物体位置も、正規化した比率ではなく入力画像の実寸に基づく座標で表す。

文書処理について著者らは、文字認識、表、図などを別々に扱う一般的な方法と対比し、一つのモデルで文書要素をまとめて扱う設計を示す。ただし用途ごとの優劣は実データで確認が要る。

実験結果

著者らは3B、7B、72Bの三つの規模を提示し、文書・図の理解、物体の位置特定、長い動画、画面操作などを対象に性能を報告する。論文は72BモデルがGPT-4oやClaude 3.5 Sonnetに匹敵し、とくに文書と図の理解に強いと述べる。

確認できた本文の範囲では、その比較に対応する評価データ名、指標、得点の組は示されていないため、用途別の性能差を数値で判断できない。4.1兆トークンは学習量であり、抽出精度や動画理解の評価得点ではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:仕入先から届く請求書の確認を補助する。入力は請求書の画像と「請求先、日付、明細、合計を抽出する」という指示。出力は項目ごとの値、表の行、元画像で各項目がある位置とする。

担当者は抽出結果を会計システムの登録前に確認し、値と画像上の位置を照らし合わせる。合計と明細が合わない場合や、位置が特定できない場合は自動登録せず確認対象に回す。この用途は論文の文書解析能力を踏まえた編集上の案である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:レイアウト、言語、画質が異なる請求書を少数選び、項目の正しい値と画像上の場所を人が記録する。現行の文字認識と手入力の流れを基準に、Qwen2.5-VLの抽出値、表の行、位置を同じ画像で比べる。

項目別の完全一致率、位置の正しさ、確認に要する時間を測る。金額や日付の誤りは別に集計し、値が読めないときに空欄や確認依頼として扱えるかも調べる。

限界と課題

論文は多様な文書、動画、画面操作への能力を述べるが、確認できた本文の範囲では、請求書の各項目についての誤読率や長時間動画での時刻ずれを示す比較数値は確認できない。画像や動画の入力が長くなったときの実運用上の処理時間も、この範囲の数値からは決められない。

編集上の確認課題は、低画質、手書き、複雑な表、日本語の帳票でどの項目を誤るかである。座標を返せても値が正しいとは限らないため、位置と文字列の両方を別々に点検する。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Qwen2.5-VL Technical Report

We introduce Qwen2.5-VL, the latest flagship model of Qwen vision-language series, which demonstrates significant advancements in both foundational capabilities and innovative functionalities. Qwen2.5-VL achieves a major leap forward in understanding and interacting with the world through enhanced visual recognition, precise object localization, robust document parsing, and long-video comprehension. A standout feature of Qwen2.5-VL is its ability to localize objects using bounding boxes or points accurately. It provides robust structured data extraction from invoices, forms, and tables, as well as detailed analysis of charts, diagrams, and layouts. To handle complex inputs, Qwen2.5-VL introduces dynamic resolution processing and absolute time encoding, enabling it to process images of varying sizes and videos of extended durations (up to hours) with second-level event localization. This allows the model to natively perceive spatial scales and temporal dynamics without relying on traditional normalization techniques. By training a native dynamic-resolution Vision Transformer (ViT) from scratch and incorporating Window Attention, we reduce computational overhead while maintaining native resolution. As a result, Qwen2.5-VL excels not only in static image and document understanding but also as an interactive visual agent capable of reasoning, tool usage, and task execution in real-world scenarios such as operating computers and mobile devices. Qwen2.5-VL is available in three sizes, addressing diverse use cases from edge AI to high-performance computing. The flagship Qwen2.5-VL-72B model matches state-of-the-art models like GPT-4o and Claude 3.5 Sonnet, particularly excelling in document and diagram understanding. Additionally, Qwen2.5-VL maintains robust linguistic performance, preserving the core language competencies of the Qwen2.5 LLM.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-29