アーカイブ / AI Agent / VLM / Computer Vision
小窓で数字を探すAIは、見た断片を記憶して正しく読めるか
MNIST-PRO
MNIST-PROの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Visual exploration and state tracking in MNIST-PRO . The leftmost panel shows the original image (Digit 0), which remains hidden from the agent and can only be accessed through a glimpse window. To solve the task, the agent sequentially moves the glimpse window across the image, updating its beliefs as it gathers new partial observations. At Step 0, the agent begins with a randomly sampled glimpse, stores the observation in memory, and selects an action. It moves upward at Steps 0 and 2, then downward at Step 6. By Step 9, after tracing the digit’s boundaries and integrating the accumulated observations, the agent predicts the label ( Answer ‘0’ ).
概要
- MNIST-PROは、手書き数字を小窓から順に観測させ、探索と記憶を伴う識別課題に変える。
- 確認できた評価表の2モデルでは、単一数字・二桁とも、全画像を見せた条件より部分観測の正答率が低かった。
- 著者らは観測の統合、探索を止める判断、初期の誤認の修正を課題として報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MNIST-PROの仕組み
- 01隠れた数字画像
- 02小窓で観測
- 03記憶を更新し移動
- 04数字を予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MNIST-PROは、画像の一部を順に見ながら数字を読むAIエージェントの評価課題である。エージェントとは、観測に応じて次の行動を選ぶ仕組みを指す。全体が見えないときは、見る場所と、見た内容の残し方が判断に関わる。
一般的な画像識別では、必要な画像を最初から渡すことが多い。一方、複雑な操作課題では移動や物体操作の失敗も結果に混ざる。著者らは、平面上の数字を使って視覚情報の収集と記憶に焦点を当てた。
手法
元の画像は隠され、最初はランダムな位置にある小窓の中だけが見える。モデルは見えた線や位置を記憶に反映し、上下左右へ窓を動かすか、数字を予測して終了するかを選ぶ。例えば横並びの「58」では、両方の数字を探し、左右の順序を保って答える。
記憶の条件には、過去の観測画像と行動の履歴、観測を記した文章、位置と特徴を対応付ける格子地図がある。観測部分を元の座標に重ねた画像を渡す条件も設ける。「部分観測」は、その時点で画像全体を見られないことを指す。過去画像を見返せる数を制限すると、以前見た内容を別の形で残す必要がある。
新規性
MNIST-PROは、手書き数字の識別を、観測位置を自分で選ぶ連続的な課題に変えた評価枠組みである。平面画像を使うため、移動や物体操作の失敗を挟まず、探索、記憶、判断を調べられる。
見返せる過去画像の数、記憶の表し方、数字が一つか横並びの二つかを変えられる。著者らは、証拠を十分に集めたか、見た内容を統合できたか、統合した内容を正しく読めたかを分けて分析する。
従来手法との違い
基準となるのは、画像全体を一度に見せて数字を答える識別条件である。MNIST-PROでは一度に小窓の範囲しか見えず、モデルが窓を動かし、過去の観測を踏まえて予測する。
部分観測では、過去の画像と行動を渡す方式、観測を文章で記す方式、位置と特徴を格子状に記す方式などを比較する。観測部分を一枚に重ねる方式も分析し、著者らは、どの記憶表現も全モデルで一貫して最良にはならなかったと報告している。
実験結果
著者らは10モデルを、単一数字と横並びの二桁で評価した。部分観測は各課題100例で、小窓は64×64画素、移動幅は32画素、上限は単一数字36ステップ、二桁78ステップである。指標は画像全体を見せた条件の正答率、部分観測での正答率、予測までの平均ステップ数とした。
確認できた表では、Gemini-3.1-Pro-Previewの正答率は全画像で単一数字99.0％・二桁97.0％、部分観測で53.0％・18.0％だった。Gemini-3.6-Flashは同じ順に96.0％・96.0％、64.0％・28.0％だった。確認できた本文の範囲では表が途中までのため、他モデルの数値は示せない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造ラインで撮影した二桁の刻印を、限られた視野から順に読む検証に使う。入力はカメラで得た刻印画像と現在の観測位置、出力は二桁の予測と、判断までに見た位置の記録とする。
現場の刻印画像と正解ラベルを集め、刻印の大きさに合わせて窓の寸法と移動幅を調整する。撮影用カメラが必要で、画像から対象領域を切り出す手順も決める。手書き数字とは見え方が異なるため、精度向上ではなく探索と記憶の働きを調べる案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解ラベル付きの現場の刻印画像を集め、同じ画像について、全体を一度に見せる条件と小窓で順に見せる条件を比べる。入力用のカメラ画像から刻印領域を切り出し、文字の大きさに合わせて窓と移動幅を調整する。
追加の学習や調整を行う場合は、対象となる刻印画像と正解ラベルを別途用意する。予測文字列、観測位置、正答率、判断までのステップ数、見た領域の割合、早く止めた誤答の件数を記録する。記憶方式を比べるときは、同じ画像群と観測条件を使う。
限界と課題
著者らは、観測した断片を統合しにくいこと、数字の並びを見終える前に探索を止めること、後の証拠が初期の誤認と食い違っても判断を改めにくいことを課題として挙げる。観測回数を増やすだけでは成功を保証できないとも述べる。
編集上の検証事項は、手書き数字以外の文字や実際の撮影条件でも同じ傾向が出るかである。窓の寸法、移動幅、見返せる画像の数による差も用途ごとに確かめたい。確認できた本文の範囲では結果表が途中で切れており、全モデルの順位や記憶方式ごとの数値差は判断できない。
出典
元のタイトル・要旨を確認する（英語）
MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents
AI agents in partially observable environments need to coordinate active sensing with working memory to maintain an evolving perceptual state. However, existing benchmarks struggle to isolate this perceptual-state construction and interpretation capability because they introduce physical and control complexities. We address this with MNIST-PRO, a benchmark that isolates agentic perception by converting MNIST digit recognition into a sequential, glimpse-based search task with lookback constraints. We evaluate ten multimodal models across four memory representations, including raw visual history, textual states, structured metric grid maps, and a consolidated visual canvas. While models excel under full observability, partial observability exposes a clear performance gap. We identify three distinct bottlenecks. First, perceptual-state construction and interpretation present a challenge, as agents struggle to integrate fragmented glimpses. Second, agents often stop exploring before they see the full sequence. Third, models often fail to revise early, incorrect beliefs even when faced with subsequent contradictory evidence. These results show that simply acquiring visual evidence is not enough. Agents must also be able to build and update a reliable perceptual state.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01