新着研究 / AI Agent / VLM
過去の画像を読み直すVISTA、対話型ゲームで視覚推論を改善
VISTA
VISTAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: VISTA trajectories on ARC-AGI-3 (left) and GameWorld (right). The harness allows the agent to directly observe the visual states, reason in natural language, and inspect its lossless visual memory at the original level of detail when needed.
概要
- 過去の観察画像を元の形で保持し、推論中に検索して見直せる実行基盤を使う。
- ARC-AGI-3の公開25ゲームで、著者らは人間基準の行動効率スコア100を報告する。
- 同じモデルの最小構成と比べ、画像の選択的な観察と記憶の効果を評価した。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、VISTAの仕組み
- 01環境の観察画像
- 02元画像を記憶へ保存
- 03過去画像の取得と再観察
- 04次の推論・行動
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
VISTAは、画面を見て行動するマルチモーダルモデルに、過去の画像を読み直すための記憶と道具を与える。長いゲームや視覚パズルでは、最初に見た配置や操作後の変化を後から参照する必要がある。
画像を一度だけ内部表現や文章の要約に変えると、後で必要になる細かな情報が失われることがある。研究はモデル自体の変更だけでなく、観察をどの形で残し、必要時にどう見直せるかという実行基盤の設計を調べる。
手法
モデルは環境を視覚的に観察し、過去の観察を元の画像の形で保持する。ここでいう損失のない記憶は、観察の内容を要約だけに置き換えないという設計を指す。推論中に必要な画像を積極的に取得し、今見る視覚入力の組合せを整理できる。
例えば前の操作でどの図形が動いたかを確かめる際、現在画面と該当時点の観察を見直す。静止画像の課題でも、必要な領域を選んで詳しく観察する道具を利用する。モデルに全履歴の要約を一度渡して終わるのではなく、推論に合わせて視覚情報を取り直す循環を作る。
新規性
提案の中心は、汎用的な視覚モデルへ長い履歴を扱う実行基盤を付け、元の観察を能動的に呼び出せるようにした点だ。画像の内容を最初の一回で圧縮する構成より、後から細部を確認しやすい。
動く環境の記憶と、一枚の画像の選択的な観察を同じ方向の設計として扱う。モデルの学習能力だけでなく、その能力を引き出す観察の与え方を比較する研究である。
従来手法との違い
比較では同じ基盤モデルを用い、最小限の実行基盤や各ベンチマークの公式実装とVISTAを比べる。モデルの種類を変えた差だけでなく、記憶と観察道具を加える差を見ている。
人間との比較は各ベンチマークの指標に従う。行動数の少なさは処理時間や費用の小ささと同義ではないため、内部の再観察や推論に必要なコストは別に評価する必要がある。
実験結果
著者らはARC-AGI-3でClaude Opus 5.0の人間基準の行動効率を40.68から100.00へ改善し、公開25ゲームを初見の人間より57.4%少ない行動で完了したと報告する。
GameWorld、AI GameStore、BabyVisionでも同じモデルの比較相手を上回ったという。BabyVisionの評価対象は全388問ではなく、迷路20問と接続線19問で、正解率が41.0%から63.2%になった。対象範囲を限定して結果を読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:画面操作エージェントに、操作前後のスクリーンショットを再取得できる履歴を付ける。入力は画面と作業目標、出力は次の操作と、その判断で参照した観察時点とする。
例えば複数の設定画面を行き来する検証作業で、前の選択状態を再確認する用途が考えられる。ゲームでの行動効率を、そのまま業務ソフトの作業成功率と扱わず、対象画面の課題で試す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:同じモデルと画面課題で、現画面のみ、文章履歴、元画像の取得が可能な履歴を比較する。成功率、再操作数、画像取得数、総処理時間を測る。
途中で元の状態を参照しなければ解けない課題を入れ、単純な操作の上達と記憶の効果を分ける。参照画像が古い場合に現状と混同しないかを確認し、保存期間と画面内の情報の扱いも設計する。
限界と課題
著者らは基盤モデルの既存能力が成果の重要な要素だと述べる。使ったモデルは公開ベンチマークより後に登場しており、学習データとの重複を考慮して結果を読む必要がある。取得本文は途中までである。
編集上の確認点は、公開されていない課題での再現、長い履歴の保存費用、画像の取得遅延である。観察を元の形で残しても、モデルが必要な画像を正しく選び、読み取れることまで保証するわけではない。
出典
元のタイトル・要旨を確認する(英語)
VISTA: A Visual Harness for Reasoning in an Interactive World
We show that multimodal models possess strong reasoning abilities and that an appropriate harness can unlock their potential to solve tasks across diverse interactive environments. We introduce VISTA, a visual harness that gives a general-purpose multimodal model long-horizon vision. VISTA allows the model to directly perceive the environment through visual observations and maintains a lossless visual memory that preserves past observations in their original form. The model can actively retrieve these observations and reorganize its visual input as it reasons. On ARC-AGI-3, VISTA improves Claude Opus 5.0's Relative Human Action Efficiency score from 40.68 to a perfect 100.00, with the model completing all 25 public games using 57.4% fewer actions than first-time human participants. VISTA's simple design also allows it to extend naturally to diverse visual environments with minimal adaptation. Across three additional benchmarks covering a diverse range of visual games and puzzles, it substantially outperforms baselines using the same underlying model with minimal harnesses. Our results highlight VISTA's potential as a general-purpose visual harness for advancing multimodal agents in complex visual environments.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-03




