アーカイブ / VLM
ゲームだけで追加学習した視覚言語モデルは、画像付き推論問題でも成績を伸ばすか
Visual Game Learning (ViGaL)
Visual Game Learning (ViGaL)の原論文から掲載した図です。細部はクリックして拡大できます。
出典：Visual Game Learning (ViGaL) / arXiv ↗概要
- ViGaLは、Snakeと立体の回転判定を使い、規則に基づく報酬で視覚言語モデルを追加学習する。
- 著者らの表では、両ゲームで学習したモデルのMathVista testminiが68.0から71.9、MMMU検証セットが54.3から58.0になった。
- 設備の配置図への有効性は未検証であり、対象図面と担当者が確認した正答による比較が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Visual Game Learning (ViGaL)の仕組み
- 01盤面・回転画像
- 02推論と回答
- 03規則で報酬計算
- 04モデル更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像と文章を一緒に扱う視覚言語モデルでも、図中の位置を追い、手順を考えて答える課題の成績を伸ばすことは難しい。課題に合わせて数学などの学習データを集める方法では、その分野の問題を用意しなければならない。
著者らは、規則で行動の正誤を決められるゲームに着目した。ゲームでの判断を報酬として追加学習し、学習中に解答例を見せていない画像付き問題にも成績の変化が出るかを調べた。
手法
ViGaLは、画像と文章を扱うQwen2.5-VL-7B-Instructを視覚ゲームで追加学習する方法である。Snakeでは10×10の盤面画像と位置などの説明から、リンゴに近づく手と失敗につながる手を答える。Rotationでは同じ立体の回転前後の画像を見て、回転角が90度か180度かを選ぶ。
モデルは考え方と回答を指定形式で出し、正誤に応じて最大1、形式に応じて最大0.1の報酬を受ける。報酬を手がかりに回答の出し方を調整する強化学習には、RLOOという更新手法を用いた。著者らは各ゲームで3万6千件の学習例を生成し、この段階で数学の解答例は与えていない。
新規性
ViGaLの主張は、ゲームの規則で採点できる課題を使い、数学の解答例を追加学習に使わずに、画像付きの数学や多分野の問題で成績を伸ばした点にある。
SnakeとRotationは、移動の判断と立体の回転判定という異なる課題を与える。両ゲームを併用したモデルは、確認できた表の総合値で各ゲーム単独のモデルを上回ったが、すべての個別課題で最高値だったわけではない。
従来手法との違い
比較の基準は、ゲームによる追加学習前のQwen2.5-VL-7Bである。著者らは、同じ基盤モデルを数学などの課題データで追加学習した推論モデルとも比較した。
MathVista testminiでは、基準モデルが68.0、SnakeとRotationを併用したViGaLが71.9、数学データを用いたMM-Eureka-Qwen-7Bが73.0だった。したがって、この個別課題でViGaLが比較した専門モデルを上回ったとは言えない。
実験結果
著者らの表では、MathVista testminiの値は基準モデル68.0、両ゲームで学習したViGaLが71.9だった。MMMU検証セット900問では54.3と58.0、学習時に使っていない立体を用いたRotationの検証では角度予測の正解率が47.4％と71.9％だった。
未学習のAtariゲーム7種では、各ゲームを千ステップ動かした累積報酬の合計が基準モデル1253.0、ViGaLが2251.0と報告された。ただしBreakoutでは9.0から0.0へ下がり、Pongは両者とも−26.0だった。改善は課題ごとに異なり、数値は著者らが示した評価条件に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：設備の配置図を入力し、指定した地点から対象機器までの位置関係を短く答える補助を試す。出力には対象位置と、図上でたどった経路の説明を含め、担当者が確認してから使う。
必要なのは利用できる配置図、実際の質問、担当者が付けた正答ラベルである。ゲーム学習も試す場合は、盤面や回転画像、状態文、規則から決まる正解を別に用意する。専用センサーは想定せず、図面の記号に合わせて質問文と評価項目を調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の配置図と質問を集め、担当者が対象位置と経路の正答ラベルを付ける。追加学習前のモデルに同じ図と質問を与え、位置の正答率と経路の取り違え件数を基準値として記録する。
次に、Snakeの盤面・状態文・規則上の正解と、Rotationの画像対・回転角ラベルを用意してゲーム学習を試す。図面の記号に合わせた質問文の調整後、同じ図面問題で再測定する。新たなセンサーは使わず、正答率に加えて、答えを特定できない場合の保留の適切さも人が確認する。
限界と課題
著者らはゲーム、数学、空間、多分野の課題で評価している。一方、設備の配置図での正確さや、誤答が作業判断に及ぼす影響は、確認できた本文の範囲では評価されていない。一般的な視覚能力を扱う表は途中で切れており、その結果は判断できない。
編集上の検証事項は、細かな記号や文字の読み違い、図面が変わった場合の位置特定、根拠が足りない質問への対応である。業務での効果は、対象図面と担当者が確認した正答を使って測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Play to Generalize: Learning to Reason Through Game Play
Developing reasoning capabilities in multimodal large language models (MLLMs) remains challenging. Motivated by literature suggesting that gameplay promotes transferable reasoning skills, we propose a novel post-training method, Visual Game Learning (ViGaL), where MLLMs develop generalizable reasoning skills through playing arcade-like games. Specifically, we show that training a 7B-parameter MLLM via reinforcement learning (RL) on simple games like Snake significantly enhances the downstream performance on multimodal math benchmarks like MathVista, on multi-discipline questions like MMMU and on 3D spatial reasoning benchmarks like VSI-Bench, without seeing any worked solutions, equations, or diagrams during RL. Remarkably, our model outperforms specialist models post-trained on benchmark-oriented multimodal reasoning data, while preserving the model's performance on general visual benchmarks, a challenge where specialist models often fall short. Our findings suggest that multimodal reasoning can emerge from gameplay, pointing to a promising strategy of designing surrogate tasks for RL post-training.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01