アーカイブ / Computer Vision
事前学習した小型反復モデルを競技中に更新し、未知のARC図形課題を解く
Test-time Adaptation of Tiny Recursive Models
概要
- 公開の1,280課題で事前学習した小型反復モデルを、新課題の正解付き例で競技中に追加学習する。
- 著者は約12,500更新後、半非公開課題で正答率6.67％を報告した。
- 10課題だけを取り置いた実験は成績の推定に使いにくく、業務への応用には対象データでの検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Test-time Adaptation of Tiny Recursive Modelsの仕組み
- 01公開課題の正解例
- 02モデルを事前学習
- 03新課題の例で更新
- 04予測を多数決
- 05出力図
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、図形の入力と正解出力の例から規則を推定し、未知の図の出力を答えるARCという課題を扱う。使うのは、同じ計算を繰り返して答えを更新する小型反復モデルだ。
ARC Prizeでは競技中に使える計算資源と時間が限られる。著者が参照した従来の学習手順は、その枠内では完了しない。そこで、競技前に得たモデルを、新課題に付属する少数の正解付き例で更新できるかを調べた。
手法
まず公開ARC課題の入力図と正解出力図でTRMを事前学習する。新課題が来たら、その課題に付属する正解付き例だけでモデルを追加学習し、答えのない入力図の出力を予測する。例えば例の色付き升目に移動規則があれば、その対応を手掛かりに別の入力図の配置を答える。
競技提出では、最初の約4分の1の更新で課題ごとの埋め込みを学習し、その後はモデル全体を更新した。埋め込みとは課題とその変形例を表す学習可能な数値である。予測時には、反転や回転などで変形した課題から得る予測を多数決でまとめた。
新規性
著者の主張は、公開課題で事前学習した小型反復モデルを、競技中に初めて見る課題の例で追加学習し、計算時間の制限内で回答できるという点にある。モデルを最初から学習する手順を競技中に繰り返すものではない。
追加学習では、課題を表す数値だけを更新する方法や、少数の追加パラメータを更新するLoRAも比較した。著者は、モデル本体を更新する方法で高い成績を得たと報告している。
従来手法との違い
元のTiny Recursive Models（TRM）は、約700万のパラメータを持つモデルをARC課題の変形例で学習し、公開ARC AGI II評価集合で約7.8％を得た。著者によると、その学習手順に必要な計算量は競技中の上限を超える。
本研究は事前学習を競技前に済ませ、競技中は新課題の正解付き例だけで追加学習する。著者の事前学習モデルは公開集合でpass@2約10％、競技提出後は半非公開集合で正答率6.67％だった。集合と評価条件が異なるため、両者の数値を直接比較して追加学習の効果を測ることはできない。
実験結果
著者は公開の1,280課題で70万回超の最適化更新を行い、4基のH100 SXMを使った約48時間の事前学習後、120課題の公開ARC AGI II評価集合でpass@2約10％を報告した。pass@2は、各例に最大2つの出力図を提出できる条件での成績である。
競技中の計算枠は4基のL4で12時間。元のTRMに近いモデルを約12,500更新で追加学習した提出は、半非公開課題で正答率6.67％だったと著者は報告する。拡張データ版は4.25％、難しい課題に絞った版は1.27％だったが、著者は成績のばらつきがあり、差の原因を断定できないとしている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内で扱うデジタルな色付き格子図について、例示された変換を別の格子図に適用する候補を作る。入力は変換前後がそろった正解付きの格子図と、新たな変換前の図。出力は担当者が確認する変換後の候補図とする。
事前学習には別途、正解付きの格子図データが必要になる。対象業務の例を使って追加学習する前に、色の表現や格子の形式をそろえる。画像を読み取るセンサーは使わず、初期検証はデジタルの格子データに限定する。業務での正答率向上は未検証の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：業務のデジタル格子図から、変換前後を確認できる正解付きペアを集める。色と格子の表現をそろえ、事前学習用の正解付きデータ、追加学習に使う対象課題の例、評価用の未知の図を分ける。紙の画像を読むセンサーは使わない。
同じ事前学習モデルについて、対象課題の例で追加学習する場合としない場合を比べる。評価図の完成図との完全一致率、更新と予測にかかる時間、試行ごとの成績の幅を記録する。正解付き例が少ない課題も含め、担当者が候補図を確認する。
限界と課題
著者は、公開評価集合から10課題だけを取り置いた追加学習実験では、標本が小さく成績の推定に使いにくいと述べる。ARC AGI Iで事前学習したモデルを使う比較実験には、事前学習データとARC AGI IIの公開評価集合で6課題の重複がある。
著者は同じ事前学習モデルの再提出でも半非公開集合の成績が3.33％から6.67％まで動いたと報告する。編集上の検証事項は、業務の格子図でも規則を学べるか、正解例の数や追加学習の試行によって結果がどう変わるかである。
出典
元のタイトル・要旨を確認する（英語）
Test-time Adaptation of Tiny Recursive Models
Prior to the close of the 2025 ARC Prize competition, the leading open source approach - known as TRM, or Tiny Recursive Models - involved training a 7M parameter recursive neural network on augmented variants of ARC tasks. That approach scored approximately 7.8% on the public ARC AGI II evaluation set, but required a level of compute far in excess of what is allowed during the competition. This paper shows that, by starting from a tiny recursive model that has been pre-trained on public ARC tasks, one can efficiently fine-tune on competition tasks within the allowed compute limits. Specifically, a model was pre-trained on 1,280 public tasks for 700k+ optimizer steps over 48 hours on 4xH100 SXM GPUs to obtain a ~10% score on the public evaluation set. That model was then post-trained in just 12,500 gradient steps during the competition to reach a score of 6.67% on semi-private evaluation tasks. Notably, such post-training performance is achieved by full-fine tuning of the tiny model, not LoRA fine-tuning or fine-tuning of task embeddings alone.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01