表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

世界モデルは何を忘れるべきか、不変知識と更新すべき事実を分けて評価

Stratified Retention

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Stratified Retentionの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: (a) World-model knowledge stratified by invariance timescale τ \tau . Existing consolidation methods choose what to protect by importance to past performance, which is unrelated to τ \tau , whereas we argue protection (bar width) should increase with τ \tau . (b) Reporting invariant retention and revision latency jointly helps separate a model that has adapted correctly from one that is merely frozen. Standard forgetting metrics reward both high retention and slow revision, and are therefore maximized by the frozen model in the top-right quadrant.

出典:Stratified Retention / arXiv ↗

概要

  • 変化する環境を予測する世界モデルでは、過去に正しい知識を捨てることが必要な場合がある。
  • 物理などの不変知識と、物体の位置など更新すべき個別事実を時間尺度で分ける。
  • 不変知識の回帰試験と事実更新の遅延を集約せず併記するdifferential retentionを提案する。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Stratified Retentionの仕組み

左から右へ読む
  1. 01知識と環境変化
  2. 02不変性の時間尺度で分類
  3. 03継続適応の追跡
  4. 04保持と更新遅延の報告

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

この研究は、環境の変化に適応する世界モデルで、知識を保持することと古い事実を更新することの評価を整理する。世界モデルは周囲の状態や変化を予測するモデルで、予測対象そのものが時間とともに変わる。

通常の継続学習では、過去のデータへの性能低下を忘却として扱う。しかし移動した物体の以前の位置など、今は誤りになった事実を残すことも失敗である。変えるべき知識と維持すべき知識を一緒に測ると、適応の良し悪しを判断しにくい。

手法

知識を不変性の時間尺度に応じて層別する。物理や物体の永続性のように維持すべき知識と、個々の物体や環境状態について変化後に改めるべき事実を区別する。物体の永続性は、見えなくなっても存在が消えたとは限らないという基本的な理解である。

提案するdifferential retentionでは、適応の途中を通じて不変知識の回帰試験を行い、変更してはいけない知識が崩れていないかを調べる。同時に、環境が変化してから事実を更新するまでの遅延を測る。二つを一つの得点へ集約せず、保持と更新の両面を並べて報告する。

新規性

既存の忘却評価を世界モデルへそのまま移すことの問題を指摘し、何を保持するべきかを時間尺度で区別する点が中心である。古い知識の修正を、破滅的忘却と同じ扱いにしない。

提案は単一のモデル構造ではなく評価の考え方である。適応の前後の固定モデルだけを比較するのでなく、継続する更新の流れの中で不変性と更新速度を監視する構成を示す。

従来手法との違い

著者らは標準的な忘却指標では、古い知識を正しく修正したモデルと、必要な知識を失ったモデルを区別できないと論じる。その結果、環境に適応しない凍結モデルが最良と評価される場合がある。

また既存の物理推論ベンチマークは固定した時点のモデルを評価すると指摘する。提案では保持試験と更新遅延を別々に報告し、不変知識を守る一方で個別事実に追随する能力を評価対象に加える。

実験結果

確認できた記述の主眼は、継続する世界モデルの評価条件に関する問題提起と枠組みの提案である。具体的な学習方式の成功率や、特定のデータセットでの改善値はここから確定できない。

測る対象は適応中の不変知識の退行と、環境変化に対する修正の遅れである。この二つを独立して報告することで、保持の改善が更新を遅らせていないか、更新の速さが基本知識の破損を伴わないかを点検できる。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案として、変わる作業環境を記憶するロボットの評価を考える。入力は物体配置の変更を含む観測列、出力は配置についての予測と、不変知識の試験結果・配置更新の遅延である。

棚の位置などの事実を更新しつつ、遮蔽された物体の存在や基本的な運動理解を維持できるかを確認する。環境変更に追随する能力を、古い配置を覚え続ける能力と混同しない評価表を作る。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案では、環境変更の時点が分かる短い観測列を用意する。適応しないモデルを基準に、固定すべき問いと変更後に答えが変わる問いをあらかじめ分ける。

各更新段階で両方を出題し、不変知識の誤答数と、新事実へ切り替わるまでの時間や観測数を測る。二つを平均して単一順位を作らず、組み合わせを比較する。変更を元に戻した場合や観測が曖昧な場合も独立した条件として点検する。

限界と課題

この提案だけで何が不変かを自動的に決められるわけではない。知識の層別と、環境が実際に変わったことを判定できる評価条件が必要になる。個別の実装性能を示す数値とは区別して読む。

編集上の確認事項は、不変知識の定義、正解が変わった時刻の決め方、一時的な観測誤りの扱いである。状態変化と誤観測を区別できないまま更新を速めると、誤った修正も増えるため、更新の正しさを併せて確認したい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

What Should World Models Forget? Stratified Retention for Continual Adaptation

Continual learning treats degradation on previously seen data as evidence of failure, a convention inherited from settings with a stationary prediction target, where a correct label remains correct indefinitely. World models do not satisfy this condition. Their prediction target is the environment, which changes, so knowledge that was accurate when acquired may later become false, and discarding it is required behavior rather than a defect. Non-stationary ground truth is well studied in the concept drift literature and in the temporal factuality of language models, but has not been formulated for world models, which are distinctive in that they also encode knowledge that must never be revised. We argue that continual world models require retention stratified by invariance timescale, separating invariants such as physics and object permanence, which must never be revised, from instance-level facts that should be revised as soon as the environment changes. Standard forgetting metrics cannot distinguish a world model that has correctly revised outdated knowledge from one that has suffered catastrophic forgetting, and consequently rank a frozen model highest, while existing physical-reasoning benchmarks evaluate only frozen checkpoints. We propose differential retention, which reports invariant regression testing across the adaptation stream jointly with revision latency, without aggregation.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-06