表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

同じ情報源を使うたびに理解を更新するSourceLearn、検索と記憶を補う

SourceLearn

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

SourceLearnの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Problem Illustration. I) Knowledge access retrieves task-relevant evidence from the source, but does not necessarily accumulate reusable source understanding across tasks, requiring the model to repeatedly reconstruct how evidence should be interpreted or combined. II) Our goal is source learning : progressively developing reusable source understanding through continued study and use, while retaining direct access to the authoritative source.

出典:SourceLearn / arXiv ↗

概要

  • 情報源の構造や解釈、使い方を持続的なソースモデルとして保持する。
  • 自己点検と課題経験で不足を見つけ、更新内容は権威ある原典から再構成する。
  • 5評価×3モデルの15設定中13で最高成績、Hybrid RAG比で最大22.6ポイント改善した。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、SourceLearnの仕組み

左から右へ読む
  1. 01継続利用する情報源
  2. 02理解の不足を特定
  3. 03原典から更新を再構成
  4. 04検索と理解を併用

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

SourceLearnは、同じ文書群やコード、APIを繰り返し使うエージェントが、その情報源の理解を少しずつ蓄える方式だ。検索で必要な箇所を見つけるだけでは、情報の構造や適用条件を毎回調べ直すことがある。

経験を記憶する仕組みも、過去の回答を残すだけでは原典の理解にならない。本研究は、何がどこに書かれ、どう解釈し、どんな課題へ適用するかを持続的に表すソースモデルを作り、継続利用で更新する。

手法

ソースモデルは情報源の再利用可能な理解を表す。自己主導の学習では、まだ十分に理解していない点を見つけ、原典を再訪する。課題主導の学習では、下流の質問や実行で分かった表現の穴と繰り返し必要な知識を、更新の手掛かりにする。

重要なのは、経験は何を見直すかを決める信号で、保存する更新自体は権威ある原典から再構成する点だ。例えばAPIの利用で条件の不足が判明したら、成功した呼び出しだけを覚えず仕様を読み直す。実行時は通常の検索証拠に、課題に応じて有効にしたソースモデルを加えて応答する。

新規性

反復利用を単なる反復検索として扱わず、情報源に固有の能力を育てる機会とする点が新しい。静的な索引や階層要約とは異なり、不足の発見に合わせて理解を更新する。

経験から何でも記憶する方式とも違い、持続的な知識の根拠を原典へ戻す。自己点検と下流課題からの信号を相補的に使い、情報の整理方法そのものを改善する。

従来手法との違い

比較対象は検索中心のHybrid RAG、持続的な情報表現を持つRAPTORとHippoRAG 2、経験から記憶を学ぶAWMである。同一設定では同じ言語モデルと埋め込みモデルを使い、AppWorldでは同じエージェント構成を使う。

課題実行時の検索証拠もHybrid RAGと同じにするため、検索結果が違う効果とソースモデルの効果を混同しにくい。ただしソースモデルの構築と更新には追加の処理があるため、性能と費用は別に測る必要がある。

実験結果

MultiDoc2Dial、NarrativeQA、SWE-QA、APIBench、AppWorldを3モデルで評価し、著者らは15設定中13で最高成績を報告する。GPT-5.6-LunaのAPIBenchではHybrid RAGの47.8%から70.4%へ22.6ポイント改善した。

同モデルのSWE-QAは56.9%から69.5%、AppWorldは72.0%から81.5%だった。一方、gpt-oss-120bのAppWorldは30.4%から27.4%へ下がり、全設定で改善したわけではない。案内課題とテスト課題は分離して評価する。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案は、社内の技術仕様を継続的に読む開発支援エージェントだ。仕様書、リポジトリ、反復する開発質問を入力し、関連箇所と蓄積した理解を使う回答を出力する。

以前に取り違えた適用条件や、複数文書にまたがる前提を不足として記録し、次の更新で原典を見直す。担当者は更新の根拠箇所を確認し、同じ仕様への問い合わせで調査をやり直す負担を減らせるか試す。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案では、変更が少ない1つの仕様群を選び、学習の案内に使う質問と未見の評価質問を分ける。検索だけの方式を基準に、同じ検索結果へソースモデルを足した場合を比較する。

回答精度、根拠の一致、仕様条件の取り違え、構築費用、更新時間を記録する。原典の修正後にも古い理解を使わないか調べ、経験からの更新に誤回答の内容が混ざらないことを点検する。

限界と課題

報告には改善しない設定もあり、エージェントや課題の種類で効果が異なる。質問応答には言語モデルによる評定も使うため、回答の正しさを一つの得点だけで断定しないことが必要だ。

編集上の確認事項は、原典の更新、矛盾する仕様、複数の権威ある情報源の優先順位である。持続的な理解を増やすほど保守も必要になり、誤ったソースモデルが繰り返し回答へ影響しない仕組みを確認したい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

From Knowledge Access to Source Learning: Developing Source-Specific Competence

Large language model (LLM) agents increasingly rely on persistent external sources to solve sequences of knowledge-intensive tasks. Existing methods improve how source content is accessed and organized, while agent-memory systems preserve reusable knowledge from prior interactions, but repeated use of the same source is still largely treated as repeated access rather than an opportunity to progressively improve understanding of that source. We study source learning: developing reusable source-specific competence over a persistent authoritative source. We represent this competence with a persistent source model that captures reusable understanding of the source, including how its knowledge is structured, interpreted, and applied. To construct and progressively refine such models, we propose SourceLearn, which combines two complementary learning mechanisms. Self-Directed Source Learning identifies what remains incompletely understood and adaptively revisits the source, while Task-Guided Source Learning uses downstream experience to reveal local representational gaps and recurring needs in how source knowledge should be organized. In both cases, learning signals determine what should be reconsidered, while persistent updates are reconstructed from the authoritative source. Across five benchmarks and three LLM backends, SourceLearn achieves the best performance in 13 of 15 settings, with gains of up to 22.6 points over Hybrid RAG and substantial overall improvements over static source representations and experience-based memory baselines.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-04