アーカイブ / LLM
架空の人物関係で学んだ多段階推論は、実際の質問応答に移るか
Learning from Synthetic Data Improves Multi-hop Reasoning
Learning from Synthetic Data Improves Multi-hop Reasoningの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Synthetic-to-real transfer by learning knowledge composition. We RL fine-tune LLMs on rule-generated synthetic datasets (left). Despite containing no real-world knowledge, training on these datasets teaches models to compose knowledge (center). This fundamental skill of chaining information across multiple steps transfers to real-world multi-hop reasoning benchmarks (right).
概要
- 架空の人物関係などから質問と正解を規則で作り、回答の正誤を報酬にして言語モデルを強化学習する。
- 著者らは実世界の多段階質問応答5種で改善を報告した。ただし、教師あり微調整の効果について本文の説明と表の数値に食い違いがある。
- 社内規程への利用は未検証。導入時には回答の一致度に加え、根拠の正しさと回答形式だけによる改善を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Learning from Synthetic Data Improves Multi-hop Reasoningの仕組み
- 01架空記事と質問
- 02モデルが回答
- 03正解と照合
- 04モデルを更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
多段階推論は、複数の情報を順につないで答える処理だ。例えば、趣味から人物を特定し、その友人を見つけ、さらに友人の親族を調べる。一つの記述だけでは答えに届かない質問応答で必要になる。
回答の正誤を報酬にする強化学習には、正解を確かめられる問題が大量に要る。著者らは、人手による正解付けの費用、言語モデルによる問題生成の誤りと費用、判定用モデルの遅さや不正確さを課題に挙げる。
手法
著者らは、架空の人物の属性や友人・親族関係を規則で作り、記事、質問、正解を生成する。例えば「バードウォッチングが趣味の人の友人の甥は誰か」と尋ね、モデルに架空世界の記事を渡す。関係をたどった正解が規則から分かるため、実在の人物の知識は要らない。
モデルの最終回答を正解と比べ、その得点で強化学習する。強化学習とは、回答への報酬を手掛かりに出力の傾向を更新する方法だ。複数の正解があり得るPhantomWikiでは回答集合の一致度を表すF1を報酬とし、計算・家族関係・論理問題では完全一致で採点する。
新規性
著者らが報告する進展は、実在の知識を含まない規則生成データで言語モデルを強化学習すると、実世界の多段階質問応答でも成績が上がる点にある。質問と正解を同じ規則から作るため、回答を自動で採点できる。
学習に使っていない架空世界や、学習時より複雑な問題でも改善が見られた。著者らは、個々の事実の暗記より、情報を順につなぐ能力の獲得を示す結果と解釈している。
従来手法との違い
比較対象は、正解に至る解き方を見せる教師あり微調整と、正誤を報酬にする強化学習だ。GSM-∞で学習したQwen3-0.6Bでは、教師あり微調整後のHotpotQAのF1も学習前より高い。一方、Qwen3-1.7Bでは低かった。
回答を指定の形式で書くだけに報酬を与える比較もある。Qwen2.5-1.5B-Instructでは形式だけの学習でF1が上がり、成績向上には形式への適応も含まれる。著者らは、実世界の同領域のデータで直接強化学習した成績の方が高いとも記す。
実験結果
著者らはPhantomWiki、GSM-∞、家族関係、真実を述べる人と嘘をつく人の論理問題を、それぞれ1万件ずつ学習に使った。実世界の質問応答5種では、無関係な段落を含む条件で各テスト集合から500問を無作為に選び、合成データでの強化学習後に改善したと報告する。
GSM-∞で学習したQwen3-1.7BのHotpotQAのF1は、学習前0.5935、教師あり微調整後0.5761、強化学習後0.6664だった。一方、Qwen3-0.6Bでは順に0.3569、0.3995、0.4786で、教師あり微調整後も学習前を上回る。したがって、本文の「教師あり微調整では実世界の成績が改善しない」という説明は、この表の両モデルには当てはまらない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程をまたぐ質問への回答を試す。学習入力には、架空の部署・担当者・手続きを記した文書と、複数の記述をつなぐ質問を使う。関係と正解ラベルを規則で生成し、回答との照合結果でモデルを調整する。
利用時には実際の規程文書と質問を入力し、回答と参照箇所を出力させる。実文書への適応は仮説であり、規程固有の言い回しや例外を扱えるか確認が要る。必要な元データは規程文書、評価用の質問・正解・根拠箇所で、画像や音声のセンサー入力は想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず実際の規程文書から、二つ以上の記述をつなぐ質問、正解ラベル、根拠箇所を人手で用意し、評価用として保留する。学習には、架空の部署・手続きの文書、関係、質問、正解を規則で生成する。入力は文書と質問で、センサーは使わない。
同じ基礎モデルの学習前と合成データでの強化学習後を比較する。保留した実文書で回答の一致度、正しい根拠を示した割合、誤答の種類を測る。回答形式だけを学習させる条件も置き、形式への適応と、情報をつなぐ能力の変化を分けて確かめる。
限界と課題
著者らは、実世界の同領域のデータで直接強化学習する方が、合成データからの転移より成績が高いと記す。また、Qwen2.5-1.5B-Instructでは回答形式だけの学習でも改善しており、得点差をすべて情報をつなぐ能力の変化とは解釈できない。
編集上の検証事項：社内規程には更新、例外、文書間の矛盾があり得る。架空の関係を学んだモデルが、こうした条件で正しい根拠を選べるかは未確認だ。確認できた本文の範囲では、提案した社内文書用途の精度や誤回答率は報告されていない。
出典
元のタイトル・要旨を確認する（英語）
Learning from Synthetic Data Improves Multi-hop Reasoning
Reinforcement Learning (RL) has been shown to significantly boost reasoning capabilities of large language models (LLMs) in math, coding, and multi-hop reasoning tasks. However, RL fine-tuning requires abundant high-quality verifiable data, often sourced from human annotations, generated from frontier LLMs, or scored by LLM-based verifiers. All three have considerable limitations: human-annotated datasets are small and expensive to curate, LLM-generated data is hallucination-prone and costly, and LLM-based verifiers are inaccurate and slow. In this work, we investigate a cheaper alternative: RL fine-tuning on rule-generated synthetic data for multi-hop reasoning tasks. We discover that LLMs fine-tuned on synthetic data perform significantly better on popular real-world question-answering benchmarks, despite the synthetic data containing only fictional knowledge. On stratifying performance by question difficulty, we find that synthetic data teaches LLMs to compose knowledge -- a fundamental and generalizable reasoning skill. Our work highlights rule-generated synthetic reasoning data as a free and scalable resource to improve LLM reasoning capabilities.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01