アーカイブ / LLM / RAG
質問と目標難度から英文の読み物を生成する：Web検索を加えた手法の評価
RAG-Augmented Reading Content Generation
RAG-Augmented Reading Content Generationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Obtained average relevance and groundedness for different prompt techniques with and without using the RAG module of the system.
概要
- 質問と目標FKGLを受け取り、Web検索で得た情報を使って英文の読み物を生成し、別のモデルで内容と難度を判定する。
- 著者らの30問の実験では、検索によって情報による裏付けの評価が26〜35ポイント改善した。
- 生成文のFKGLの整数部分が目標値と一致した割合は約10％で、難度の確認が課題として残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RAG-Augmented Reading Content Generationの仕組み
- 01質問と目標FKGL
- 02Web情報検索
- 03英文の生成
- 04内容と難度の判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
質問ごとに読者の水準に合う読み物を作るには、話題に沿った事実を集め、文章の難しさも調整する必要がある。大規模言語モデル（LLM）が文章を生成できても、質問への回答、事実による裏付け、指定した難度への適合は確認しなければならない。
著者らは、利用者が質問と目標難度を指定できる読み物生成システムを設計した。Webから得た情報を生成に使い、出力の関連性、情報による裏付け、読解難度を評価している。
手法
利用者は質問と目標FKGLを入力する。検索拡張生成（RAG）は、質問に関連するWeb情報を探し、生成モデルへの指示文に加える方法である。例えば「英国には豚の品種がいくつあるか」という質問なら、検索した情報と目標FKGLを渡して、その話題の英文の読み物を作る。
指示文には方法に応じて回答例か推論手順も加える。著者らは生成にLLaMA 4 Scout、LLaMA 3.1 8B Instant、Gemma2 9Bを試し、別のモデルであるGPT-4.1を判定に使った。判定では、質問との関連性、渡した情報による裏付け、生成文のFKGLと目標値の関係を調べる。
新規性
著者らは、質問と目標難度の入力、Web情報の検索、読み物の生成、別の言語モデルによる判定を四つのモジュールとして接続した。検索結果を生成時に渡し、文章が質問に答えているか、渡した情報に支えられているかを評価する。
難度には、英文の文の長さと単語の音節数から米国の学年相当を推定するFKGLを使う。質問への適合、情報による裏付け、目標難度とのずれを同じ実験で調べた点が提案の要点である。
従来手法との違い
主な比較対象は、同じ質問についてWeb検索を使わずに読み物を生成する条件である。著者らは三つの生成モデルと三つの指示方法で検索の有無を比べ、検索を使うと質問との関連性と、与えた情報による裏付けが改善したと報告する。
指示方法は、回答例なしのゼロショット、質問と回答の例を添えるフューショット、推論手順を示すCoTである。検索後は指示方法間とモデル間の成績差が縮まったという。この比較は選んだ30問と判定方法の範囲に限られる。
実験結果
著者らはNatural Questionsから30問を選び、各問に2〜12の目標FKGLを割り当てた。三つの生成モデルと三つの指示方法で検索の有無を比較し、GPT-4.1で質問との関連性と、渡した情報による裏付けを判定した。
著者らの報告では、検索により両指標が各条件で改善し、情報による裏付けの改善幅は26〜35ポイントだった。検索を使った難度評価では、生成文のFKGLの整数部分が目標値と一致するE1は約10％、整数部分が目標値の上下2以内に入るE3は約半数だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の読解研修で、受講者の関心に沿う短い読み物の草案を作る。担当者が「英国には豚の品種がいくつあるか」などの質問と目標FKGLを入力し、公開Web情報を検索して英文を生成する。出力は英文、参照した情報、難度と内容の判定結果とする。
この試案では追加学習用データやセンサーは用意せず、質問ごとに担当者が目標FKGLをラベルとして指定する。研修向けの題材へ適応する際は、検索先を選び、担当者が原情報との一致と受講者にとっての語句の難しさを確認してから配布する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：担当者が英語の質問と目標FKGLの組を少数用意し、目標値を評価用ラベルとして記録する。追加学習用データとセンサーを使わない構成で始め、検索したWeb情報、生成文、判定結果を保存する。対象分野に合わせる際は検索先と質問を選び直す。
同じ質問、生成モデル、指示方法で検索ありと検索なしを比べる。FKGLの整数部分と目標値の差、質問への回答漏れ、参照情報で支えられない記述を測り、人も確認する。判定モデルの評価だけで採用を決めず、研修担当者が難しさと事実関係を点検する。
限界と課題
著者らは、最も厳しいFKGL判定で目標の学年値に合う割合が約10％だったと報告する。FKGLは文の長さや単語の音節数に左右され、検索結果に必要な複数音節の専門語が含まれると値が上がり得るとも述べる。運用費用の主因として、Web検索と生成・判定の複数回のモデル呼び出しを挙げている。
編集上の検証事項は、検索先の信頼性、モデルの判定と人の判断の一致、30問を超える題材での成績である。FKGLは英語向けの指標なので、日本語の読み物へ転用する場合は別の難度評価が必要かも確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Combining Retrieval-Augmented Text Generation with LLMs for Reading Content Recommendations
This work presents the design, implementation, and evaluation of a system for generating personalized reading content using Large Language Models (LLMs) combined with Retrieval-Augmented Generation (RAG). The proposed architecture consists of four modules: Input, RAG, Generation, and Judging and enables users to specify both a question and a target reading content complexity. RAG is employed to retrieve relevant information from the Internet, enriching and grounding the content produced by three modern LLMs: Meta LLaMA 4 Scout, LLaMA 3.1 8B Instant, and Google Gemma2 9B. Reading materials are generated using three prompting strategies (Chain-of-Thought, zero-shot, and few-shot), and the LLM-as-a-Judge module automatically evaluates answer quality and alignment with the desired readability level. Experimental results show that RAG consistently improves system performance across all models and prompting techniques, increasing relevance and particularly groundedness by up to 26-35 percentage points. Overall, the findings demonstrate that the RAG-augmented architecture effectively produces reading content tailored to user queries and desired textual complexity.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01