新着研究 / LLM
アラビア語の文書から設問を作り、言語モデルの事実知識を測る
AraDynFact
AraDynFactの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Pipeline of AraDynFact. A) Documents are decomposed into paragraphs. B) From these paragraphs, atomic facts are extracted, and Named Entity Recognition (NER) is performed to identify the most important concepts and entities in the documents. C) Next, fact decontextualization is performed to make the facts self-contained. D) Using both the extracted facts and the original document, questions are then formulated. E) Finally, a grader evaluates the facts, questions, and answers to assess their correctness.
概要
- アラビア語文書から個別事実を抽出し、四種類の質問を動的に作る評価手法。
- 中東関連のWikipedia記事から作った13,064問で17モデルを評価した。
- 著者らは既存評価との正の順位相関を報告する一方、設問と自動採点の誤りを限界に挙げる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AraDynFactの仕組み
- 01アラビア語文書
- 02個別事実の抽出
- 03質問の生成
- 04回答の採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
アラビア語を扱う言語モデルの評価には翻訳や一般的な推論の問題が多く、地域や文化に結び付いた事実知識を十分に測りにくいと著者らは指摘する。固定の問題集は、対象文書が変わっても内容を更新しづらい。
AraDynFactは、評価したい文書を起点に新しい質問を作る。実務では、扱う資料に関する知識の不足を、質問の種類ごとに調べる手掛かりになる。
手法
文書を段落と文に分け、「原子的事実」を取り出す。原子的事実とは、一つずつ独立して確かめられる短い主張である。人名や地名を見つけ、前後の文がなくても意味が分かる形へ書き直してから、単純な質問、説明、理由・方法、比較の四種類の設問を作る。
評価対象モデルには元文書を見せず、生成した質問だけを渡す。たとえば文書にある人物と出来事の関係から質問を作り、回答に必要な事実が含まれるかを元の記述に照らす。採点用モデルは正解、誤り、回答回避の三つに分類し、種類と難度ごとの結果を出す。
新規性
AraDynFactは、アラビア語の知識源をその都度読み、独立して確かめられる事実から設問を作る評価手法である。固定された問題集に頼らず、対象の文書群に合わせて質問を生成する。
単一事実を問う設問だけでなく、説明、原因や方法、比較も作り、難しさを区分する。著者らは、アラビア語の事実知識を対象に、生成から採点までを一つの手順として提示した。
従来手法との違い
既存の静的な評価集合には、人手で作られ更新が止まるものがある。AraDynFactは対象文書から新たに質問を作るため、評価したい知識源に問題を合わせられる。一方、設問と採点の品質は自動処理に依存する。
著者らは、既存のアラビア語評価集合との順位相関も調べた。相関があることは評価傾向の整合性を示すが、作った全設問が正しいことや、学習データへの混入が完全に防げることを証明しない。
実験結果
著者らは2026年版のアラビア語Wikipediaから中東カテゴリに近い約6万記事を選び、約60万段落から約1,000万の事実を抽出した。約34万問を生成し、抽出と短すぎる質問の除外を経た13,064問で17モデルを評価した。
表の得点は多くの条件で0.20～0.45程度だった。著者らは、同一系統のモデルでは規模が大きいほど得点が上がり、既存のアラビア語評価集合とも正の順位相関があったと報告する。ただし、提示された本文には相関係数の具体値はない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：アラビア語の社内用語集や公開済みの案内文について、候補の言語モデルが記載事項をどれだけ答えられるかを調べる。入力は版を固定した文書群と評価対象モデルである。
文書から事実と質問を作り、回答を元の記述に照らして採点する。出力は文書の種類や質問形式ごとの正答率と、誤答した設問の一覧とする。公開前のモデル選定資料として使い、設問の妥当性は人が確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：版を固定したアラビア語文書の一部から質問を作り、質問・参照事実・採点理由を一組として保存する。人が標本を読み、質問が答えられる割合と採点の一致率を先に確かめる。
比較対象には、人手で作った少数の固定問題を置く。モデルごとの正答率だけでなく、設問の生成数、無効な設問の割合、評価を更新する手間を測る。文書の版を変えたときは、問題自体の変化も記録する。
限界と課題
著者らは、自動生成した質問が完全には答えられない場合や、採点用の言語モデルが正誤を取り違える場合を限界として挙げる。実験の知識源はアラビア語版Wikipediaの中東関連の記事で、方言や別分野の文書まで同じ傾向とは言えない。
編集上の確認点は、元文書の正確さ、質問に必要な事実が揃うか、採点者の誤判定率である。高難度の単純な事実質問は六問しかなく、その区分の得点を安定した比較値として使うべきではない。
出典
元のタイトル・要旨を確認する（英語）
AraDynFact: Dynamic Evaluation of Factual Knowledge in Arabic
As Large Language Models (LLMs) continue to scale both in size and capabilities, their proficiency in the Arabic Language has seen significant advancement. However, a critical gap remains: the extent of their factual knowledge and cultural sensitivity to the diverse Arabic-speaking world remains largely underexplored. Current evaluation metrics often focus on translation or generic reasoning, failing to capture the rich historical, social, and regional nuances inherent to Arabic culture. In addition, most benchmarks rely on heavy work, with human intervention in some steps, making the evaluation of knowledge coverage expensive and slow. To address this deficiency, we introduce AraDynFact, a novel dynamic evaluation framework designed to rigorously assess the factual Arabic knowledge embedded in LLMs. Unlike static benchmarks, AraDynFact employs a dynamic approach to extract factual information and generate rich and answerable questions in a fast and automatic way. We apply AraDynFact to Arabic Wikipedia and audit the performance of several state-of-the-art models, ranging from Arabic-centric specialized LLMs to high-resource general purpose LLMs. In addition we found a high degree of correlation with existing, hand-crafted Arabic-centric benchmarks, confirming the potential of our dynamic approach.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29