アーカイブ / LLM
年を変えると答えは変わるか：LLMの時間情報を調べる8つのテスト
A Study into Investigating Temporal Robustness of LLMs
概要
- 年付き質問に正答しても、時間表現を変えた質問に正答できるとは限らない。
- 著者らは8つの時間的テストを設計し、6つのLLMをゼロショットで評価した。
- 時間的逆転では、元の質問と逆向きの質問の双方に正答した割合が、元の質問の正答割合より47.4～67.7％相対的に低かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、A Study into Investigating Temporal Robustness of LLMsの仕組み
- 01時間付き質問
- 02時間表現を変換
- 03モデルが回答
- 04正解と照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデル（LLM）が年付きの質問に正答しても、その年を適切に扱ったとは限らない。年を別の表現にしたり、同じ事実の成立時期を尋ねたりすると、回答が崩れる場合がある。
歴史資料の検索や、時期によって内容が変わる情報の確認では、この違いが重要になる。著者らは時間情報への「頑健性」、つまり質問の時間表現が変わっても適切に答えられる性質を、複数のテストで測ろうとした。
手法
著者らは正解の分かる質問を変換し、追加の学習例を示さずに答えさせるゼロショット条件で6つのLLMを調べる。8つのテストは、相対的な年表現への変更、年の削除・移動・ずらし、質問を逆向きにする時間的逆転、時間を含む主張の真偽判定、出来事の日付推定と前後関係の判定である。
例えば「南部陽一郎が2008年に受けた賞は何か」を、賞と人物の関係が成立した時期を尋ねる質問に変える。元の問いと逆向きの問いをそれぞれの正解と照合し、両方に答えられるかを見る。正解が手元にない個別の質問については、一部の変換で得た回答同士の整合性を、確認の手掛かりとする。
新規性
著者らの提案は、時間を含む質問を自動変換するテスト群で、同じ事実を別の聞き方でも扱えるか調べる点にある。年の削除や移動に加え、人物と出来事の関係から成立時期を尋ね直す「時間的逆転」も含む。
正解が分かる質問でモデルを評価するほか、一部の変換は個々の質問にも適用し、回答の整合性を調べる構想を示す。整合していても正答とは限らないため、その結果だけで回答を確定する方法ではない。
従来手法との違い
基準は、変換前の時間付き質問に対する同じモデルの回答である。年を相対表現にする、年を外す、文頭へ移すなどの変更後に、正答が保たれるかを比べる。年をずらすテストでは、質問が指す時期自体が変わる。
著者らは従来研究との差として、時間に関する失敗の指摘に加え、自動的な質問変換と複数のテストを組み合わせた点を挙げる。比較の範囲は示された時間的質問応答の条件であり、一般的な質問応答全体の性能比較ではない。
実験結果
著者らは6つのLLMをゼロショットで評価した。時間表現の変換にはArchivalQAの3,000組、時間的逆転にはWikidataの1万例を用いた。表4では、元の質問と逆向きの質問の双方に正答した割合が、元の質問の正答割合より47.4～67.7％相対的に低い。
出来事の日付推定には精度別に各3,000件を用い、独自の日付照合指標で評価した。表5では、年単位から日単位にするとLlama 3.1は52.8から13.0、GPT 4は77.0から56.3へ低下する。著者らは質問の書き換えによる最大55％の相対的改善も報告するが、確認できた本文の範囲ではその条件と内訳を確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程の履歴を尋ねる窓口で、「2023年時点の申請期限はいつか」という回答を点検する。旧版を含む規程本文と施行期間を入力に、元の質問と年の位置を変えた質問を作り、回答と根拠となる版を担当者へ並べて示す。
必要なのは規程の原文、各版の施行日・失効日、時期ごとの正解ラベルである。追加センサーは使わず、社内の年表記や改定日の扱いに合わせて質問変換を調整する。回答の食い違いは人が確認する対象であり、正誤の自動判定結果とは扱わない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：施行日と失効日が分かる社内規程の旧版を集め、担当者が時期ごとの質問と正解ラベルを作る。モデルの追加学習は前提とせず、必要な原文を参照させる手順と、社内の日付表記に合う質問変換を用意する。追加センサーは不要である。
元の質問への回答を基準に、年の位置変更と時間的逆転を加えた場合の正答率、両方に正答した割合、回答の食い違い件数を記録する。年をずらす場合は移動先の正解も別に確定する。変換で意味が変わった例は人が除き、食い違いの提示が確認作業に役立つかを測る。
限界と課題
著者らは、出来事の日付を尋ねる際、指定した回答形式に従わないモデルがあり、既存の評価指標では正しい日付も判定しにくいため、日付照合指標を作ったと述べる。また、年を削ると質問が曖昧になり、元の正解以外も成立し得ると説明する。
編集上の検証事項は、変換後も意図した質問になっているか、年をずらした先の正解を確認できるか、回答の一致が誤答の一致ではないかである。最大55％の改善については、確認できた本文の範囲では適用条件を追えない。
出典
元のタイトル・要旨を確認する（英語）
A Study into Investigating Temporal Robustness of LLMs
Large Language Models (LLMs) encapsulate a surprising amount of factual world knowledge. However, their performance on temporal questions and historical knowledge is limited because they often cannot understand temporal scope and orientation or neglect the temporal aspect altogether. In this study, we aim to measure precisely how robust LLMs are for question answering based on their ability to process temporal information and perform tasks requiring temporal reasoning and temporal factual knowledge. Specifically, we design eight time-sensitive robustness tests for factual information to check the sensitivity of six popular LLMs in the zero-shot setting. Overall, we find LLMs lacking temporal robustness, especially to temporal reformulations and the use of different granularities of temporal references. We show how a selection of these eight tests can be used automatically to judge a model's temporal robustness for user questions on the fly. Finally, we apply the findings of this study to improve the temporal QA performance by up to 55 percent.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01