アーカイブ / LLM
日付だけで公開数値を答えるAIを、評価前に調べる
NumLeak
NumLeakの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 7: Within- 25 bps 25\,\text{bps} recall rate per (model, factor), computed from each model’s main Variant-A sweep (single-seed-42, parsed-only denominator). Mkt-RF is the only column that recovers monthly values at rates meaningfully above chance, for every model. Haiku’s Mkt-RF cell ( 18 % 18\% here) is single-seed; the honest 3-seed pooled value is 12 % 12\% (see Tab. 1 , Sec. E ). Other factors stay at ≤ 15 % \leq 15\% for every cell.
概要
- NumLeakは、公開数値を日付と系列名だけで答えられるか調べ、関連系列や架空系列への応答も照合する。
- 著者らの40か月・3回の試行では、Mkt-RFの公表値との相関はOpus 4.7で0.99、Sonnet 4.6で0.97だった。
- 人工系列の追加学習は記憶が生じ得る経路を示したが、商用モデルの学習過程そのものは特定していない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、NumLeakの仕組み
- 01系列名と月
- 02モデルに照会
- 03数値か拒否を判定
- 04公表値と照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
NumLeakは、日付と系列名だけを尋ねたとき、大規模言語モデル（LLM）が過去の公開数値を返せるか調べる手法だ。金融指標などを使った評価では、正しい回答が未知のデータを分析する力によるものか、過去の値の記憶によるものかを区別する必要がある。
例えば日付だけから市場の見通しを点数にした場合、その点数と実際の収益が一致しても、モデルが過去の収益値を思い出していた可能性が残る。評価結果を解釈する前に、この経路を確かめることが重要になる。
手法
公開数値の系列名と月を、外部資料を添えずにモデルへ尋ねる。例えば「2020年3月のMkt-RF」を入力し、返答を数値または回答拒否として読み取る。Mkt-RFは市場の月次収益から無リスク資産の収益を引いた値で、読み取った数値を公表値と照らす。
照合では、値の動きの似かよりを示すピアソン相関、平均絶対誤差、真値から25ベーシスポイント以内の割合、値の正負の一致を調べる。1ベーシスポイントは0.01パーセントポイントである。数値を返した割合は別に記録し、関連する別系列や架空の系列にも同じ形式で尋ねて、応答の違いを確かめる。
新規性
NumLeakは、公開数値の記憶を回答の正しさだけで判断せず、同じ系列群での選択性、公開時期による変化、架空の系列への応答、数値回答と月同士の比較の差を組み合わせて調べる。
さらに、人工系列を見せる回数を制御した追加学習で診断結果を検証した。文章では正しい値を出せなくても、候補値の出やすさを比べると記憶の兆候が見える場合を示している。
従来手法との違い
著者らは、もっともらしい数値を返す振る舞いと、公表値に近い数値を返す振る舞いを区別する。Mkt-RFでは高い一致が見られた一方、同じ系列群のほかの5因子では、公表値から25ベーシスポイント以内に収まる割合はいずれも15％以下だった。
数値を答える能力は、2か月の値の大小を比べる能力とも一致しない。Sonnet 4.6のMkt-RFでは、単一試行の数値回答と公表値の相関が0.98でも、2か月の順位の正答率は52.5％だった。
実験結果
著者らは、Fama–Frenchの月次Mkt-RFについて40か月を3回ずつ照会した。数値として読めた回答をまとめたピアソン相関はOpus 4.7で0.99（120件）、Sonnet 4.6で0.97（117件）だった。公表値から25ベーシスポイント以内の割合は、それぞれ0.60、0.35である。
2025～2026年の直近14か月では、数値回答率がOpusで0.57、Sonnetで0.21に下がり、回答した月の相関は約0.99だった。別の実験で著者らは、人工の月次系列をQwen-2.5-1.5B-Instructに追加学習させた。候補値の出やすさによる1位正答率は、日付と値を見せない条件で0.10、各組を20回見せた条件で0.93だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：過去の市場データを使うLLM分析サービスで、評価結果を公開する前にNumLeak型の監査を行う。入力は評価対象の月、公開数値系列の名前、サービスの回答と公表値で、出力は月別の回答可否と系列別の一致度をまとめた表とする。
必要な元データは月と公表値の対応表で、公表値を照合用ラベルにする。センサーは使わない。サービスの質問形式に合わせて照会文と数値の読み取り方を調整し、一致が高い月の評価結果を担当者が再点検する想定だ。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：評価に使う公開系列について、月と公表値の表を元データとして用意し、公表値を照合用ラベルにする。センサーは不要。まず通常の評価用質問と回答を基準として保存し、系列名と月だけを与える質問、同種の別系列、架空の系列を追加する。
対象サービスの回答形式に合わせて照会文と数値抽出規則を調整する。数値回答率、ピアソン相関、平均絶対誤差、25ベーシスポイント以内の割合を系列ごとに確認し、通常の評価結果と併せて読む。直近の公表月も別に集計し、過去の月との回答率の違いを確かめる。
限界と課題
著者らは、商用モデルで観察した振る舞いから、そのモデルの学習中に数値を覚えた経路までは特定できないとしている。人工系列の追加学習は、同様の振る舞いが生じ得ることを示すが、商用モデルの学習過程を再現したものではない。
編集上の検証事項は、利用中のモデルと照会時期でも同じ傾向が出るか、回答が得られた月だけの相関で判断が偏らないかである。著者らの防御実験は非適応的な単発の攻撃文6種類に限られ、複数回の対話や攻撃文を変えながらの試行は検証していない。
出典
元のタイトル・要旨を確認する（英語）
NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models
Public numeric benchmarks appear in pretraining, so an evaluation that conditions on a date may be measuring memorized recall rather than out-of-sample skill. We introduce NumLeak, a measurement framework that combines API-boundary probes on production models with a white-box controlled validation on an open causal LM. Top-tier frontier LLMs recall the Fama-French market excess return at 3-seed pooled Pearson r=0.97-0.99 while staying within 0.15 within-25bps on the five sibling factors; comparable fidelity appears on U.S. unemployment, CPI inflation, and NOAA temperature. On a recent-release holdout, parse rate collapses to 21-57% but r stays at approximately 0.99 on months answered, the refuse-or-recall asymmetry a memorized channel predicts. The white-box experiment reproduces the dose-response, and logprob ranking detects memorization that open-ended generation misses, implying closed-API black-box probes understate the channel. A Sonnet "date to market-sentiment" regression that correlates with true Mkt-RF at r=0.74 collapses to r=0.02 once the model's own recall is residualized out. A one-line system-prompt defense blocks 99.8% of a non-adaptive single-turn suffix attack set at near-zero utility cost on conceptual and historical-narrative queries
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01