新着研究 / LLM
記憶への書き込み成功と質問への正答を分ける、局所更新と共有読出しの対照実験
Addressed Memory Writability
概要
- 固定GPT-2に追加した記憶で、行だけの更新と共有投影も含む更新を、保持制約の有無と組み合わせて比較する。
- 全条件が訓練した50文を再現したが、未訓練の質問形式では厳密一致がゼロで、文字列の出現率とは結果が異なった。
- 共有投影の更新は質問中の対象語出現と無関係な挙動変化を増やし、残差固定の制約は変化を抑えた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Addressed Memory Writabilityの仕組み
- 01合成事実と固定モデル
- 02更新範囲と制約を選択
- 03記憶を書き込み
- 04再現と質問と保持を検査
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLM内の記憶表で特定の行へ事実を書き込めても、別の聞き方で使えるとは限らない。入力語列から行を決める方式では、質問の言い換えが参照先や読み出し時の状態を変え、他の入力も同じ行を再利用するからである。
本研究は、書いた文の続きを出せること、新しい質問で事実を表せること、無関係な挙動を保つことを別々に測る。局所的なパラメータ変更を、局所的な意味の変更と同一視しない評価を目指す。
手法
固定したGPT-2へ新しい記憶モジュールを付け、入力語列から決まる行のベクトルを読み出す。取得したベクトルは共有のキー・値投影と文脈依存ゲートを通って本体へ加わる。実験は行だけを更新するか、共有投影も更新するかの二条件に、残差固定の制約あり・なしを掛けた四条件である。
残差固定は、参照用文章でのモジュールの寄与が書き込み前から変わらないよう罰則を付ける。例えば架空都市の設立年を一つの文で学ばせ、同じ文の続きを出す課題と、自然な質問で年を尋ねる課題を分ける。書いていない別の都市と一般文章でも、出力の混入や分布変化を調べる。
新規性
共通の初期モデル、事実集合、更新回数を保ち、記憶の行と共有読出し経路のどちらを動かすかを対照化した。書き込みが可能かという二択より、どの表現で何が成功したかを限定する設計が特徴となる。
保持もモジュール残差と最終出力分布を別に測る。内部寄与を固定する制約が、最終回答の正しさを直接保証するわけではない点を実験指標に反映している。
従来手法との違い
行だけの更新でも全訓練文を再現でき、共有投影の更新はその再現に必要ではなかった。一方、質問で対象語が含まれる率は投影更新で増え、一般文章の出力分布の変化も大きくなった。
残差制約は同じ更新範囲の中で変化を抑えるが、投影更新条件では対象語の出現率も低下した。ただし出現率は意味的な検索精度ではないため、これだけで正しい回答と保持の交換関係が証明されたとは言えない。
実験結果
50の合成事実を各条件2,500更新し、一つの初期値と事実集合で学習順を変えた三シードを比較する。全条件で訓練文の厳密一致は100%だが、自然質問の厳密一致と先頭一致は全実行でゼロだった。
質問中の対象文字列ヒットは行のみで平均5.3%、投影も更新して制約なしで28.7%、制約ありで22.0%。最終分布のKLは投影更新で0.009504から制約付き0.003930へ低下した。更新回数は同じでも計算量は揃っていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、社内用語や新しい製品情報をモデルの記憶へ追加する実験の受入検査に使う。入力は合成の製品・属性・値と一般文章、出力は学習文の再現率、言い換え質問の正答、別製品への混入、一般出力の変化である。
一つの書き込み成功例を導入根拠とせず、担当者が質問形式ごとの差を確認する工程を設ける。実データへ広げる前に、製品名だけを変えた対照でも対象値が無差別に出ないかを調べる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、書く対象と書かない対象を分け、まず小さな人工事実集合を固定する。学習に使った文、未使用の質問、答えを共有する別対象を用意し、行更新と共有経路更新を同じ出発点から比較する。
短答一致と文章内の語の出現を別々に集計し、保存した全文を人も確認する。保持用文章は制約に使う集合と評価集合を分け、計算時間とメモリも測る。複数の初期値と事実集合へ拡張してから実運用への適否を判断する。
限界と課題
三シードは初期モデルや事実を独立に変えた試験ではなく、同じ設定での最適化順の変動である。新規モジュールの結果を事前学習済み記憶へそのまま一般化できず、単一事実の質問から複数事実の推論も評価していない。
併記されたQwen実験の132対象は93件の新規先頭トークン昇格と39件の既存首位を含む。先頭の順位は完全回答の成功を意味しない。編集上も、短答形式の不一致と内容誤りを区別し、文字列の一致だけで知識取得を判定しないことが必要である。
出典
元のタイトル・要旨を確認する（英語）
Writability and the Pathway: A Controlled Study of Knowledge Injection into Addressed Memory
Addressed conditional memory provides a local surface for post-hoc knowledge injection, but a successful write need not transfer to a new question or preserve untargeted behavior. This study combines a controlled GPT-2 comparison with production-memory experiments on Qwen3.8-Flash-Next-FP8 and DeepSeek-V4.1-Flash. Newly initialized modules attached to frozen GPT-2 are tested in a 2 x 2 design: row-only versus row-plus-projection updates, each with or without fixed module-residual anchoring. All arms reproduce 50 trained completions in each of three sampling seeds. Natural-question target-string hits average 5.3% for both row-only arms, 28.7% for unanchored projection updates, and 22.0% with anchoring, while strict answer scores remain zero. Anchoring lowers measured drift; lexical hits do not establish entity-specific retrieval. In the archived Qwen experiments, gradient writes make the designated first answer token top-ranked for 132 independently reset targets, comprising 93 new promotions and 39 already top-ranked targets. A separate matched 24-target comparison gives 13 new promotions with Adam versus two with SPSA at equal iteration counts but unequal computational procedures. An 80-row case includes saved continuations and a replay record, while reformulations bound its scope. Six DeepSeek zero-order cases yield one new target-token promotion and one regression. These results support bounded writing feasibility and separate trained expression, question-form behavior, and preservation; first-token rankings do not establish complete-answer success or universal conditions for writable memory.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-16