アーカイブ / LLM
LLMは課題を追加すると書式指示を落とすか――３モデルで調べた遵守率と内容の正確さ
Prospective Memory Failures in Large Language Models
Prospective Memory Failures in Large Language Modelsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the experimental pipeline. A verifiable formatting constraint from IFEval is composed with a benchmark task of varying difficulty (TriviaQA, MMLU, GSM8K, or CNN/DailyMail) using either the natural embedding template or the salience-enhanced reminder template. The model’s response is then evaluated along two independent axes: (1) deterministic IFEval compliance checking (strict and loose) and (2) task-specific accuracy verification. This dual-evaluation design enables simultaneous measurement of prospective memory failure (compliance drop) and dual-task interference (accuracy drop).
概要
- 著者は３モデル、8,000件超の依頼で、課題を追加すると書式遵守率が下がると報告した。
- 書式指示を冒頭で強調し末尾に注意文を置いた条件では、表中の遵守率は90.0～100.0％だった。
- 複数の書式制約を重ねると同時遵守率が下がり、注意文の効果も条件によって異なった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Prospective Memory Failures in Large Language Modelsの仕組み
- 01書式指示と追加課題
- 02応答を生成
- 03書式と課題を採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMに内容の作成と書式指定を同時に頼むと、内容には答えても、末尾の定型句などを落とす場合がある。通知文や報告書の作成では、書式違反が後工程の確認や修正につながる。
本研究は、適切な時点で予定した行動を実行する「展望記憶」になぞらえ、この現象を調べる。別の課題を加えたとき、どの書式指示が守られにくくなるか、課題の正確さも変わるかが焦点である。
手法
著者は、書式指示をプログラムで判定できる評価集IFEvalから15種類を選び、雑学、選択式問題、算数、記事要約の課題と組み合わせた。例えば「指定の句で終える」という指示を含む依頼に算数問題を追加し、末尾の句と計算結果をそれぞれ確認する。
まず元の依頼だけを与え、次に課題を追加する。別条件では書式指示を抽出して冒頭で強調し、課題の後に注意文を置く。書式は専用のプログラムで合否を判定し、課題は正解との照合などで採点する。これにより、書式を守れても課題を誤る場合を分けて数えられる。
新規性
本研究は、書式指示を守る割合と、同時に解く課題の正確さを別々に測り、両者への影響を調べた。指示を後で実行する「展望記憶」という考え方を、LLMの振る舞いを整理する視点として使っている。
指示の種類、課題、提示方法、制約の数による違いも検証した。この結果は応答上の傾向を示すもので、モデル内部に人と同じ記憶過程があることを証明するものではない。
従来手法との違い
基準は、書式指示を含むIFEvalの元の依頼だけを与えた場合である。自然な追加条件では、その依頼に別の課題を続けて書き、元の書式指示の遵守率と比べた。内容の正確さには、書式指示を付けない課題単独の条件を基準とした。
別の提示方法では、書式指示を抽出して冒頭に明示し、課題の後にも注意文を置いた。指示の抽出、冒頭の強調、末尾の注意文が同時に変わるため、どの変更が効いたかは切り分けられない。
実験結果
著者はIFEvalの書式指示90件を固定し、TriviaQA、MMLU、GSM8K、CNN/DailyMailの課題を組み合わせ、３モデルで8,000件超の依頼を評価した。課題は３回の実行ごとに選び直した。書式遵守率は応答をそのまま判定する厳格判定などで測り、要約にはROUGE-L F1を用いた。
厳格判定では、例えばDeepSeek-V3.1の遵守率は元の依頼の89.3％から、算数問題を１問加えると78.5％になった。指示を強調した条件では、表に示された遵守率は90.0～100.0％だった。一方、複数制約の同時遵守率は、o4-miniで制約１件の99.0％から５件の47.5％に下がった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内の変更記録から、指定した定型句で終わる短い更新通知を作る。入力は担当者が確認した変更記録と書式指示、出力は通知文とし、配信前に定型句の有無と記録との整合を別々に確認する。
この案では追加学習用データやセンサーを使わず、元の変更記録を入力データにする。検証には、担当者が内容を照合した正解ラベルが必要だ。実務の語彙に合わせた指示文の調整も要るが、この用途で効果が出るかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。確認済みの変更記録を少数集め、定型句付きの通知を作る依頼を用意する。同じ記録について、通常の指示文と、冒頭で書式を強調して末尾に注意文を置く指示文を比べる。これは追加学習ではなく、提示方法の調整である。
追加学習用データとセンサーは使わない。入力となる元記録に加え、担当者が作る内容確認用の正解ラベルを用意する。定型句の一致率、記録に照らした内容の正確さ、両方を満たす割合を測り、指示文の調整後にも同じ条件で確かめる。
限界と課題
著者は、対象が３モデルと２つのクラウド提供元に限られ、書式指示は種類ごとに６件であると述べる。複数制約の実験は各条件10件の単一実行で、個別条件の結果を広く一般化するには慎重さが要る。
著者は、複数回のやり取りを試していないこと、課題の負荷を実測した計算量で区分していないことも限界とする。編集上の検証事項は、実務文書で内容の正確さと書式遵守が両立するか、指示を重ねたときに注意文が安定して効くかである。
出典
元のタイトル・要旨を確認する（英語）
Did You Forget What I Asked? Prospective Memory Failures in Large Language Models
Large language models often fail to satisfy formatting instructions when they must simultaneously perform demanding tasks. We study this behaviour through a prospective memory inspired lens from cognitive psychology, using a controlled paradigm that combines verifiable formatting constraints with benchmark tasks of increasing complexity. Across three model families and over 8,000 prompts, compliance drops by 2-21% under concurrent task load. Vulnerability is highly type-dependent: terminal constraints (requiring action at the response boundary) degrade most, with drops up to 50%, while avoidance constraints remain comparatively robust. A salience-enhanced format (explicit instruction framing plus a trailing reminder) recovers much of the lost compliance, restoring performance to 90-100% in many settings. Interference is bidirectional: formatting constraints can also reduce task accuracy, with one model's GSM8K accuracy dropping from 93% to 27%. In additional stacking experiments, joint compliance declines sharply as constraints accumulate. All results use deterministic programmatic checkers without an LLM-as-judge component on publicly available datasets.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01