アーカイブ / LLM
「答えだけ」で推論精度はどう変わるか――短答指示への二つの対処法
Short-Path Prompting
Short-Path Promptingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The vulnerability of LLM under short-path prompting and how our approach solve this.
概要
- 著者らは、短答指示によって調査対象の推論課題の成績が下がり、選択式問題では正答位置による揺れが生じたと報告した。
- 対処法は、システム欄の指示で段階的な回答を促すIGと、規則で選んだ回答を用いて追加学習するRFFTの二つである。
- 表3のQwenのGSM8K正答率は、短答指示のみ41.69％、IG 95.38％、RFFT 95.22％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Short-Path Promptingの仕組み
- 01問題と短答指示
- 02候補回答を生成
- 03規則で選別
- 04追加学習
- 05手順付きの回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMは、算数や論理問題に対して途中の手順を示しながら答えることがある。一方、利用者は「最後の答えだけ」と頼む場合がある。著者らは、このような依頼を短答指示と呼び、複数の手順が必要な問題で正答率にどう影響するかを調べた。
短い回答で計算を誤ると、利用者はどの段階で間違えたか確かめにくい。論文は短答指示の下で、解法の段数や選択肢の位置によって回答がどう変わるかを分析し、二つの対処法を評価している。
手法
一つ目のIGは、対話のシステム欄に上位の指示を置く方法である。例えば算数問題に「答えだけ」と添えられても、簡単な返答では正しく答えられない旨を説明し、手順を追って解くよう促す。著者らは、途中の推論を示す回答と短答指示の競合を、この指示で調整する。
二つ目のRFFTは、規則で選んだ回答を使う追加学習である。推論問題に短答指示を付け、IGを使って候補回答を複数作り、同じモデルに謝罪の表現、答えに至る手順、論理のつながりを判定させる。条件を満たす回答で学習し、回答時にはIGのシステム指示を外す。学習には短答指示のない問題も加える。
新規性
著者らは、「最後の答えだけ」といった短答指示を回答形式の指定として扱うだけでなく、途中の推論を伴う回答との競合として分析した。書き換えた算数問題を使い、必要な解法の段数と選択肢の位置による成績の変化も調べている。
そのうえで、システム欄の指示で段階的な回答を促す方法と、条件を満たす回答を選んで追加学習する方法を提示した。後者は、回答時にシステム欄の補助指示を使わずに対応することを狙う。
従来手法との違い
比較した入力条件は、問題だけを与えるRaw、段階的に考えるよう促すCoT、短答指示を加えるSPPである。著者らは、書き換えたGSM8KではRawとCoTの成績が近く、SPPで大きく低下したと報告する。
対処法の比較では、システム欄に指示を置くIGと、選別した回答で追加学習するRFFTを評価した。表3では両者ともSPPのみの場合を上回るが、IGとRFFTのどちらが高いかはモデルと課題によって異なる。
実験結果
著者らはLlama-3.3-70B-InstructとQwen-2.5-72B-Instructを、GSM8K、MATH、BBHの選択式課題（BBHM）、MMLUのSTEM課題（MMLUS）で評価した。表3のGSM8KでQwenの正答率は、SPPのみ41.69％、IG 95.38％、RFFT 95.22％だった。
同じ表のBBHMでは、Qwenの正答率は順に67.20％、82.90％、85.49％だった。別の分析では、数値と文脈を書き換えたGSM8K-newを選択式にし、選択肢を全24通りに並べ替えた。著者らは短答指示下で正答位置による成績の揺れと、選択肢Bへの偏りを報告している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：文字データとして受け取る請求書明細の合計額照合に使う。入力は数量、単価、税額の記載と「答えだけ」という依頼、出力は計算手順、合計額、照合結果とし、担当者が差額の箇所を確認する流れを想定する。
IGを試す段階では追加学習用データを使わず、過去の明細と人が確定した合計額を評価用の正解ラベルにする。専用センサーは想定せず、明細の入力形式と指示文を業務に合わせて調整する。請求書での有効性は論文の実験結果からは確定できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まずIGを小規模に試す。文字データ化済みの請求書明細から、通常例と例外を含む例を集め、人が確定した合計額と計算手順を評価用ラベルにする。専用センサーと追加学習用データは使わず、明細の入力形式とシステム欄の指示を調整する。
同じ明細を短答指示のみ、問題のみ、IG付きで処理し、合計額の正答率、手順と明細の整合性、回答の長さを比べる。RFFTも試す場合は、別途、推論問題と回答候補を学習用に用意し、規則による選別結果と正解ラベルを人が確認する。
限界と課題
著者らが明記する制約は、短答指示下の詳しい分析で小学校水準の算数問題GSM8Kを代表例に選んだことと、追加学習に用いる短答表現を網羅するのは難しいことである。他の課題も評価しているが、実務文書の結果は示されていない。
編集上の検証事項は、曖昧な明細や税の例外処理でも合計額と途中計算が正しいか、選択肢の順序で回答が変わらないかである。また、両手法は短い答えを求める依頼より手順の提示を優先するため、利用者が必要とする表示の長さも確認したい。
出典
元のタイトル・要旨を確認する（英語）
Short-Path Prompting in LLMs: Analyzing Reasoning Instability and Solutions for Robust Performance
Recent years have witnessed significant progress in large language models' (LLMs) reasoning, which is largely due to the chain-of-thought (CoT) approaches, allowing models to generate intermediate reasoning steps before reaching the final answer. Building on these advances, state-of-the-art LLMs are instruction-tuned to provide long and detailed CoT pathways when responding to reasoning-related questions. However, human beings are naturally cognitive misers and will prompt language models to give rather short responses, thus raising a significant conflict with CoT reasoning. In this paper, we delve into how LLMs' reasoning performance changes when users provide short-path prompts. The results and analysis reveal that language models can reason effectively and robustly without explicit CoT prompts, while under short-path prompting, LLMs' reasoning ability drops significantly and becomes unstable, even on grade-school problems. To address this issue, we propose two approaches: an instruction-guided approach and a fine-tuning approach, both designed to effectively manage the conflict. Experimental results show that both methods achieve high accuracy, providing insights into the trade-off between instruction adherence and reasoning accuracy in current models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01