アーカイブ / LLM
例を添えた指示で回答はどう変わるか：知識問題となぞなぞで異なる結果
ICL Optimized Fragility
ICL Optimized Fragilityの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: ”Scatter Plot - Time Response General Questions”.
概要
- 著者はGPT-OSS:20bのガイドなし条件と５種類のICL条件を、14問・各10回、計840回で比較した。
- 一般知識ではガイド付き条件の完全正解率を91～99％と報告する一方、条件を変えたなぞなぞの結果はガイドの種類で異なった。
- なぞなぞには件数と報告率の不一致がある。幾何１問で有意差が確認されなかったのは回答時間についてである。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ICL Optimized Fragilityの仕組み
- 01ガイドの設定
- 02スペイン語の設問
- 03モデルの回答
- 04採点と時間記録
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文脈内学習（ICL）は、質問とともに例を示し、モデルを追加学習せずに回答の仕方を誘導する方法である。実務では問答例を指示文に入れられる一方、その例が別の種類の質問への答え方にも影響するかは確認が要る。
本研究は、同じGPT-OSS:20bに異なるガイドを設定し、一般知識、条件を変えたなぞなぞ、幾何問題での正しさと回答時間を比べた。例にない条件を読んで答えを変えられるかが、運用上の焦点になる。
手法
著者はGPT-OSS:20bの指示を設定するModelfileだけを変え、ガイドなしと５種類のガイド付き条件を作った。ガイドは通常の問答例、途中の考え方を示す例、意味上つながらない例、冒頭に無関係な文章を置いた例、記号的な言語を使う例である。質問と回答はスペイン語で、ガイド例は試験問題の答えを直接与えない設計だった。
各条件に同じ14問を10回ずつ入力し、回答を完全正解・部分正解・不正解に分けて回答時間も記録した。例えば、狼、ヤギ、キャベツを運ぶ舟になぞなぞの通常とは異なる「安全な仕切りが３つある」という条件を加え、その条件を踏まえた答えかを調べる。分散分析は、条件間の平均回答時間の差を調べる統計手法である。
新規性
著者は、文脈内学習（ICL）の例が試験問題の答えを直接含まなくても、回答時間や正答数が変わるかを調べた。通常の問答例だけでなく、思考手順を示す例、意味上つながらない例、無関係な文章を添えた例、記号的な言語の例を同じモデルで比べている。
著者は、一般知識では正答が増え、条件を変えたなぞなぞでは多くの設定で正答が減る傾向を「最適化された脆さ」と呼ぶ。ただし、この実験だけでモデル内部の推論手順が変わったとは確定できない。
従来手法との違い
比較対象はガイドなしのGPT-OSS:20bである。著者の一般知識100回答ずつの集計では、完全正解は基準条件の88件に対し、ガイド付き５条件で91～99件だった。平均回答時間は基準条件が32.01秒、通常の問答例を使う条件が13.33秒と報告されている。
条件を変えたなぞなぞでは、思考手順を示す条件は30回答中13件が完全正解で、著者は43％と記す。ほかの条件にも正答数の減少が見られるが、基準条件などに件数と率の不一致があるため、差の大きさを確定して比較するには採点記録が必要である。
実験結果
著者は一般知識10問、条件を変えたなぞなぞ３問、数学オリンピックの幾何１問を、６条件で各10回、計840回試した。一般知識の完全正解率は基準条件88％、ガイド付きで91～99％と報告する。回答時間の分散分析では、一般知識となぞなぞで条件間に差があったとする（ともにp＜0.001）。
幾何１問の回答時間では有意差を確認できなかった（p＝0.2173）。これは正答率や複雑な数学問題全般への影響を検定した結果ではない。なぞなぞには正誤件数、設計上の回答数、報告率が一致しない条件があるため、その正答率を確定値として扱う前に元の採点記録を確認する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への問い合わせで、短い問答例を指示文に加える。入力は利用を認めた規程の該当箇所と社員の質問、出力は回答と根拠箇所とする。通常の質問に加え、問答例にはない例外条件を含む質問も扱う。
追加学習用のデータやセンサーは使わず、既存の回答例をガイド用データとして選び、指示文に組み込む。検証用には担当者が正答と根拠のラベルを付ける。この業務は論文で試されておらず、改善は仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：規程への問い合わせを１種類選び、同じモデルに同じ質問を与えて、問答例なしと問答例ありを比べる。追加学習用データやセンサーは使わず、利用を認めた規程と既存の回答例を用意する。回答例を選び、指示文に組み込む作業を適応手順とする。
通常の質問と例外条件を含む質問を集め、担当者が正答と根拠箇所のラベルを付ける。完全正解・部分正解・不正解の件数、根拠箇所の一致、回答時間を条件別に記録し、例外条件での変化も確認する。元モデルの事前学習データは確認できた本文の範囲では不明であり、その内容を前提にしない。
限界と課題
著者が明記する主な限界は、実験が単一のモデル構成に限られることだ。幾何１問についても、結論を出すには標本を増やす必要があると述べている。幾何で有意差がなかった検定対象は回答時間であり、正答率への影響がないという結論には使えない。
編集上の検証事項として、なぞなぞの基準条件は正誤件数の合計が20件なのに、設計上は30回答で、報告された正答率43％とも合わない。無関係な文章を添えた条件も件数の合計が24件で、報告率との整合を確認できない。創作問題を含む一般知識の採点基準も確かめたい。
出典
元のタイトル・要旨を確認する（英語）
ICL Optimized Fragility
ICL guides are known to improve task-specific performance, but their impact on cross-domain cognitive abilities remains unexplored. This study examines how ICL guides affect reasoning across different knowledge domains using six variants of the GPT-OSS:20b model: one baseline model and five ICL configurations (simple, chain-of-thought, random, appended text, and symbolic language). The models were subjected to 840 tests spanning general knowledge questions, logic riddles, and a mathematical olympiad problem. Statistical analysis (ANOVA) revealed significant behavioral modifications (p less than 0.001) across ICL variants, demonstrating a phenomenon termed "optimized fragility." ICL models achieved 91%-99% accuracy on general knowledge tasks while showing degraded performance on complex reasoning problems, with accuracy dropping to 10-43% on riddles compared to 43% for the baseline model. Notably, no significant differences emerged on the olympiad problem (p=0.2173), suggesting that complex mathematical reasoning remains unaffected by ICL optimization. These findings indicate that ICL guides create systematic trade-offs between efficiency and reasoning flexibility, with important implications for LLM deployment and AI safety.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01