新着研究 / LLM / AI Agent
根拠に沿う一文でも推論を誤らせるORA、事実から結論を結ぶ暗黙の関係を攻撃
One-Relation Attack
One-Relation Attackの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: From a sparse input perturbation to a targeted inferential qualification. Left: the one-pixel analogy concerns one implicit relation made explicit in an attacker-side argument graph; the intended intervention preserves the source and warranted answer. Right: ORA reconstructs the graph from the evidence, locates a critical warrant, generates qualifications, checks candidates, and selects one undercutter to release.
概要
- 元の根拠を保ちながら、事実と結論を結ぶ暗黙の前提を一文で揺さぶる。
- 十八モデルの二領域で、十候補から選ぶ攻撃が当初の正答を誤答へ反転させた。
- 出典への一致確認や複数モデルの討論だけでは、誤誘導を防げない条件を示した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、One-Relation Attackの仕組み
- 01質問と元の根拠
- 02暗黙の関係を特定
- 03関係を限定する一文
- 04エージェントの再判断
- 05正答の反転を測定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ORAは、エージェントが事実から結論へ進むときの暗黙の前提を、一つの文で揺さぶる攻撃を研究する。文そのものに出典の裏付けがあっても、文脈の中でその事実を過大に扱わせれば、全体の判断は誤る可能性がある。
外部文書の内容が正しいかを調べるだけでは、推論の適用条件まで確認できない。研究は明示的な不正指示や根拠の改ざんとは別に、根拠と結論をつなぐ関係を誤って弱める経路を検証している。
手法
質問に対する結論が、どの事実とどの暗黙の関係で支えられているかを再構成する。選んだ関係の適用範囲や十分さを限定する、出典に沿った一文を作り、元の根拠を保った状態で判断へ加える。
例えば一般的な例外の存在を強く意識させる文は、特定の事例で十分な根拠があるのに、その推論全体を疑わせる可能性がある。研究では候補を限った対象への問い合わせで選ぶ場合と、対象の反応を使わず移す場合を扱う。一つという予算は文の短さではなく、選んだ関係と最終的に渡す文の数を指す。
新規性
正しい内容を使って誤った印象を与える手法を、単一の推論関係への介入として形式化した点が主張の中心である。結論の反対を直接命令せず、結論へ進む足場を弱める。
そのため、単に文が出典に支持されるかという検査を通過しても、判断への影響は妥当とは限らない。情報の真偽と、その情報を今回の推論に使う適切さを別々に監査する必要があることを示している。
従来手法との違い
著者らは、狙った関係への介入と、内容を対応させた対照条件を比較している。元の事実を言い直すだけの文に対して、関係の適用を限定する操作がどの程度効くかを調べる。
効果は領域で異なり、生物医学では限定の寄与が強く、脆弱性検出では重要な事実へ注意を向けること自体も影響する。単に文を足した効果と、関係を標的にした効果を同一視せず、対照を置いた結果として読む必要がある。
実験結果
十八モデルを生物医学の推論と脆弱性検出で調べた。著者らによると十候補の最良を選ぶ条件で、当初正しかった回答を誤答へ変える率は、非公開モデル群で平均54.9%、公開重み群で80.0%だった。
これは全ての元質問に対する一般的な誤答率ではなく、正答からの反転を測る値である。対象への問い合わせなしの転移も示した。均衡させたストレス試験では複数エージェントの討論後にチーム誤答率が50.0%から59.5%へ上がり、討論だけで修復できない条件も報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書を根拠に判断するエージェントの監査で、事実の裏付けと推論の適用を分けて確認する。入力は質問、元文書、追加された説明、出力は結論を支える関係と、その説明が今回に当てはまるかの点検結果とする。
例えば障害原因を調べる場面で、一般的な例外の説明が個別の記録より優先されていないかを見る。文に出典があることだけを採用条件にせず、結論へ使う理由まで記録する開発上の利用案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：既に正答できる社内評価問題を固定し、出典に沿う補足を加えた際の結論変化を測る。追加なし、単なる言い換え、適用範囲を限定する補足を分け、正答維持率と誤りの理由を記録する。
候補探索の回数を明示し、一度だけ追加した場合と選別後の最良の場合を混ぜない。出典支持の検査を通った文でも、独立した担当者が推論上の妥当性を確認する。複数モデルの討論は補助手段として、誤答が増えないかも別に測る。
限界と課題
主要な率は十候補からの選別条件と二領域の課題に依存する。実際の業務で常に同じ確率で誤誘導されることや、全ての出典付き文が危険であることを示すものではない。
編集上の確認点は、適切な反証と不適切な誘導を区別できるかである。補足を全て無視すると正しい訂正まで失うため、判断を変えた根拠の妥当性を点検する必要がある。研究は弱点の実証であり、単一の検査でそれを解消できる防御保証は与えていない。
出典
元のタイトル・要旨を確認する（英語）
The One-Pixel of Reasoning: One Truthful Relation Is Enough to Mislead LLM Agents
Can one sentence manipulate an agent's belief by targeting a single implicit warrant linking evidence to a conclusion? In this paper, we introduce the one-relation attack (ORA), a novel cognitive attack on this inferential relation. ORA localizes a critical implicit warrant and performs a one-relation intervention using a single source-grounded sentence that qualifies this warrant and steers the agent toward an incorrect belief. Across eighteen models on biomedical inference and vulnerability detection, best-of-$10 attacks overturn initially correct answers at mean rates of 54.9% for proprietary and 80.0% for open-weight models. Attacks also transfer without victim feedback, and paired controls support the roles of targeting and qualification. Moreover, successful sentences can pass source-support checks and evade identification, and multi-agent debate raises team error from 50.0% to 59.5% in our balanced stress test. These findings establish implicit warrants as a cognitive attack surface for manipulating agents' beliefs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-20