新着研究 / LLM
LLMの内部表現を操作して比喩表現を調整、分類と文章生成で介入の効果を検証
The Geometry of Metaphor
The Geometry of Metaphorの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Llama 8b identification task
概要
- 比喩と字義通りの文に対応する内部表現の方向・部分空間を探索する。
- 誤答だけを対象とした修正率は、モデルと介入法によって異なる。
- 生成でも比喩らしさを変えられるが、比喩から字義通りへ戻す介入は難しい。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、The Geometry of Metaphorの仕組み
- 01比喩と字義通りの文
- 02内部表現の記録
- 03方向と部分空間の探索
- 04介入後の出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
「温かい歓迎」の温かさは温度ではなく人の態度を表す。LLMがこうした比喩を分類できても、内部でどの情報を使い、出力の表現を変えるときにも同じ情報が働くかは別の問題である。
本研究は、出力の正誤だけを見るのではなく、モデル内部の数値表現へ介入して比喩の扱いを調べる。比喩かどうかを読み取れる場所と、その場所を操作して実際に答えが変わる場所を区別することが、仕組みの理解につながる。
手法
まず短く構造をそろえた文をモデルへ入力し、途中の活性、すなわち各層が保持する数値表現を集める。比喩群と字義通りの群の平均差から方向を求める方法と、DASという探索法で概念に対応する部分空間を学ぶ方法を使う。部分空間は、大きな表現のうち特定の意味に関係する成分の集まりである。
次に、その成分を入れ替えたり方向に沿って動かしたりし、比喩の識別、意味解釈、生成結果の変化を見る。例えば物理的な冷たさを述べる入力に対し、人柄の冷たさに近い説明へ変わるかを調べる。表現から分類できるだけでなく、操作が出力を動かすことを確認する設計だ。
新規性
中心となる主張は、比喩らしさに関連する方向や部分空間が、モデルの内部に一定の共通性を持って存在し、介入が出力へ因果的に影響するという点である。プロンプトの言い換えだけで文体を制御する研究とは操作対象が異なる。
名詞と形容詞のデータをまたぐ検証や、複数系列・規模のモデルを使った比較も行う。ただし比喩の情報すべてが一つの成分へ集まっているという意味ではない。
従来手法との違い
平均差による方向、ロジスティック回帰で見つけた分類方向、DASの部分空間などを比較する。分類しやすい方向が、出力を変える介入でも強いとは限らず、両者を同一視しない点が重要だ。
DASは誤答修正で平均差を上回るモデルもある一方、Mistral 7Bなどでは下回る。生成課題では平均差の操作が強い傾向があり、分類で選んだ方法が文章生成でも最良とは限らない。
実験結果
著者らはGemma、Qwen、Llama、Mistral系列の７モデルを対象に、主に名詞と形容詞の簡潔な文で検証した。動詞の集合は基礎性能が十分でなく、中心の解析対象から外している。
最初に誤っていたDOM識別例の修正率は、Gemma 2 9Bで平均差75%、DAS86%、Llama 3.1 8Bで54%、71%だった。これは全例の正答率ではない。生成時の介入強度５では、Llama 3.1 8Bの字義通りから比喩への反転率は平均差0.44、DAS0.34と報告され、逆方向はさらに低い。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、同じ内容の説明を平易な版と比喩を交えた版へ切り替える社内文章支援を考える。事実関係を固定した下書きを入力し、表現の候補を編集者へ提示する。
担当者は比喩が増えたかだけでなく、説明対象の意味が変わっていないかを確認する。専門用語の説明では字義通りの版を基本とし、比喩版は理解を助ける補助候補にする。この運用は論文で実証された製品用途ではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案は、内部表現へアクセスできる一つのモデルで、介入なし、通常の文体指示、内部介入を同じ入力で比較することである。比喩の量と内容保持を別の項目として人が採点する。
介入強度を変え、文法の崩れや意図しない意味変更が増える境界を調べる。識別課題の修正率だけで採用を決めず、生成文の読みやすさと誤解の発生を評価する。日本語や長文は独立した検証対象にする必要がある。
限界と課題
著者らは部分空間の介入効果が中程度で変動することを認め、比喩情報の一部は別の場所にもあると述べる。短く構造を制御した文での結果を、複雑な文章全体へそのまま拡張することはできない。
編集上の確認点は、比喩を減らす操作が本来の意味を壊さないか、別言語や専門的な比喩へ移るかである。生成の判定にはLLM評価と例の確認が使われており、人の解釈と完全に一致する制御が確立したわけではない。
出典
元のタイトル・要旨を確認する（英語）
The Geometry of Metaphor: Probing and Steering Metaphor Representations in Large Language Models
Metaphor is a crucial aspect of human cognition. As such, we would like to understand how it is represented in large language models (LLMs) and how it might be controlled. We use mechanistic interpretability techniques to identify causal subspaces in a range of LLMs covering different architectures and sizes. We show that we are able to steer output on classification tasks across different parts of speech. We are also able to steer output on generation tasks, indicating that these techniques can be used to control the metaphoricity of LLM output.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-25