アーカイブ / LLM
指定箇所のキー表現を注意計算前に編集する文章強調手法
SEKA / AdaSEKA
SEKA / AdaSEKAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: Heatmaps of the average per-token ℓ 2 \ell_{2} distance between positive and negative key embeddings across all KV heads and layers for four Qwen3 model sizes. Higher values ( green ) indicate greater separation between positive and negative key representations.
概要
- SEKAは指定箇所のキー表現を注意計算の前に編集し、注意行列全体の保存を避ける。
- Qwen3-4BのCounterFactで、著者らが報告したEfficacy scoreはSEKA 99.02、PASTA 97.16だった。
- 同じモデルの代名詞変更ではPASTAを下回る指標もあり、適用先ごとの検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SEKA / AdaSEKAの仕組み
- 01質問と強調範囲
- 02対象キーを編集
- 03注意を計算
- 04回答を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SEKAは、文章中で利用者が指定した箇所に言語モデルの注意を向ける手法である。注意とは、回答を作る際に各単語へどれだけ重みを置くかを決める計算を指す。新旧の事実などが同じ入力にあるとき、参照させたい箇所を指定できることが役立つ。
従来のPASTAは、単語間の重みを並べた注意行列を計算後に編集する。この方法では行列全体の保存が必要で、省メモリーの注意計算と両立しないことが、著者らの示す課題である。
手法
準備段階では、同じ文脈に関連する質問と無関係な質問を組み合わせ、各単語のキー表現を集める。キー表現は、注意計算で単語が参照先として持つ数値の並びである。SEKAは特異値分解という、数値の関係を主要な方向に分ける計算を使い、関連性に結び付く投影方向を層と注意ヘッドごとに求める。
回答時には、例えば新旧の事実がある文章で新しい事実を強調対象にし、その箇所のキー表現を求めた方向に沿って編集してから注意を計算する。AdaSEKAは用途別の方向を用意し、質問末尾のトークンの表現と各方向との合い方を測って組み合わせる。両手法の「学習不要」は、モデル本体の重みを再訓練しないという意味であり、投影方向を求める準備は必要である。
新規性
SEKAは、注意の重みを計算した後で書き換える代わりに、指定箇所のキー表現を計算前に編集する。関連する質問と無関係な質問を使い、関連性に結び付く方向を層と注意ヘッドごとに求める。
AdaSEKAは、用途別に用意した複数の方向を、質問との適合度に応じて組み合わせる。モデル本体の重みを再訓練せずに、質問に応じた調整を行う点が追加の提案である。
従来手法との違い
PASTAは計算済みの注意行列を編集して指定箇所を強調する。SEKAはキー表現を先に変えるため、注意行列全体を保存する必要がなく、著者らはFlashAttentionのような省メモリーの注意計算と両立すると説明する。
評価では元のモデル、強調記号を付けただけの入力、PASTA、出力候補の分布を操作するSPAも比較した。結果の順位は課題やモデルで変わり、SEKA系がすべての指標で最良という結果ではない。
実験結果
著者らはCounterFactの知識衝突、Bias in Biosの職業抽出、代名詞変更の指示追従を、Qwen3の4B・8B・14BとGemma3の4B・12Bで評価した。Qwen3-4BのCounterFactのEfficacy scoreは、元モデル45.00、PASTA 97.16、SEKA 99.02、AdaSEKA 98.90だった。
同じモデルのBias in Biosの正解率はPASTA 89.58、SEKA 91.02、AdaSEKA 91.86。一方、代名詞変更のPronoun-weighted Lexical overlap ScoreはPASTA 95.82、SEKA 95.18、AdaSEKA 94.54だった。著者らはSEKAの追加遅延を1件当たり約0.03秒と報告するが、確認できた本文の範囲では測定条件の詳細は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問応答で、担当者が参照させたい条項を指定する。入力は規程本文、質問、強調する条項の範囲とし、出力された回答がその条項と整合するか担当者が確認する。この用途での改善は未検証である。
必要な元データは利用する規程本文と質問で、試行には正解回答と根拠条項のラベルを別途用意する。適用前に関連・無関連の質問を組にして投影方向を求め、対象モデル向けの設定を確かめる。追加のセンサーは想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の社内規程の質問について、規程本文、質問、正解回答、根拠条項のラベルを用意する。担当者が強調範囲を指定し、関連・無関連の質問対から投影方向を求めて、対象モデルにSEKAを適用する。追加のセンサーは想定しない。
同じ質問を元モデルと強調記号だけを付けた入力でも解き、正解回答との一致、根拠条項から外れた回答の件数、回答時間、メモリー使用量を比べる。強調範囲を変えた場合も記録し、投影方向と注意ヘッドの設定を適用先の質問で確かめる。
限界と課題
著者らは、固定した投影を使うSEKAでは課題やモデル系列に応じた調整が必要になり得ると述べる。適用する注意ヘッドを選ぶ閾値も、検証用データで調整する設計である。AdaSEKAにも用途別の方向を作るためのデータが要る。
編集上の検証事項は、強調範囲を誤った場合の回答、長い社内規程への適用結果、回答時間とメモリー使用量である。確認できた本文の範囲では、社内規程での結果や速度測定の詳しい条件は示されていない。
出典
元のタイトル・要旨を確認する（英語）
Spectral Attention Steering for Prompt Highlighting
Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01