新着研究 / LLM
単語より長い文脈から意味を探すチャンク単位の疎な自己符号化器
Chunk-Level Sparse Autoencoders
Chunk-Level Sparse Autoencodersの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Rethinking token-level sparse autoencoders. Top left: An arithmetic example illustrates we often get ’boring’ features. Top right: The same feature activates on “wait” in both backtracking and non-reasoning contexts. Bottom: We investigate whether modifying input granularity and training objectives yields more meaningful SAE features and validate across diverse downstream applications.
概要
- チャンク単位の疎な自己符号化器は、文章区間の内部状態を少数の特徴に変換する。
- Mean-Chunkは高水準の特徴発見と手掛かり語を除いた推論検出、Cross-Chunkは関連段落の検索で強みを示した。
- 同一文書の関連区間検索では、Cross-Chunkの上位5件正解率は77.0％、Temporalは64.1％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Chunk-Level Sparse Autoencodersの仕組み
- 01連続する文章区間
- 02内部状態を平均
- 03少数の特徴へ変換
- 04自区間か隣を予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデルの内部では、ひとつの概念が多くの数値に分散して表れる。疎な自己符号化器は、その内部状態を少数の特徴に分けて観察する手法だが、元の数値をよく再現しても、取り出した特徴が意味のある概念とは限らない。
単語に近い小さな単位だけを学ぶと、内容と同時に特定の語や句読点にも反応し得る。言い換えた文章でも同じ意味を見つけたい検索や分析では、より長い文脈を捉える特徴が必要になる。
手法
文章を連続するトークンの区間、つまりチャンクに分ける。モデルの各位置の内部状態を区間内で平均し、一つのベクトルにまとめてから疎な自己符号化器に入れる。「疎」とは、多数の候補のうち一度に働く特徴を少数に絞ることだ。Mean-Chunkは入力区間の平均状態を再現し、Cross-Chunkは同じ文書で隣り合う別の区間の平均状態を予測する。
たとえば火山活動を別の語で述べた二つの段落では、Cross-Chunkは片方だけの言い回しより共通の話題を表す特徴を学ぶことを狙う。二つの区間は互いの中身を見ずに処理する。Joint-Chunkは自身の再現と隣の予測を一つの特徴集合で両立させる。
新規性
提案は、疎な自己符号化器が見る単位と、学習時に予測する対象を分けて検討した点にある。Mean-Chunkは読んだ区間自身を再現し、Cross-Chunkは同じ文書の隣接区間を予測する。Joint-Chunkは両方を組み合わせる。
この設計により、単に入力を長くした効果と、表現の違う隣の文章に共通する内容を学ぶ効果を区別できる。著者らは、それぞれの方式が高水準の特徴発見と検索・分類で異なる強みを示すと報告した。
従来手法との違い
基準のBatchTopKとTemporalは、文章を細かく分けたトークンごとの内部状態を再現する。Temporalは隣接する記号間の一貫性も促すが、再現対象は各トークンのままだ。提案法は連続する文章区間を一つの入力として扱い、語形や書式だけに反応する特徴へ学習が偏るかを調べる。
同じ学習用トークン列と疎な特徴の枠組みを使った比較で、Mean-Chunkは高水準の特徴や言い換え後の推論検出、Cross-Chunkは語の重なりが少ない文章検索や分類で強かった。どの下流課題でも一方式が常に最良という結果ではない。
実験結果
著者らはQwen3.5-9B-Baseの内部状態を使い、Pileの10億トークン出現分で各方式を学習した。特徴を無作為に1000個調べた高水準概念の割合は、Mean-Chunkが34.8％、BatchTopKが17.2％だった。語の重なりを抑えた同一文書の相手区間の検索では、上位5件に正解が入る割合がCross-Chunkで77.0％、最良のトークン単位基準のTemporalで64.1％だった。
計画を戻す意味を保ったまま手掛かり語を除く検出では、Mean-Chunkの再現率は66％、二つのトークン単位基準はどちらも5％未満だった。著者らは分類の未来年文書でもCross-Chunkの正解率82.9％を報告する。これらは特徴の使い道を試す評価であり、業務文書への適用結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書検索で、利用者の質問と用語が異なる説明文を見つけるため、Cross-Chunkの特徴を検索候補の並べ替えに使う。入力は質問文と文書を区切った短い文章片、出力は関連度の高い候補と、どの文章片を根拠にしたかの一覧とする。
たとえば「承認を戻す手順」という質問から、「申請を差し戻して再提出を求める」と記した文書を探す。検索後は原文を利用者に示し、特徴の活性だけで答えを確定しない。論文の同一文書内検索での成果を、社内文書間の検索に広げる編集上の案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象文書から、同じ内容を別の語で説明する質問と正解箇所を少数集める。通常の文書検索を基準に、Cross-Chunkの特徴による並べ替えを加えた場合の上位5件正解率と、無関係な候補の増減を比べる。検索結果は文書単位だけでなく、該当段落まで確認する。
併せて、見つかった特徴の説明が別の文書でも成り立つかを担当者が判定する。用語が一致する簡単な質問と、言い換えが必要な質問を分けて集計し、どの条件で追加の仕組みが役立つかを明らかにする。
限界と課題
論文が明示する制約として、未来年の文書を使う分類評価でも、学習用のPileにArXiv資料が含まれるため、元文書への事前接触がないとは証明できない。隣の文章を予測する方式は、読んだ区間の再現とは課題の難しさが異なるため、著者らは参照モデルで正規化した指標も使っている。
編集上は、社内文書の短文や表で同じ特徴が安定するか、関連の薄い隣接段落を誤って結びつけないかを確かめたい。特徴の説明が読みやすいことと、検索結果が利用者の質問に正しく答えることは別の評価項目である。
出典
元のタイトル・要旨を確認する（英語）
Beyond Token Scale: Chunk-Level Sparse Autoencoders for Reliable Semantic Feature Discovery
Sparse autoencoders (SAEs) expose features that help us understand and steer language models, but faithful reconstruction does not guarantee informative concepts. Token-level objectives reward lexical and formatting details alongside semantic content, all competing for a limited sparse budget. We introduce a family of chunk-level SAEs that encode mean-pooled activations over chunks, each a contiguous span of tokens: Mean-Chunk reconstructs the observed chunk, Cross-Chunk predicts an independently processed neighbor, and Joint-Chunk combines both targets. These designs separate the effect of a larger observation unit from that of predicting information shared across passages. With matched training data, chunk-level SAEs remain powerful interpretability tools while learning reliable semantic features that capture high-level concepts and respond selectively to relevant content. Their strengths are complementary: Mean-Chunk improves high-level feature discovery, reasoning detection beyond surface cues, and steering; Cross-Chunk leads document retrieval and classification transfer while producing selective, persistent features. Changing what an SAE sees and predicts yields reliable semantic features for more meaningful tasks. We demonstrate their practical value through gains across downstream tasks such as retrieval, reasoning detection, and steering.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29