アーカイブ / LLM
学習済みTransformerの計算から読めるプログラムを取り出す
Transformer-to-D-RASP Decompilation
Transformer-to-D-RASP Decompilationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(b) Line 1: a1
概要
- 学習済みTransformerをD-RASPへ書き換え、予測への影響を調べながら短いプログラムへ整理する。
- 著者らは小型モデルを長さ50以下で学習し、51～150で長さの一般化を評価した。
- 変換には層正規化の線形化という条件があり、課題別の予測一致率は確認できた本文からは分からない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Transformer-to-D-RASP Decompilationの仕組み
- 01学習済みモデルと入力列
- 02D-RASPへ変換
- 03因果的に枝刈り
- 04単純な操作へ置換
- 05短いプログラム
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
学習済みTransformerが長い文字列にも対応するとき、内部でどんな手順を使うかは予測結果だけでは分からない。RASPは、文字列の各位置から情報を選び、集めて計算する手順を記述する言語群である。
短いRASPプログラムで解ける課題と、短い入力で学習したモデルが長い入力を扱う「長さの一般化」との関係が論じられてきた。モデルの計算を読める手順として取り出せれば、その関係を具体的に調べられる。
手法
まずモデルの重みを、位置と文字の情報を扱うD-RASPへ書き換える。D-RASPは、参照する位置を決める「選択」、そこから情報を集める「集約」、各位置での変換を組み合わせ、予測まで表す形式である。重複のない列のコピーでは、直前の文字を手掛かりに該当位置を探し、次に出す文字を取得するプログラムが示される。
次に、計算の一部を除いたときの予測への影響を調べ、不要な経路を削る。学習された変換も、予測が保たれる場合には既知の単純な操作へ置き換える。層正規化を線形化しても入出力がほぼ変わらないという条件の下で変換し、簡約後は元モデルとの予測一致率を測る。
新規性
著者らの提案は、学習済みTransformerの重みから、計算をたどれるD-RASPプログラムを構成し、出力への影響を確かめながら短くする手順である。単に注意の向き先を示すだけでなく、次の文字の予測に至る計算を表す。
初期の変換結果は層をまたぐ経路が多く、読みにくい。著者らは不要な経路を削り、学習された計算を既知の単純な操作に置き換えられるか試す。
従来手法との違い
先行する理論は、TransformerがRASPで記述できる計算を実現し得ることを示していた。しかし、学習済みモデルから実際の手順を取り出せるかは別の問題だった。
著者らによると、既存の回路発見は特定の入力長や形式に結び付いた計算経路を示すことが多い。本手法はモデルをプログラムへ書き換えてから簡約する。比較の対象は説明の形式と抽出方法であり、本文で確認できる範囲に一般的な大規模モデルとの性能比較はない。
実験結果
著者らは小型のGPT-2型モデルをアルゴリズム課題と形式言語課題で学習させた。前者は単一の文字または系列を予測し、後者は各位置で次に許される文字の集合を出力する。学習時の入力長は50以下、長さの一般化の評価は51～150で行った。
抽出処理には長さ150以下の入力を使い、無作為な独立同分布サンプルで元モデルとの予測一致率を測った。この指標は、学習信号がある全位置で最も確率の高い予測が一致した入力の割合で、著者らは90％以上を忠実性の基準とした。長い入力に対応するモデルから読めるプログラムをしばしば回収したと報告するが、確認できた本文の範囲では課題別の一致率とサンプル数は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。区切り記号の前にある重複しない製品コード列を、同じ順序で続ける小型モデルの動作を調べる。入力はコード列と区切り記号、出力は続きのコード列と終了記号とし、抽出したプログラムが次のコードをどの位置から選ぶか点検する。
学習には対象のコード体系で作った入力系列と正しい続きの系列、各出力位置の正解ラベルが要る。センサー入力は不要である。コードの表現と系列長を現場の条件に合わせて調整し、この用途でも予測が一致するか確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。重複のないコード列と正しい続きの組を学習用に作り、各出力位置の正解コードをラベルとして小型モデルを学習する。センサーは使わない。実際のコードの種類、区切り記号、扱う系列長に合わせて入力表現を調整する。
変換前のモデルを比較対象に、同じ入力でコピーの正解率と抽出プログラムの予測一致率を別々に測る。学習時の長さ以内とそれを超える長さを分け、層正規化の置き換え前後の予測も比較する。90％という著者らの忠実性基準に達しても、対象業務での正解率は別途確認する。
限界と課題
著者らの方法は、層正規化を線形の計算に置き換えても入出力がほぼ変わらない、という条件を用いる。簡約後の忠実性は、測定した入力で元モデルと予測が一致する割合で判断するため、すべての入力で同じ動作をするという証明ではない。
編集上の検証事項は、対象モデルで層正規化の置き換えが許容できるか、未見の長さや入力分布でも一致するかである。著者らの結果が適用される範囲は、ここで扱った小型モデルと課題に沿って判断したい。
出典
元のタイトル・要旨を確認する（英語）
Discovering Interpretable Algorithms by Decompiling Transformers to RASP
Recent work has shown that the computations of Transformers can be simulated in the RASP family of programming languages. These findings have enabled improved understanding of the expressive capacity and generalization abilities of Transformers. In particular, Transformers have been suggested to length-generalize exactly on problems that have simple RASP programs. However, it remains open whether trained models actually implement simple interpretable programs. In this paper, we present a general method to extract such programs from trained Transformers. The idea is to faithfully re-parameterize a Transformer as a RASP program and then apply causal interventions to discover a small sufficient sub-program. In experiments on small Transformers trained on algorithmic and formal language tasks, we show that our method often recovers simple and interpretable RASP programs from length-generalizing transformers. Our results provide the most direct evidence so far that Transformers internally implement simple RASP programs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01