アーカイブ / LLM
言語モデルの重みを半分削り、真偽判定に使う内部特徴をどこまで残せるか
Truthful Pruning aligned by Layer-wise Outliers (TPLO)
Truthful Pruning aligned by Layer-wise Outliers (TPLO)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Each curve represents the layer-wise ratio of between-class variance to within-class variance for activations corresponding to true and false statements. This ratio is averaged across all dimensions within each LLM layer, indicating that layers with a higher ratio contain more discriminative features for distinguishing between true and false statements, whereas layers with a lower ratio have fewer. We define this metric as L ayer-wise S eparability of True and False D istribution ( LSD ). Three key takeaways: i) Original models (unpruned LLaMA3.1-8B-Instruct) have the best ability to separate true/false statements. ii) Moderate pruning (e.g., less than 0.5 sparsity) retains reasonable performance, but heavy pruning (e.g., 0.65 sparsity) significantly degrades separation ability. iii) The most useful layers for classifying true/false statements seem to be consistently around layer 10-15 no matter what sparsity is.
概要
- TPLOは、真偽を区別しやすい内部特徴と、重要度が突出した重みの層別分布を使って剪定率を決める。
- 著者らのLLaMA3.1-8B-Instructの50％剪定実験では、指定条件の真偽判定平均正答率がTPLOで0.8868、Wandaで0.8562だった。
- 拡充したTruthfulQAを剪定時の判断材料に加える効果は一貫せず、日本語の実務文書には別途検証が必要だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Truthful Pruning aligned by Layer-wise Outliers (TPLO)の仕組み
- 01真偽付き文と校正文
- 02層別の特徴を計測
- 03剪定率を配分
- 04剪定済みモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TPLOは、言語モデルの重みを削りながら、文の真偽判定に使う内部の反応を残そうとする方法だ。剪定とは、重みの一部をゼロにしてモデルを疎にする操作を指す。回答課題での性能が保たれても、内部の反応から誤った文を見分ける能力まで保たれるとは限らない。
この違いは、限られた計算資源でモデルを使い、回答を後から点検したい場合に関わる。著者らは、層ごとに同じ割合で重みを削ると、真偽を区別する特徴が損なわれる問題を調べた。
手法
真偽ラベル付きの文を一つずつモデルに入力し、各層が文の最後の語を処理したときの内部の反応を取り出す。著者らは、正しい文と誤った文の反応がどれほど分かれるかを層ごとに測る。さらに、入力への反応と重みの大きさから計算した重要度が突出する重みの分布も調べる。剪定率を決める校正文は、削除候補の重要度を測るためのテキストだ。
TPLOは、真偽を分けやすい層を多く残すSWLの配分を作り、初期の層には突出した重みを考慮するOWLの配分を採用する。その後、全層の平均剪定率を目標値に合わせ、重要度の低い重みをゼロにする。例えば「月は地球を回る」という文の反応を測り、特徴を残したい層の削除量を調整する。剪定後は、内部の反応を読む別の判定器が文の真偽を推定する。
新規性
TPLOは、正しい文と誤った文を区別しやすい層に加え、重みの重要度が突出した層も考慮して、層ごとの剪定率を決める。内部状態を使う真偽判定を、剪定後の評価対象として明示した点が特徴だ。
具体的には、真偽の分離度に基づくSWLの配分を土台に、初期の層をOWLの配分に置き換える。著者らはTruthfulQAの文を拡充し、剪定時の判断材料に加える方法も示した。
従来手法との違い
Wandaは入力に対する反応と重みの大きさから削除候補を選び、各層に同じ剪定率を適用する。SWLは真偽を区別しやすい層の重みを多く残す配分だが、著者らの実験では、Wandaより真偽判定精度が下がった。
OWLは重要度が突出した重みの層別分布を考慮する。TPLOはSWLを基に、LLaMA3.1-8B-Instructでは最初の10層をOWLの配分に置き換え、全体の剪定率を調整する。結果の比較は、提示されたモデルと課題の条件に限られる。
実験結果
著者らは主にLLaMA3.1-8B-Instructを使い、重みの50％を剪定して評価した。英語の真偽文は六つの話題に肯定文と否定文があり、判定器の学習では一つの話題を試験用に除く。表のAverageは、計12種類の真偽データセットにおける判定正答率の平均である。
C4と拡充したTruthfulQAを剪定時の判断材料に用い、TTPDという判定法で測った平均正答率は、TPLOが0.8868、Wandaが0.8562、未剪定モデルが0.9317だったと著者らは示す。同じ条件のWikiTextパープレキシティはTPLOが12.05、Wandaが12.06、未剪定モデルが8.28で、低いほどよい指標だ。これらの数値は当該表の条件に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書を参照して回答する言語モデルを軽量化し、回答案に含まれる事実を述べる文を担当者の確認対象として示す。入力は社員の質問と回答案の各文、出力は内部状態を使う真偽判定器の判定結果と、確認すべき文の一覧とする。
元モデル、参照する社内文書、文書で真偽を確認してラベルを付けた文、剪定率の調整に使うテキストが必要だ。追加センサーは使わない。社内の話題と日本語表現に合わせて判定器を学習し直し、担当者が根拠文書も照合する運用を想定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内文書から、担当者が根拠を確認した正しい文と誤った文を作り、真偽ラベルを付ける。元モデルの内部反応を取得できる環境と、剪定時の重要度計算に使う校正文も用意する。入力はテキストで、追加センサーは不要だ。
同じ校正文と剪定率でWandaとTPLOを比較し、学習から除いた話題の文で判定正答率と誤文の見逃し数を測る。日本語表現に合わせて判定器を学習し直し、回答課題の性能も確認する。担当者による根拠文書との照合を併用できるか、作業時間とともに記録する。
限界と課題
著者らは、拡充したTruthfulQAを剪定時の判断材料に加えても、真偽判定精度の改善は一貫しないと報告する。また、判定法によって結果のばらつきが異なり、特にCCSでは標準偏差を考慮すると結果がかなり重なると述べる。
編集上の検証事項：実験に使った真偽文は英語であり、日本語の社内文書や長い回答にも同じ傾向が出るかは未確認だ。内部状態から推定した真偽と、回答が参照文書に忠実かどうかは分けて測る必要がある。提示された表だけでは、実務での確認作業がどれほど減るかも判断できない。
出典
元のタイトル・要旨を確認する（英語）
Pruning Weights but Not Truth: Safeguarding Truthfulness While Pruning LLMs
Neural network pruning has emerged as a promising approach for deploying LLMs in low-resource scenarios while preserving downstream task performance. However, for the first time, we reveal that such pruning disrupts LLMs' internal activation features crucial for lie detection, where probing classifiers (typically small logistic regression models) trained on these features assess the truthfulness of LLM-generated statements. This discovery raises a crucial open question: how can we prune LLMs without sacrificing these critical lie detection capabilities? Our investigation further reveals that naively adjusting layer-wise pruning sparsity based on importance inadvertently removes crucial weights, failing to improve lie detection performance despite its reliance on the most crucial LLM layer. To address this issue, we propose Truthful Pruning aligned by Layer-wise Outliers (TPLO), which places greater emphasis on layers with more activation outliers and stronger discriminative features simultaneously. This preserves LLMs' original performance while retaining critical features of inner states needed for robust lie detection. Moreover, we introduce a prompting rule to enrich the TruthfulQA benchmark for better calibrating LLM pruning. Empirical results show that our approach improves the hallucination detection for pruned LLMs (achieving 88% accuracy at 50% sparsity) and enhances their performance on TruthfulQA.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01