アーカイブ / LLM
表データを判定するLLMの集団間格差を、指示文と提示例で調整する
Improving LLM Group Fairness on Tabular Data via In-Context Learning
Improving LLM Group Fairness on Tabular Data via In-Context Learningの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 9: Pareto-optimal points for optimized fair prompts (red), soft prompts (blue) and optimized class ratios for few-shot examples (green) across all datasets and models. Orange square denotes zero-shot performance of the models, while black points correspond to Catboost trained with GridSearch baseline.
概要
- 表データを文章化して判定するLLMについて、指示文、入力例、数値表現、判定後の修正という四手法を評価した。
- AdultのLlama 3 8Bでは、指示文の調整で正答率0.77を保ち、集団間の肯定率比が0.78から0.94になった。
- 集団間の肯定率が近づいても正答率が下がる場合があり、複数の指標を併せて見る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Improving LLM Group Fairness on Tabular Data via In-Context Learningの仕組み
- 01表の一行
- 02属性を文章化
- 03指示と例を調整
- 04判定と集団別指標
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
表データを文章に変え、大規模言語モデルに分類させる使い方では、少量の学習例でも判定できる場合がある。ただし、性別などで分けた集団の間で、肯定的な判定の割合が偏ることがある。採用やサービス提供に関わる業務なら、この偏りを見落としにくい仕組みが要る。
ここでいう人口統計的均等は、集団間で肯定的判定の割合を近づける考え方である。判定の正しさと同じ指標ではないため、両方を測る必要がある。
手法
各行の項目名と値を文章に直し、課題の説明とともに言語モデルへ渡す。例えば所得が一定額を超えるかの予測なら、年齢などの項目を読ませて二値の答えを得る。少数例学習とは、同じ入力欄に見本の行と答えを添える方法である。著者らは、似た行を探して例を選び、肯定例の割合を調整した。
別の方法では、公平性を求める指示文をモデルで繰り返し改善する。ソフトプロンプトは、入力に加える連続値の表現を調整する方法である。自己修正では、複数行の最初の判定から集団別の肯定率を計算し、目標から離れた場合に判定を見直す。
新規性
著者らは、表データを大規模言語モデルで分類する際の集団間の選択率に着目し、四つの調整法を同じ課題群で調べた。文章中の固定観念への対策を、そのまま表データの判定に当てはめない設計である。
特に、指示文の反復改善、数値表現の調整、似た事例の選択、判定後の修正を、精度との両立という共通の観点で比較している。
従来手法との違い
比較の基準は、通常の指示で判定する各言語モデルと、50件で学習した表データ用モデルCatBoostである。論文は、選択率をそろえるだけでなく、正答率がどの程度変わるかを併記した。
四つの方法では変更する場所が違う。公平性に関する文を足す方法は指示文を、少数例の方法は提示する事例を変える。ソフトプロンプトは入力の数値表現を調整し、自己修正は最初の判定結果をまとめて見直す。
実験結果
著者らはAdult、German Credit、ACSの所得と公的医療保障という四課題で検証し、保護属性は性別とした。指標は正答率、集団間の肯定率の小さい方を大きい方で割った値、誤判定率の集団間指標である。肯定率の比は1に近いほど均等となる。
例としてAdultのLlama 3 8Bでは、通常の正答率0.77・肯定率比0.78に対し、指示文調整後は0.77・0.94だった。一方、同課題のClaudeの自己修正では比が0.50から0.98へ上がり、正答率は0.79から0.73へ下がったと著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の研修案内を優先して送る対象の試行的な選定で、過去の属性と応募履歴を一行ずつ文章化して判定する。入力は個人ごとの表データ、出力は案内候補としたかどうか、および集団別の候補率である。
担当者は通常の指示と、公平性を意識した指示で同じデータを処理し、候補率と実際の参加結果に照らした精度を並べる。案内の最終決定は担当者が行い、集団全体の数値と個々の判定理由を別々に確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの二値判定業務を選び、属性ごとの件数と正答ラベルを確認する。通常の指示文を基準に、まず公平性の指示文と、近い事例を示す方法を同じ評価用データで比べる。候補を選ぶためのデータと最終評価用データは分ける。
全体の正答率に加え、集団別の肯定率、偽陽性率、偽陰性率を記録する。選択率が改善しても誤判定が増えた集団があれば採用を見送り、入力項目や指示文を見直す。判定を使う担当者にも具体例を確認してもらう。
限界と課題
著者らは、ソフトプロンプトは計算負荷が高く設定に敏感で、少数例の提示は入力が長くなると述べる。自己修正では精度低下が起こり、似た個人が同じ扱いを受ける保証もない。実験の中心は男女間の人口統計的均等である。
編集上の確認点は、正答ラベルのあるデータで誤判定率も集団別に調べること、選択率をそろえる基準が業務目的に合うこと、結果が集団の区切り方や時期で変わらないことだ。均等な選択率だけで公平性全体は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Improving LLM Group Fairness on Tabular Data via In-Context Learning
Large language models (LLMs) have been shown to be effective on tabular prediction tasks in the low-data regime, leveraging their internal knowledge and ability to learn from instructions and examples. However, LLMs can fail to generate predictions that satisfy group fairness, that is, produce equitable outcomes across groups. Critically, conventional debiasing approaches for natural language tasks do not directly translate to mitigating group unfairness in tabular settings. In this work, we systematically investigate four empirical approaches to improve group fairness of LLM predictions on tabular datasets, including fair prompt optimization, soft prompt tuning, strategic selection of few-shot examples, and self-refining predictions via chain-of-thought reasoning. Through experiments on four tabular datasets using both open-source and proprietary LLMs, we show the effectiveness of these methods in enhancing demographic parity while maintaining high overall performance. Our analysis provides actionable insights for practitioners in selecting the most suitable approach based on their specific requirements and constraints.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29