アーカイブ / LLM
LLMは二つの行為をどう評価するか：単独評価から組み合わせ判断を測る
Moral Trolley Arena
Moral Trolley Arenaの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Representative moral-exchange trial. Profile A has a lower component ELO sum than Profile B ( 2044.9 2044.9 vs. 2176.8 2176.8 ), but receives the higher composite ELO ( 1069.5 1069.5 vs. 1057.9 1057.9 ) and is chosen.
概要
- 229件の行為場面を単独で評価した後、二行為を含む160種類の項目を評価する手法。
- 著者らの10モデルでは、単独得点の合計による予測の傾きが平均0.862となり、組み合わせ得点との関係に圧縮が見られた。
- 実務への応用には、業務の事例、行為のラベル、人手判断を用意し、複数の行為が同居する場合の選択を別途検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Moral Trolley Arenaの仕組み
- 01229件の行為場面
- 02単独行為を対比較
- 03二行為の項目を作成
- 04組み合わせを対比較
- 05組み合わせ得点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Moral Trolley Arenaは、LLMが複数の道徳的行為を一つの選択肢としてどう評価するかを測る。助言や審査では、好ましい行為と問題のある行為が同じ案に含まれることがある。
行為を一つずつ比べるだけでは、モデルが二つの行為を足し合わせるのか、強い行為を重く見るのか分からない。著者らは道徳基盤理論のケア、公平、忠誠、権威、神聖という五つの観点を使い、単独の評価と組み合わせた評価の関係を調べた。
手法
入力は、出典を記録し、人を中心とする表現に書き直した229件の行為場面である。まず二つの場面を示してモデルにどちらを救うか選ばせ、勝敗に応じてELO得点を更新する。ELOは対比較の結果から各項目の選ばれやすさを表す点数で、モデルには道徳基盤の名前を見せない。
次に、各場面に付けた五段階の強度ラベルを使い、異なる道徳基盤から二行為を選んで160種類の項目を作る。例えば、非常に好ましい行為と軽い問題行為を含む項目を、通常の好ましい行為を二つ含む項目と比べる。強度ラベルは項目を揃えるために使い、モデルには示さない。出力は組み合わせのELO得点と、単独得点からの予測との差である。
新規性
著者らの提案は、同じ道徳的行為を単独で測り、その得点を使って二行為を含む選択肢の評価を予測する点にある。行為ごとの順位に加え、複数の判断材料を合わせたときの変化を測れる。
著者らは、予測とのずれを行為の強度の組み合わせや道徳基盤ごとにも調べた。代表場面の選び方が結果に影響しうるため、基盤別の分析には組み合わせで使った場面に限る単独評価も参照している。
従来手法との違い
基準は、行為を一つずつ提示して得る単独場面のELO得点である。これは二者択一の勝敗を集約する点数で、単独の行為がどれほど選ばれやすいかを示す。
本研究は、二行為それぞれの単独得点を足した値と、組み合わせ自体の得点を比較する。従来の単独行為の順位では測れない、同じ選択肢に良い行為と問題のある行為が入ったときの判断を調べる。
実験結果
著者らは10モデルで、229件の単独場面と160種類の組み合わせを評価した。単独場面の対比較は計17,134回、組み合わせの対比較は各モデル1,200回である。単独得点の合計から組み合わせ得点を予測する直線の傾きは全モデルで1未満、平均0.862、決定係数は平均0.731だった。
強度の合計が+1の群は+2の群より、組み合わせELOの平均が35.0点高かった。両群の単独ELO合計の平均は2119.0対2120.1だった。強度ラベルの人手確認は69件中60件で一致した。人の選択との比較は事前に選んだ10組に限られ、160項目全体の検証ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の文章審査AIに、公開の利益と個人への不利益が同居する申請文を提示し、選んだ対応と単独評価からの予測との差を記録する。入力は各行為を単独でも二行為でも示せる事例文、出力は二者択一の判断と差の一覧とする。
追加学習は前提とせず、必要な元データは過去の審査例と担当者の判断である。行為の種類と強度には業務用のラベルを付け、審査担当者と表現を調整する。文章評価なのでセンサーは使わない。元研究の結果がこの業務でも成り立つかは別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の事例文から、各行為を単独でも二行為でも示せる少数の評価項目を作る。追加学習用データは前提とせず、元になる審査例、行為の種類と強度のラベル、担当者による二者択一の判断を用意する。文章だけを入力とし、センサーは使わない。
単独事例の選択傾向を基準に、組み合わせた事例で判断がどう変わるか測る。担当者間の一致率、モデルと担当者の選択一致率、単独得点からの予測誤差を記録する。業務に合わせて事例文とラベルを調整し、代表事例を入れ替えても傾向が保たれるか確認する。
限界と課題
著者らが明記する限界は、車両が誰を救うかを選ぶ強制的な二者択一、五つの道徳基盤、二場面をつなぐ組み合わせに対象が限られることだ。多言語や三場面以上は未検証で、強度ラベルも229件すべてに独立した人手付与をしたものではない。
編集上の検証事項は、代表場面を替えた場合や小規模なモデルでも同じ傾向が出るかである。著者らの人手による選択確認は事前に選んだ10組に限られ、160項目全体の人間の判断基準や実務判断の妥当性を確立するものではない。
出典
元のタイトル・要旨を確認する（英語）
Every Act Has Its Price: Compressed Moral Composition in Frontier LLMs
Existing LLM moral benchmarks usually ask which isolated moral act, value, or foundation a model prefers. This is useful but incomplete. Realistic judgments often require a model to combine several moral signals within the same option. We introduce **Moral Trolley Arena**, a two-stage blind ELO benchmark for measuring how LLMs compose moral evidence. The single-scene arena first calibrates individual moral acts from a 229-scenario corpus across five Moral Foundations Theory foundations; the composite arena then combines calibrated acts into two-act moral items over a controlled intensity grid and measures the resulting composite preferences. Across ten frontier models, composite judgments are largely predicted by component act strength, but the relation is consistently compressed rather than simply additive. Models also show non-additive intensity anchoring, bounded foundation-specific residuals after component control, and highly convergent composite preference surfaces across providers. These results suggest that moral audits should measure composition rules for moral evidence, not only rankings over isolated acts.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01