アーカイブ / LLM
AIへの質問をどう有害と判断するか――100人の意見の違いを調べるPluriHarms
PluriHarms
PluriHarmsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: People with different values may make different judgments about what constitutes AI harm.
概要
- 150件の質問すべてを100人が0～100で評価し、計15,000件の有害度評点を収集した。
- 生成時の有害度と人の評点のスピアマン相関係数は0.59で、指定水準0.4～0.8の質問では判断のばらつきが大きかった。
- GPT-4.1の個人別評点予測では、本人の質問・評点例を与える方法のMAEが0.196、価値プロフィールを与える方法が0.233だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PluriHarmsの仕組み
- 01元の質問
- 02有害度別の質問生成
- 03危害と価値の抽出
- 04質問の選抜
- 05100人の評点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AIへの質問を安全か危険かの二択で扱うと、判断が分かれる境界的な内容を捉えにくい。回答者の評点を平均するだけでは、誰がどの質問で異なる懸念を持つのかも見えなくなる。
PluriHarmsは、質問がどれほど有害と見られるかと、人々の判断がどれほど一致するかを併せて調べるための評価用データである。この二つを区別することは、対話AIの安全基準を検討する際に、平均値に隠れた意見の違いを把握する助けになる。
手法
著者らはAIR-Bench 2024の5,692件を元に、DeepSeek-V3-0324で各質問の意味を保ちながら有害度0.0～1.0の11段階に変え、計62,612件の候補を作った。SafetyAnalystで想定される有害な行為と影響を、KALEIDOで関連する価値・権利・義務を抽出した。たとえばプライバシーに関わる質問なら、その権利を表す特徴が候補の選抜に使われる。
次に、候補の組み合わせを繰り返し改良する遺伝的アルゴリズムで、中間的な有害度を多く含み、行為・影響・価値が偏りにくい150件を選んだ。Prolificで募った100人が全件を0～100で評価し、属性や心理的特性も記録した。出力は15,000件の評点を含む、質問ごとの平均と個人差を調べられる評価用データである。
新規性
PluriHarmsは、質問の有害度に加え、同じ質問への判断が人によってどれほど異なるかを調べる評価用データである。判断が割れやすい中間的な質問を意図して選び、150件すべてを同じ100人が評価した。
各質問には想定される有害な行為・影響と関連する価値を、各回答者には属性や心理的特性を付けた。これにより、評点の平均だけでなく、質問の内容と回答者の違いが判断にどう関係するかを分析できる。
従来手法との違い
著者らによると、既存のDICESやPRISMも多様な回答者から評点を集めるが、判断が割れやすい質問を体系的には狙っていない。PluriHarmsは、生成した候補から中間的な有害度と内容の多様性を考慮して質問を選ぶ。
予測実験では、GPT-4.1に本人の過去の質問・評点例を与える方法の個人別MAEは0.196、評点例から作った価値プロフィールを与える方法は0.233だった。全員の平均評点を予測する条件は予測対象が異なるため、その数値と個人別の数値だけで優劣は決められない。
実験結果
著者らは、生成時に指定した有害度と質問ごとの人間の有害度評点にスピアマン相関係数0.59を報告した。これは順位の対応を表す指標である。指定水準0.4～0.8では評点の分散とエントロピーが高かった。エントロピーは評点の分布がどれほど一か所に集中しないかを示す。
モデル評価では150件を調整用100件と未使用の試験用50件に分け、人の評点と予測値の平均絶対誤差（MAE）を測った。著者らの表では、GPT-4.1に本人の質問・評点例を与えた個人別予測はMAE 0.196±0.011、価値プロフィールを与えた条件は0.233±0.011で、いずれも95％信頼区間付きの値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内向け対話AIに届く安全性の判断が難しい質問を、人手確認へ回す基準の検討に使う。入力は実際の質問文と、複数の審査担当者が同じ質問に付けた有害度の評点ラベルとする。出力は質問ごとの評点分布と、判断が大きく割れた案件の一覧である。
担当者は一覧を見て、想定した危害や重視した価値を記録し、審査手順の見直しに使う。対象業務の質問と担当者別の評点を収集し、評価尺度を業務に合わせて定める必要がある。追加のセンサーは想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の質問を集め、複数の担当者に同じ尺度で有害度の評点を付けてもらう。必要な入力は質問文と担当者別の評点ラベルで、センサーは使わない。まず担当者全体の平均評点を基準として記録し、判断が割れた質問も特定する。
次に各担当者の過去の質問・評点例を使う予測方法を試し、調整に使わなかった質問で評価する。担当者別評点とのMAEを測り、平均評点を予測する基準とは予測対象をそろえて比較する。判断が割れる案件を拾えた割合も確認し、審査担当者がその一覧の有用性を点検する。
限界と課題
著者らは、個人に合わせた方法でも評点予測には改善の余地があると述べる。また、この研究で人が評価したのはAIへの質問であり、AIが実際に返した回答の安全性を測った結果ではない。予測実験は150件のうち100件を調整用、50件を試験用とした条件で行われた。
編集上の検証事項として、日本語の業務質問や別の利用者集団でも同様に判断が割れるかを確かめたい。回答者の属性を使わず、本人の評点例だけで必要な差を捉えられるかも確認が要る。評点予測の精度と、実際の被害防止への効果は分けて評価すべきである。
出典
元のタイトル・要旨を確認する（英語）
PluriHarms: Benchmarking the Full Spectrum of Human Judgments on AI Harm
Current AI safety frameworks, which often treat harmfulness as binary, lack the flexibility to handle borderline cases where humans meaningfully disagree. To build more pluralistic systems, it is essential to move beyond consensus and instead understand where and why disagreements arise. We introduce PluriHarms, a benchmark designed to systematically study human harm judgments across two key dimensions -- the harm axis (benign to harmful) and the agreement axis (agreement to disagreement). Our scalable framework generates prompts that capture diverse AI harms and human values while targeting cases with high disagreement rates, validated by human data. The benchmark includes 150 prompts with 15,000 ratings from 100 human annotators, enriched with demographic and psychological traits and prompt-level features of harmful actions, effects, and values. Our analyses show that prompts that relate to imminent risks and tangible harms amplify perceived harmfulness, while annotator traits (e.g., toxicity experience, education) and their interactions with prompt content explain systematic disagreement. We benchmark AI safety models and alignment methods on PluriHarms, finding that while personalization significantly improves prediction of human harm judgments, considerable room remains for future progress. By explicitly targeting value diversity and disagreement, our work provides a principled benchmark for moving beyond "one-size-fits-all" safety toward pluralistically safe AI.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01