アーカイブ / AI Agent
推薦が内容注意の付いた作品を増やすか――映画とファン作品の二つのデータセット
ML-DDD and AO3 Sensitive Recommendation Datasets
ML-DDD and AO3 Sensitive Recommendation Datasetsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Distribution of the number of interactions per user in ML-DDD (Top Left) or AO3 (Low Left). Distribution of the average rating per work for ML-DDD (Top Right), or the number of hits (reads), kudos (likes), and interactions per work in the AO3 dataset (Low Right).
概要
- ML-DDDは映画の点数評価と内容注意の投票、AO3はファン作品の公開kudosと警告分類を結び付けた。
- 著者らは、推薦上位と利用者の履歴で警告付き作品の割合を比べる指標を導入した。
- 無作為抽出した各1,000人への上位100件では、警告全体の平均増幅はML-DDDでTopPop、AO3でRandomが最大だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ML-DDD and AO3 Sensitive Recommendation Datasetsの仕組み
- 01映画評価・公開kudos
- 02作品の警告と結合
- 03履歴から推薦を生成
- 04警告の割合を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
推薦システムは、評価や反応の履歴から次に見せる作品を選ぶ。的中率だけでは、利用者が避けたい題材を含む作品が推薦にどれほど現れるか分からない。題材への希望は人によって異なるため、作品を一律に排除する判断とも分けて考える必要がある。
著者らは、映画とファン作品の履歴に「内容注意ラベル」を結び付けた。これは流血や死など、作品に含まれる題材を示す印である。利用者の履歴と推薦結果に付いた印を比べ、望まない題材への接触を検討するための材料を整えた。
手法
ML-DDDでは、MovieLens 25Mの映画評価を、Does the Dog Die?で集めた作品別の警告投票と映画IDで対応付ける。ある警告について賛成票が75％以上なら「該当」、反対票が75％以上なら「非該当」とし、判定が不明な場合や投票がない場合は区別する。例えば流血の警告が付いた映画を、利用者の評価履歴と照らせる。
AO3では、ファン作品の警告分類に、公開利用者が付けたkudosを結び付ける。kudosは点数を伴わない好意的な反応で、反応がない作品を嫌いと断定できない。著者らは履歴から推薦を作り、上位作品に警告が付く割合を履歴中の割合で割り、さらに1を引いて増減を表す。履歴中に該当作がない場合は、計算のため警告付き作品が1件あるものとして扱う。
新規性
著者らは、利用者と作品の関係を示す履歴に、作品ごとの内容注意ラベルを結び付けた二つのデータセットを作成した。ML-DDDは映画の点数評価、AO3はファン作品への公開されたkudosを扱い、異なる種類の反応を調べられる。
さらに著者らは、推薦された作品と利用者の履歴で警告の割合を比べる「Warning Amplification」を導入した。これにより、推薦の的中率に加え、特定の題材を含む作品が推薦で増減するかを測定できる。
従来手法との違い
比較対象は、未閲覧作品から無作為に選ぶRandomと、人気順に選ぶTopPopである。人気の基準はML-DDDでは映画の平均評価、AO3では公開利用者によるkudosの件数とし、どちらも個人別の好みを学習しない。
著者らは個人化手法として、ML-DDDの点数評価にはSVD、AO3のkudos履歴にはALSを使った。どちらも他の利用者と作品の反応から好みを推定する協調フィルタリングだが、適用先が異なるため、SVDとALSの直接対決を示す比較ではない。
実験結果
著者らによると、ML-DDDは映画32,604本、利用者162,541人、評価22,867,672件、AO3は作品306,111本、利用者1,304,303人、反応45,936,871件を含む。精度評価では利用者ごとに履歴を学習用90％、試験用10％に分けた。AO3の精度評価には作品の10％とその反応を用いた。
推薦10件中の関連作品の割合を示すPrecision@10は、ML-DDDでSVDが0.00210、Randomが0.00010だった。警告の増減は、各データから無作為に選んだ1,000人への上位100件で分析した。著者らは警告全体の平均で、ML-DDDではTopPopの増幅が最大でSVDが最小、AO3ではRandomが最大でALSが最小と報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：映画配信サービスで、利用者が避けたい題材を指定できる推薦画面を試す。入力には利用者の評価履歴、作品ID、作品単位の内容注意ラベル、本人が選んだ回避項目が必要で、追加のセンサーは使わない。
既存の推薦で候補を作り、表示前に指定項目のラベルを照合して、候補一覧と警告の有無を出力する。導入には評価データとラベルの作品IDの対応付け、未判定ラベルの扱い、回避項目を変更できる画面が要る。接触の減少は検証すべき仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：映画推薦に対象を絞り、利用者の評価履歴、作品ID、作品単位の内容注意ラベル、本人が指定した回避項目を用意する。追加のセンサーは使わない。まず作品IDを対応付け、投票不足や未判定のラベルを明示できる形に整える。
小規模な試行で、現行の人気順推薦と、指定された警告を表示前に照合する案を比べる。上位10件の関連作品割合、指定ラベル付き作品の提示割合、未判定作品の割合、候補が不足した回数を記録する。回避項目は本人の設定から取得し、評価履歴だけから推測しない。
限界と課題
著者らによると、AO3ではゲストのkudosを個人別の履歴に結び付けられない。また、AO3の推薦精度評価は計算上の制約から作品の10％とその反応を使い、警告の増減分析には全データで学習した推薦を使っている。
編集上の検証事項は、投票のない映画やラベルの欠落をどう扱うか、作品ラベルと利用者が実際に避けたい内容が一致するかである。警告の割合は提示される題材の指標であり、利用者が作品を視聴したか、心身にどのような影響があったかを直接測る値ではない。
出典
元のタイトル・要旨を確認する（英語）
Datasets for Navigating Sensitive Topics in Recommendation Systems
Personalized AI systems, from recommendation systems to chatbots, are a prevalent method for distributing content to users based on their learned preferences. However, there is growing concern about the adverse effects of these systems, including their potential tendency to expose users to sensitive or harmful material, negatively impacting overall well-being. To address this concern quantitatively, it is necessary to create datasets with relevant sensitivity labels for content, enabling researchers to evaluate personalized systems beyond mere engagement metrics. To this end, we introduce two novel datasets that include a taxonomy of sensitivity labels alongside user-content ratings: one that integrates MovieLens rating data with content warnings from the Does the Dog Die? community ratings website, and another that combines fan-fiction interaction data and user-generated warnings from Archive of Our Own.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01