アーカイブ / Generative AI / LLM
人物画像の多様性と指示文への忠実さを測るDivBench
DivBench
DivBenchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : DivBench methodology. Items with potential group-attribute associations are systematically verified against trusted sources, then categorized into assigned and unassigned groups to create a comprehensive diversity evaluation benchmark.
概要
- DivBenchは60例を属性指定なし・性別指定・人種指定の各20例で構成し、多様性の不足と過剰な変更を測る。
- 著者らは各例につき100枚を生成し、画像の属性分類を基に適合率・再現率・F1値を比較した。
- Stable Diffusion 3.5上の対処法比較では、Prompt Rewritingが三指標すべてで最高と報告された。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DivBenchの仕組み
- 01属性注釈付き指示文
- 02画像を生成
- 03Llavaで属性分類
- 04三指標で集計
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DivBenchは、文章から人物画像を作る際に、描写の多様性が足りない場合と、指定された人物属性まで変えてしまう場合を調べる。文章から画像を作る仕組みをT2I、入力する指示文をプロンプトと呼ぶ。
職業名だけの文では描写が特定の属性に偏りうる。一方、属性を明示した文や歴史的・制度的な条件がある文で機械的に属性を変えると、文意から外れる。制作に使うには、この二種類の誤りを分けて見る必要がある。
手法
DivBenchは手作業で注釈した60例で、属性指定なし、性別指定、人種指定が各20例ある。「農業従事者」のような文では描写の幅を、「女優」のような文では指定属性を守るかを調べる。属性の割り当ては、言葉の意味や制度・歴史に関する外部情報で確かめた。
生成画像の属性は、画像と言葉を扱うモデルLlavaで分類する。適合率は過剰な変更の少なさ、再現率は期待される属性の網羅度、F1値は両者の均衡を見る指標だ。対処法では、言語モデルLlama 3が文ごとに変更可能な属性を複数回判定し、多数決の結果を生成中の誘導か指示文の書き換えに使う。
新規性
DivBenchは、人物属性の描写が限られる「多様性の不足」と、文が指定する属性まで変える「過剰な多様化」を、一つの評価枠組みで扱う。属性を指定しない例と指定する例を分け、適合率・再現率・F1値で両方を測る。
著者らはさらに、言語モデルによる文脈判定を、画像生成中の誘導と指示文の書き換えに組み込んで比較した。
従来手法との違い
比較には、画像生成モデルとしてStable Diffusion 3.5やFireflyなどを用いる。対処法の比較では、Stable Diffusion 3.5単体を基準とし、文の内容を見ずに属性を無作為に誘導するFairDiffusionも調べた。無作為な誘導は、指定済みの属性まで変える場合がある。
文脈を考慮するFairDiffusionは、変更してよい属性だけを生成中に誘導する。Prompt Rewritingは、その判定結果を指示文に書き加える。著者らは両手法をStable Diffusion 3.5上で評価した。
実験結果
著者らはDivBenchの各例につき100枚を生成し、Llavaで画像の属性を分類した。評価上の性別は女性・男性、人種はAfrican、East-Asian、Indian、Westernの区分とし、性別と人種の結果をまとめて示している。
モデル比較ではFireflyの再現率とF1値が最高だが、過剰な多様化の傾向も報告された。Stable Diffusion 3.5上の対処法比較ではPrompt Rewritingが適合率・再現率・F1値のすべてで最高だった。確認できた本文の範囲では各手法の数値スコアがなく、改善幅は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内広報の職業イラストを作る際、職業だけを書く指示文と、人物属性を明示する指示文を入力する。出力する画像について、指定がない場合の描写の偏りと、指定がある場合の属性違反を制作担当者が別々に記録する。
必要な元データは実際に使う指示文で、各文の属性指定の有無と守るべき属性を人がラベル付けする。追加のセンサーは不要。論文の属性区分をそのまま人物の定義とせず、業務で扱う表現に合わせて注釈基準を決める。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際の制作で使う指示文を少数集め、属性指定の有無、守るべき属性、変更を許す属性を担当者がラベル付けする。この指示文とラベルが元データとなり、追加学習用データは想定しない。外部センサーも使わない。
同じ指示文で従来の生成方法と、属性判定を反映した文の書き換えを試す。生成画像を人が確認し、指定違反の件数と、指定のない文で現れた属性の種類を別々に数える。一方の改善に伴って他方が悪化しないかを確かめる。
限界と課題
著者らは、性別や人種を視覚的に区別できる離散的な区分として扱う単純化を限界として挙げる。画像の属性判定に用いたLlavaにも偏りや誤りがありうる。また、60例という規模は、対象を広く集めることより注釈の一貫性と正確さを優先した結果である。
編集上の検証事項は、日本語の指示文や複数の属性が重なる人物像でも注釈と判定が妥当かという点だ。自動判定と人の判断の食い違いを記録し、用途ごとの許容基準を別途決める必要がある。
出典
元のタイトル・要旨を確認する（英語）
Beyond Overcorrection: Evaluating Diversity in T2I Models with DivBench
Current diversification strategies for text-to-image (T2I) models often ignore contextual appropriateness, leading to over-diversification where demographic attributes are modified even when explicitly specified in prompts. This paper introduces DIVBENCH, a benchmark and evaluation framework for measuring both under- and over-diversification in T2I generation. Through systematic evaluation of state-of-the-art T2I models, we find that while most models exhibit limited diversity, many diversification approaches overcorrect by inappropriately altering contextually-specified attributes. We demonstrate that context-aware methods, particularly LLM-guided FairDiffusion and prompt rewriting, can already effectively address under-diversity while avoiding over-diversification, achieving a better balance between representation and semantic fidelity.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01