アーカイブ / LLM / Generative AI
画像生成の指示文をLLMで書き換え、人物表現の偏りを減らす
LLM Prompt Modification
概要
- LLMで画像生成の指示文を書き換え、画像生成モデルを変更せずに偏りを減らす方法を扱う。
- 著者らはStable Diffusion XL、Stable Diffusion 3.5、Fluxで多様性の増加と偏りの低下を報告するが、確認できた本文には指標名や数値がない。
- 詳しい指示では利用者の意図から外れる場合があり、障害のある人の表現にも限界が残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLM Prompt Modificationの仕組み
- 01利用者の指示文
- 02LLMで書き換え
- 03画像生成モデルに入力
- 04画像を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
人物属性を指定しない文章から画像を作るとき、どのような人物を描くかは画像生成モデルの解釈に委ねられる。画像生成への指示文はプロンプトと呼ばれ、短い文ほど指定されていない条件が多い。
本研究は、中立的な指示への出力が人口統計上の分布から不公平に外れることを「偏り」と定義する。実務で画像候補を選ぶ際には、表現の幅に加え、利用者が指定した場面や内容を保てるかも問題になる。
手法
利用者が入力した画像生成用の指示文を、LLMが書き換えてから画像生成モデルへ渡す。LLMは文章を扱う大規模言語モデルの略称である。たとえば「職場で話す社員」という属性を指定しない依頼なら、書き換えた文を画像生成の入力に使い、得られた人物像の幅を確かめる流れとなる。
入力は元の指示文、中間の出力は書き換え後の指示文、最終出力は画像である。著者らによれば、画像生成モデル自体の変更は要らない。一方、LLMへの具体的な指示、書き換える語句の選び方、元の意味を保つ仕組みは確認できた本文の範囲では分からない。
新規性
画像生成モデルを変更せず、その前段で利用者の指示文を大規模言語モデル（LLM）に書き換えさせる点が、著者らの提案する方法である。指定の少ない依頼から、より幅広い解釈の画像を得ることを狙う。
著者らは偏りを、中立的な指示に対する出力が人口統計から不公平に外れることと定義する。どの集団の統計を基準にしたかは、確認できた本文の範囲では分からない。
従来手法との違い
比較対象は、元の指示文を画像生成モデルへ渡す場合と、LLMで書き換えた文を渡す場合である。著者らは後者で画像の多様性が増し、定義した偏りが減ったと報告している。
実験に挙がるモデルはStable Diffusion XL、Stable Diffusion 3.5、Fluxである。著者らは比較的高度でないモデルで効果が特に大きいと述べるが、モデル別の結果や「高度」の判定基準は確認できた本文の範囲では分からない。
実験結果
著者らはStable Diffusion XL、Stable Diffusion 3.5、Fluxで実験し、LLMによる指示文の書き換えで画像の多様性が増し、偏りが減ったと報告する。指定の少ない依頼では、表面的な違いにとどまらず解釈の幅が広がったと述べている。
確認できた本文の範囲では、指示文の件数、評価データの構成、属性の判定方法、指標名、数値、実験条件は示されていない。改善幅や結果の確かさはここから検証できない。著者らは指示文と生成画像を公開していると記しており、追試ではそれらと評価基準の確認が必要になる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：採用案内に載せる職場の人物画像の候補づくりに使う。案内文と「職場で話す社員」のような元の指示文を入力し、書き換えた文から画像を生成する。担当者が案内内容との一致と人物表現を確認して選ぶ。
追加学習用データは想定せず、案内文と元の指示文を入力資料とする。人物表現を比較するには属性の記録用ラベルと判定基準が要る。センサーは使わず、職場や場面の指定を保つよう書き換え方針を用途に合わせて調整する。この用途での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：採用案内で使う短い指示文と対応する案内文を少数用意する。元の文とLLMで書き換えた文を同じ画像生成モデルに入力し、得られた画像群を比べる。追加学習用データは想定せず、書き換え方針は職務や場面の指定を保つよう調整する。
基準は書き換えなしの画像群とする。事前に人物属性の記録用ラベル、案内文への適合基準、対象集団の人口統計を使う場合の基準値を決める。人が属性分布、適合した画像の割合、意図から外れた画像の件数を確認する。センサーは使わない。
限界と課題
著者らは、詳しい指示文では生成結果が利用者の元の意図から外れる場合があると述べる。また、障害のある人の表現など、改善に限界が残る文脈を挙げている。
編集上の検証事項は、書き換え後も指定条件が保たれるか、人物属性をどう判定するか、用途に合う人口統計上の基準を設定できるかである。確認できた本文の範囲では具体的な書き換え規則や評価数値が分からず、導入先での改善幅は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Using LLMs as prompt modifier to avoid biases in AI image generators
This study examines how Large Language Models (LLMs) can reduce biases in text-to-image generation systems by modifying user prompts. We define bias as a model's unfair deviation from population statistics given neutral prompts. Our experiments with Stable Diffusion XL, 3.5 and Flux demonstrate that LLM-modified prompts significantly increase image diversity and reduce bias without the need to change the image generators themselves. While occasionally producing results that diverge from original user intent for elaborate prompts, this approach generally provides more varied interpretations of underspecified requests rather than superficial variations. The method works particularly well for less advanced image generators, though limitations persist for certain contexts like disability representation. All prompts and generated images are available at https://iisys-hof.github.io/llm-prompt-img-gen/
論文要旨に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01