アーカイブ / LLM
新しいLLMほど発想は似るのか――3年間の公開モデルを比較
LLM Creative Output Convergence
LLM Creative Output Convergenceの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Methodology overview: we select open-ended prompts designed to elicit creative behavior from models; run these against different model lineages ; embed model outputs in a semantic space to compute their semantic distance ; and perform a regression analysis to understand changes in semantic distance over time.
概要
- 異なる提供元のLLMに同じ自由回答型の問いを与え、回答間の意味上の距離を公開時期ごとに比較した。
- 著者らは、物の意外な使い道を問う課題と利用者由来の問いの両方で、新しい公開時期ほど回答距離が縮む傾向を報告した。
- 各モデルの各問いへの回答は一回であり、提供元をまたぐ学習上の共通点や利用者の問い方の影響は切り分けられていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLM Creative Output Convergenceの仕組み
- 01創造課題と利用者の問い
- 02各モデルの回答
- 03回答を数値化
- 04提供元間の距離
- 05公開時期別の傾き
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMを発想支援に使うとき、個々の提案がもっともらしくても、複数のモデルから似た案ばかり出れば、利用者が検討できる選択肢は狭くなる。正答のある問題の成績だけでは、この重なりは把握しにくい。
著者らは、公開時期の異なるモデルに自由回答型の問いを与え、提供元をまたぐ回答の内容がどう変わるかを調べた。焦点は一つひとつの回答の出来栄えではなく、モデル間で得られる発想の幅である。
手法
著者らは、本などの意外な使い道を挙げるAlternate Uses Taskの10問と、実際の利用者に由来する自由回答型のInfinity-Chat100の100問をモデルに与えた。回答はall-MiniLM-L6-v2で「埋め込み」という意味を表す数値列に変換する。前者では一つの物について挙げた使い道の全体を一つの回答として扱い、後者では各問の回答を別々に扱う。
次に、同じ問いへの回答を異なる提供元のモデル間で比べ、数値列の向きの違いを表すコサイン距離を求める。値が小さいほど意味が近い。問いごとの距離をモデルの組ごとに平均し、公開月を九つの区間にまとめて回帰分析する。回帰分析は、区間が進むにつれて距離がどう変わるかを傾きで表す方法である。
新規性
著者らが示すのは、創造的な回答を個別に採点するのではなく、異なる提供元のモデルが同じ問いに出した回答の意味上の距離を、公開時期に沿って調べる方法である。公開時期はモデルの変化を追うための目印として使う。
身近な物の意外な使い道を問う課題と、実際の利用者に由来する自由回答型の問いを併用した。著者らは、特定時点のモデルを比べる既存研究に対し、時期をまたぐ変化を調べた点を本研究の貢献と位置付ける。
従来手法との違い
正答が決まった一般的な評価では、モデルの回答を正解や採点基準と照らす。本研究では、同じ問いに対する異なる提供元のモデル同士の回答を照らし合わせ、内容の近さを測る。距離の値は回答の品質点ではない。
著者らによれば、既存の回答の類似性に関する研究は、特定時点のモデルを比べるものが中心だった。本研究は公開時期別の変化を調べるが、人間の回答との優劣や、個々の提案が実用的かどうかを直接評価する設計ではない。
実験結果
著者らは、2023年3月から2026年7月に公開された12提供元のモデルを調べた。結果表ではAlternate Uses Taskが68モデル・273組、Infinity-Chatが67モデル・268組である。各モデルには各問いを一回ずつ与え、同じ問いに対する異なる提供元の回答間の平均コサイン距離を測った。
各区間で提供元ごとのモデル数の偏りを抑える再抽出を1,000回行い、著者らは両課題とも全回で傾きが負だったと報告する。九つの公開時期区間に対する区間当たりの傾きの中央値は、前者が−0.01385、後者が−0.00167。調べた条件では、新しい公開時期ほど回答間の意味上の距離が縮む傾向を示す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：商品企画の初期会議で、複数のLLMが出す利用場面の重複を確認する。各モデルに同じ商品説明と問いを入力し、提案一覧と、担当者が内容の近い案をまとめた確認表を出力する。
必要な元データは自社の商品説明と会議で使う問いで、正解ラベルやセンサーは不要である。担当者が商品固有の条件に合わせて問いを調整し、各案の実現可能性を判断する。論文の観測結果から、この使い方で企画の質が上がるとは言えない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自社の企画会議で使う問いを少数集め、同じ商品説明を添えて複数モデルに入力する。元データは商品説明、問い、比較用の過去の企画案とする。正解ラベルやセンサーは不要で、担当者が商品固有の条件に合わせて問いを調整する。
まず過去案の重複を人手で整理し、比較の基準にする。新たな出力も担当者が内容の重複、実現可能性、異なる視点の有無を確認し、重複した案の割合と残した異なる案の数を記録する。問いの言い換えや回答回数による差も確かめる。
限界と課題
著者らが挙げる限界は、提供元が違っても学習データや学習手法などを共有している可能性を除けないこと、各モデルの各問いへの回答が一回であること、利用者の問い方の影響を分析していないことだ。利用者由来の問いには、似た出力を求めるものが一部含まれるとも述べる。
編集上の検証事項は、問いの種類や回答の長さごとに傾向が続くか、別の意味の測り方でも同じ傾向が出るかである。公開時期と距離の関連は、時間の経過自体が回答の類似を引き起こした証拠ではない。
出典
元のタイトル・要旨を確認する（英語）
Are LLMs becoming similarly creative? Evidence from three years of models
Many benchmarks track Large Language Model (LLM) performance on tasks with verifiable answers, but less is known about how LLM performance is evolving on open-ended tasks, where creativity, originality and diversity may matter as much as quality. As LLMs increasingly support human ideation and creative work, understanding trends in LLM performance on open-ended tasks is critical. This paper presents a preliminary analysis of LLM creative outputs spanning three years of model releases, examining model responses to Infinity-Chat100, a real-world collection of open-ended user queries, and the Alternate Uses Task, an established psychometric creativity assessment. Using sentence-embedding similarity, we examine trends in LLM responses to these prompts. Our findings show a statistically significant decrease in model output diversity over time, suggesting that LLM outputs may be converging in creative substance across models. If this trend persists, LLM-driven homogenization may progressively diminish human agency in human-AI co-creative work, demanding careful consideration of LLMs' role in the human creative process.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01