アーカイブ / LLM
SDG論文の関連性判定が割れたとき、検索上位はどう変わるか
When LLMs Disagree
概要
- LLaMAとQwenは、SDG 1、3、7の抄録に対する判定で83.6％一致し、16.4％で食い違った。
- 著者らは、判定が割れた文書群に語彙上の差があり、共通の採点方法を使っても検索上位の構成が異なると報告した。
- 人手の正解判定に対する検索精度は示されていない。実用時には不一致文書を担当者が確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、When LLMs Disagreeの仕組み
- 01SDG別の論文抄録
- 02二つのモデルで判定
- 03不一致群の語彙分析
- 04検索上位を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SDGに関係する論文を探すには、関連語を組み合わせた検索で候補を集められる。ただし、語を含むことと、研究が目標に実質的に貢献することは同じではない。SDGは国連の持続可能な開発目標を指す。
大量の候補を人手で判定しにくいため、著者らは大規模言語モデルによる抄録の絞り込みに着目した。二つのモデルで採否が違えば、その後に検索上位へ現れる論文も変わりうる。
手法
著者らはSDG 1、3、7の語句検索で集めた抄録を、対象SDGとともにLLaMA 3.1–8BとQwen 2.5–7Bへ別々に入力した。同じ内容の指示で、目標への実質的な貢献について「関連あり／なし」と短い理由を返させる。例えばSDG 7の電池研究の抄録なら、両者の採否を並べ、片方だけが採用した場合に不一致群へ入れる。
不一致群は採用したモデルごとに分け、TF-IDFという、文書中の語の特徴を重みで表す方法で語彙を比較した。さらに同じ語の表現と類似度による採点を用い、検索上位でどちらの群が多いかを調べた。抄録の語から採用したモデルを予測できるかも検証し、不一致の傾向を出力した。
新規性
著者らの着眼点は、二つの大規模言語モデルの判定不一致を、正誤を決める対象ではなく、検索結果の変化を調べる手がかりにした点にある。同じ抄録と判定指示を使い、どちらのモデルだけが「関連あり」としたかで文書を分けた。
その二群について語彙を比較し、共通の採点方法で検索上位の構成を調べた。全体の一致率では分からない、採否の方向による違いを示そうとした研究である。
従来手法との違い
出発点は、関連語の条件を組み合わせて候補を集めるブール検索である。著者らは、関連語を含む論文が必ずしもSDGに実質的に貢献するとは限らないため、検索後に抄録の内容を判定する方法を検討した。
同じ候補にLLaMAとQwenの判定を付け、判定が割れた文書を共通の方法で採点した。比較対象は主に二つのモデルが採用した文書群であり、人手の正解判定を基準とした検索精度の改善比較ではない。
実験結果
著者らは2019～2023年の論文から、SDG 1、3、7それぞれの検索で被引用数上位２万件を取得した。整理後は抄録とSDGの組が46,755行、重複を除いた抄録が46,573件で、判定一致率は83.6％、不一致率は16.4％だった。偶然の一致を考慮するCohenのκは0.467と報告した。
不一致の方向を語から予測する分類器は、SDGごとの５分割交差検証でAUCが0.74を超えたと著者らは報告する。AUCは二群を区別する度合いを表す指標である。共通の採点による上位20件の構成は、SDG 7の中心ベクトルを使う条件でLLaMA採用群19件、Qwen採用群１件だった。人手判定を基準とする検索精度は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：大学の研究企画部門が、SDG 7に関わる自組織の論文を点検する。入力は検索で集めた抄録、DOI、対象SDGとし、二つのモデルの採否と理由を並べ、判定が割れた論文の確認一覧を出力する。
元データには対象論文の抄録と識別子が要る。不一致の方向を予測する補助モデルを学習するなら、両モデルの採否をラベルとして保存する。センサーは不要で、担当者が確認用の判定基準を定め、分野固有の語が採否に偏って結び付いていないか調べる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象SDGを一つ決め、既存の語句検索から得た抄録、DOI、対象SDGを固定する。同じ判定基準で二つのモデルを動かし、採否と理由を保存する。不一致予測を学習する場合の元データは抄録、ラベルは各モデルの採否であり、センサーは不要である。
基準線を語句検索だけの候補一覧とし、担当者が一部の抄録に確認用ラベルを付ける。不一致率、担当者の判定との一致、検索上位20件の構成を測る。対象分野の用語を確認して判定基準を調整する場合は、同じ候補集合で調整前後を比べる。
限界と課題
著者らは、SDGに対する質の高い段階的な関連性判定データがなく、大規模な専門家判定も難しいと述べる。したがって、モデル間の不一致は確認できても、どちらの採否が正しいかはこの比較だけでは決まらない。
編集上の検証事項は、担当者の判定との一致と、対象SDGや論文の時期を変えた場合の再現性である。順位分析の説明には、中心ベクトルを全抄録から作る記述と不一致群から作る記述が混在する。確認できた本文の範囲では、その条件を確定できず、後続の議論も途中で切れている。
出典
元のタイトル・要旨を確認する（英語）
When LLMs Disagree: Diagnosing Relevance Filtering Bias and Retrieval Divergence in SDG Search
Large language models (LLMs) are increasingly used to assign document relevance labels in information retrieval pipelines, especially in domains lacking human-labeled data. However, different models often disagree on borderline cases, raising concerns about how such disagreement affects downstream retrieval. This study examines labeling disagreement between two open-weight LLMs, LLaMA and Qwen, on a corpus of scholarly abstracts related to Sustainable Development Goals (SDGs) 1, 3, and 7. We isolate disagreement subsets and examine their lexical properties, rank-order behavior, and classification predictability. Our results show that model disagreement is systematic, not random: disagreement cases exhibit consistent lexical patterns, produce divergent top-ranked outputs under shared scoring functions, and are distinguishable with AUCs above 0.74 using simple classifiers. These findings suggest that LLM-based filtering introduces structured variability in document retrieval, even under controlled prompting and shared ranking logic. We propose using classification disagreement as an object of analysis in retrieval evaluation, particularly in policy-relevant or thematic search tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01