アーカイブ / RAG
反論文の検索精度を測り直す、全組み合わせを確認したデータセット
FC-CONAN
FC-CONANの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: HIT RATIO@10 across the twelve systems (glossary in Section 4.3 ).
概要
- 45件の英語ヘイト発言と129件の反論文について、全5,805通りを判定対象にした。
- 判定の一致と検証結果に応じた四つの入れ子の評価集合を公開した。
- 著者らの検索実験では、適切な組の記録漏れが評価点を押し下げた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FC-CONANの仕組み
- 01英語の発言と反論文
- 02全組を人手判定
- 03別担当者が検証
- 04四つの評価集合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FC-CONANは、ヘイト発言に合う反論文を検索する仕組みの評価用データセットだ。反論文とは、攻撃的な主張に事実と非攻撃的な言葉で応じる文章を指す。検索器が役立つ候補を出しても、正解表にその組が未登録なら、評価では見逃される。
この問題は運用前の比較に響く。低い点数が検索器の失敗を示すのか、正解表の抜けを示すのか区別できなければ、担当者に提示する仕組みを選びにくい。
手法
著者らはCONANの英語部分からヘイト発言45件を選び、元の反論文に似た別の反論文を集めた。元から組になっていた文は除き、反論文129件との全5,805通りを作成した。例えば一つの投稿に対し、元の相手が書いた反論だけでなく、別の投稿向けに作られた反論も合うかを調べる。
九人の判定者が組ごとの適切さを判定し、意見が割れた組は調整した。さらに四人の別の検証者が判定を確認した。Diamond、Gold、Silver、Bronzeは入れ子の集合で、判定者の一致や検証結果に応じて含める組を増やす。出力は、各組の適否と評価に使う集合である。
新規性
FC-CONANの新しさは、選んだヘイト発言45件と反論文129件の全5,805通りを、人が評価対象として確認した点にある。既存のCONANでは記録されていなかった組み合わせにも、適切な反論が多数見つかった。
さらに、判定者の一致と検証者の確認状況に応じて、信頼性と件数が異なる四つの集合を用意した。検索器の評価で、どの判定基準を使ったか明示できる。
従来手法との違い
元のCONANはヘイト発言と反論文の組を収録するが、可能な組み合わせの一部しか判定していない。未記録の組を不適切とみなすと、実際には妥当な検索結果まで誤りとして数えるおそれがある。
著者らは同じ検索結果をCONANとFC-CONANの各集合で採点した。今回の候補群ではCONANに適切と記録された組がなく、CONANだけを正解表にすると各指標がゼロになった。判定済みの適切な組を増やすほど、測定値は上がった。
実験結果
著者らによると、判定後に残った組は5,032件で、適切が889件、不適切が4,143件だった。検証結果から作った四集合は、Diamondが551件、Goldが663件、Silverが3,580件、Bronzeが3,997件。Bronzeには検証者が承認しなかった417件も含まれる。
検索実験では、学習対象と評価対象の発言・反論文が重ならないようにし、12方式が共通の反論文100件から上位10件を選んだ。著者らは複数指標で判定集合による点数差を報告し、四指標を集約した平均値はSentence-BERTのMPNET版が0.3283、無作為選択が0.1500だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：オンライン相談窓口で、担当者が差別的な投稿に対する既存の反論文を探す場面に使う。入力は投稿文、出力は確認済みの候補文と、その投稿に合うかを人が判断するための一覧とする。
検索器が候補を十件並べ、担当者が事実関係と語調を確認して採否を決める。FC-CONANは、この検索器を選ぶ前の試験用に使い、未判定の候補を機械的に誤答扱いする評価を避ける。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：担当者が扱う投稿と既存の反論文から小さな評価表を作り、投稿と候補文の組を複数人で判定する。検索方式は、論文にある語句の一致を使うTF–IDFと、文章の意味を数値化して比べる方式を同じ候補集で比較する。
上位10件に適切な候補が一つ以上ある割合と、担当者が実際に採用した候補の順位を記録する。判定が割れた組を除いた場合にも順位が保たれるかを確認し、見逃し例を人が読み直す。
限界と課題
著者らが挙げる範囲の限界は、英語の45発言と129反論文に対象を絞ったことだ。CONAN全体の全組み合わせを判定したわけではない。判定者も若く高学歴の英語話者に偏り、文化的背景による判断の違いは十分に調べられていない。
編集上の確認点として、別の話題や言語でも同じ検索順位になるか、反論の適切さについて担当者間で判断が一致するかを調べたい。Bronzeには検証者が承認しなかった組も含まれるため、用途に応じて集合を選ぶ必要がある。
出典
元のタイトル・要旨を確認する（英語）
FC-CONAN: An Exhaustively Paired Dataset for Robust Evaluation of Retrieval Systems
Hate speech (HS) is a critical issue in online discourse, and one promising strategy to counter it is through the use of counter-narratives (CNs). Datasets linking HS with CNs are essential for advancing counterspeech research. However, even flagship resources like CONAN (Chung et al., 2019) annotate only a sparse subset of all possible HS-CN pairs, limiting evaluation. We introduce FC-CONAN (Fully Connected CONAN), the first dataset created by exhaustively considering all combinations of 45 English HS messages and 129 CNs. A two-stage annotation process involving nine annotators and four validators produces four partitions-Diamond, Gold, Silver, and Bronze-that balance reliability and scale. None of the labeled pairs overlap with CONAN, uncovering hundreds of previously unlabelled positives. FC-CONAN enables more faithful evaluation of counterspeech retrieval systems and facilitates detailed error analysis. The dataset is publicly available.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29