アーカイブ / LLM
段落内の関係から引用候補を探す――SCIDOCA 2025での検索と最終選択
Relation-based Zero-shot Retrieval
Relation-based Zero-shot Retrievalの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of our system.
概要
- 段落内の概念間の関係を使って候補要約を検索し、LLMが引用先のIDを選ぶ。
- 著者らの1,000件での評価では、上位10件の検索F1スコアは関係ベースが0.344、密ベクトル検索が0.3354だった。
- LLMによる最終選択のF1スコアは関係ベースが0.2912で、TF-IDFとの組み合わせの0.2980を下回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Relation-based Zero-shot Retrievalの仕組み
- 01引用対象の段落
- 02概念間の関係を抽出
- 03候補要約を検索
- 04引用IDを選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、執筆中の段落に対応する引用先を、あらかじめ用意された論文要約の集合から探す。SCIDOCA 2025の課題では、段落と要約が長く、内容の似た紛らわしい候補も含まれるため、正しい文献を選ぶのが難しい。
引用が誤っていると、読者は記述の根拠を追って確かめにくい。候補の検索と最終選択を支援できれば、執筆者が原文を確認する対象を絞れる。
手法
入力は引用先を探す段落と、IDが付いた候補要約の集合である。まず大規模言語モデル（LLM）に指示を与え、段落に含まれる概念とその関係を取り出す。例えば、段落が「ある手法が特定の課題に対処する」と述べていれば、手法と課題の結び付きを検索の手がかりにする。関係の三つ組とは、二つの対象と両者の関係を一組で表したものを指す。
次に、その情報を使って候補要約から関連するものを検索する。LLMが元の段落と絞られた要約を比べ、引用先と判断した要約のIDを出力する。著者らの実験では検索段階で上位20文書を集め、関係抽出と最終選択の両方にMistral-7B-Instruct-v0.3を用いた。関係から検索順位を計算する詳細は、確認できた本文の範囲では明らかでない。
新規性
著者らの提案は、引用先を探す段落から概念間の関係を取り出し、それを手がかりに候補要約を絞ってから大規模言語モデルに引用IDを選ばせる構成にある。内容の似た要約を区別するため、段落中で概念がどう結び付くかに着目する。
確認できた本文の範囲では、新しいモデルの学習は報告されていない。提案の中心は、関係を使った検索と、絞った候補からの最終選択をつなぐ手順である。
従来手法との違い
比較対象は、語の頻度と文書集合内での珍しさを使うTF-IDF検索、および文章を数値ベクトルに変えて近さを比べる密ベクトル検索である。提案手法では、段落から抽出した関係を検索の手がかりにする。
表1の上位10件では、関係ベース検索のF1スコアは0.344、密ベクトル検索は0.3354だった。一方、表2の大規模言語モデルによる最終選択では、関係ベースの0.2912はTF-IDFとの組み合わせの0.2980を下回る。検索段階の差を最終選択まで一般化はできない。
実験結果
著者らは、SCIDOCA 2025が提供した訓練データから無作為に選んだ1,000件の問い合わせで評価した。表1は検索結果の再現率、適合率、F1スコアを上位10・15・20件で比較する。上位10件の関係ベース検索は順に0.8506、0.2156、0.344で、密ベクトル検索のF1スコア0.3354を上回った。
表2のLLMによる最終選択では、関係ベースのF1スコアは0.2912、TF-IDFとの組み合わせは0.2980、密ベクトル検索との組み合わせは0.2884だった。最高値はTF-IDFとの組み合わせである。なお、本文は表1の0.8506を適合率の例として説明するが、表では再現率に記載されている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術報告書を書く担当者が、根拠を付けたい段落と、参照対象の報告書要約・文書IDを入力する。システムが引用候補のIDを返し、担当者が原文と段落の対応を確認してから引用を確定する。
準備するデータは検索対象の要約とID、評価用の段落と確認済みの正しい引用IDである。追加のセンサーは使わない。社内用語に合わせて関係抽出の指示文と候補の渡し方を調整する必要があり、この用途での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の社内文書を少数に絞り、段落、候補要約、文書ID、担当者が原文で確認した正しい引用IDを用意する。追加のセンサーは不要である。社内用語に合わせて関係抽出の指示文を調整し、同じ候補集合に対するTF-IDF検索を比較基準にする。
調整に使う段落と評価用の段落を分け、評価用の正解IDを先に固定する。正しいIDが上位10件に入る割合、最終出力のF1スコア、誤引用件数を比べる。担当者が原文確認に要した時間も記録し、候補を絞ることが実務上の助けになるか確かめる。
限界と課題
本文には、候補数を増やすと再現率が上がり適合率が下がる傾向が示されている。著者らは今後の課題として、両者の調整やグラフを用いた関係の扱いを挙げる。ただし、本文で適合率の例とする上位10件の0.8506は、表1では再現率の欄にある。
編集上の検証事項は、候補集合が変わっても正しい引用が残るか、提示された誤引用を担当者が見抜けるかである。確認できた本文の範囲では、処理時間、費用、別の文書集合での結果は分からない。
出典
元のタイトル・要旨を確認する（英語）
Team LA at SCIDOCA shared task 2025: Citation Discovery via relation-based zero-shot retrieval
The Citation Discovery Shared Task focuses on predicting the correct citation from a given candidate pool for a given paragraph. The main challenges stem from the length of the abstract paragraphs and the high similarity among candidate abstracts, making it difficult to determine the exact paper to cite. To address this, we develop a system that first retrieves the top-k most similar abstracts based on extracted relational features from the given paragraph. From this subset, we leverage a Large Language Model (LLM) to accurately identify the most relevant citation. We evaluate our framework on the training dataset provided by the SCIDOCA 2025 organizers, demonstrating its effectiveness in citation prediction.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01