アーカイブ / AI Agent
質問文と話題別の回答者グラフを組み合わせ、専門家を探すTUEF
TUEF
概要
- TUEFは、質問文・タグによる検索と、採用回答の傾向から作った話題別の利用者グラフを併用して専門家を順位付けする。
- 著者のStackOverflow評価では、専門家が採用回答を出した5,000問を対象に、P@1が0.453、MRRが0.579だった。
- 内容側だけを使うTUEF CBとのP@1の差は統計的に有意ではない。社内利用には採用回答の記録と、分野別の検証が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TUEFの仕組み
- 01新しい質問とタグ
- 02話題層で候補収集
- 03回答者グラフ探索
- 04特徴量で順位付け
- 05専門家候補一覧
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TUEFは、質問投稿サイトで新しい質問に答えられそうな利用者を順位付けする。適切な人に質問を届けることは、回答を待つ時間やサイトへの信頼に関わる。専門家探索とは、質問に対して有力な回答者の短い一覧を作る課題である。
質問文との類似だけを手掛かりにすると、サイトに蓄積された利用者同士の関係は使われない。著者は、文章とタグによる検索に、同じ話題での採用回答の傾向から作った関係を加える。
手法
TUEFは過去の質問で一緒に使われたタグをまとめ、話題別のグラフを作る。グラフでは利用者が点、同じ話題で採用回答を出す傾向が似た利用者同士の関係が線になる。新しい質問ではタグに合う話題層を選び、似た過去の質問に答えた人と、グラフ上で中心的な人を候補にする。
続いて候補の周囲をグラフ上でたどり、追加の候補を集める。例えばデータベースのエラーに関する質問なら、そのタグに対応する層で過去の回答者を探す。最後に、回答履歴、質問文やタグとの関連、グラフ上の特徴などを数値化し、過去の正解から順位を学ぶLambdaMARTが候補に点数を付ける。
新規性
TUEFの特徴は、質問文とタグに近い過去の回答を探す方法と、話題ごとの利用者関係をたどる方法を、同じ候補選定に組み込んだ点にある。利用者間の線は、同じ話題で採用回答を出した傾向の類似度から作る。
候補を集めた後は、文章・タグとの関連、回答履歴、グラフ上の位置や探索経路を特徴量として順位を学習する。著者は、候補の選び方と順位に使う要素を追える点も利点として挙げる。
従来手法との違い
比較対象のBM25方式も、質問に対応する話題層の利用者を対象に、質問文やタグと過去の回答済み質問との一致度で並べる。TUEFは内容に基づく候補に加え、グラフ上で中心的な候補を集め、利用者間のつながりをたどって候補を広げる。
著者は、内容側だけを使うTUEF CB、関係側だけを使うTUEF NB、グラフを単一層にする方式、グラフ探索を省く方式も比較した。各構成要素の寄与を、同じ専門家探索課題で調べるための比較である。
実験結果
著者はStackOverflowの2020年7～12月のデータを時系列順に分けた。テスト用データは17,002問で、順位評価には採用回答者が論文の専門家条件を満たす最初の5,000問を使った。指標は1位の適中率P@1、正解が現れる順位を評価するMRRなどである。
著者の報告では、TUEFと内容側だけのTUEF CBのP@1は0.453対0.447、MRRは0.579対0.572だった。上位3件を評価するNDCG@3は0.578対0.573、上位100件の再現率R@100は0.874対0.849。著者の検定では、P@1の差は統計的に有意ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術質問を、回答できそうな担当者へ回す。新しい質問の件名・本文・タグを入力し、候補者の順位付き一覧を出力する。依頼先は担当者が一覧と質問内容を確認して決める。
必要な元データは、過去の質問、回答、回答者ID、タグ、採用回答の記録である。過去の採用回答者を学習用の正解ラベルとする。追加センサーは想定しない。社内向けには、タグの整理、回答者IDの対応付け、採用回答の記録方法の整備が要る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の質問・回答・タグ・回答者ID・採用回答を集め、古い期間を学習用、新しい期間を検証用に分ける。採用回答者を正解ラベルとし、タグの表記揺れと退職・異動した担当者の扱いを決める。追加センサーは使わない。
小規模な試作では、質問文とタグが似た過去質問の回答者を並べる方法を比較基準にする。候補1位に採用回答者が入る割合、上位候補に入る割合、質問分野ごとの差を測る。運用を判断する際は、候補者が実際に対応できるかも確認する。
限界と課題
確認できた本文の範囲では、著者による明示的な限界の記述は確認できない。報告された順位評価は、採用回答があり、その回答者が論文の専門家条件を満たす質問が対象である。未回答の質問や、条件を満たす専門家がいない質問での成績は、この数値からは分からない。
編集上の検証事項は、社内の採用回答が専門性を表すか、質問分野や担当者が変わっても順位が有用か、依頼が一部の人に集中しないかである。候補を選んだ経路や特徴量を追えることと、依頼する人が推薦理由を理解できることも分けて確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Towards Robust Expert Finding in Community Question Answering Platforms
This paper introduces TUEF, a topic-oriented user-interaction model for fair Expert Finding in Community Question Answering (CQA) platforms. The Expert Finding task in CQA platforms involves identifying proficient users capable of providing accurate answers to questions from the community. To this aim, TUEF improves the robustness and credibility of the CQA platform through a more precise Expert Finding component. The key idea of TUEF is to exploit diverse types of information, specifically, content and social information, to identify more precisely experts thus improving the robustness of the task. We assess TUEF through reproducible experiments conducted on a large-scale dataset from StackOverflow. The results consistently demonstrate that TUEF outperforms state-of-the-art competitors while promoting transparent expert identification.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01