アーカイブ / RAG / LLM
検索順位から回答の根拠まで、人とLLMの評価を集めるRankArena
RankArena
RankArenaの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 . Screenshot of the RankArena interface with added explanations of each tab (1-9) showcasing the system’s main evaluation modes and tools.
概要
- RankArenaは検索結果の順位とRAG回答を、匿名の二者比較や文書リスト全体の注釈で評価する。
- 著者らの運用集計は人の投票102件、人とLLMの平均判断一致率74.2％だった。
- 投票が一部の手法に偏るため、順位表は質問と投票数を踏まえて読む必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RankArenaの仕組み
- 01質問と候補文書
- 02二方式の順位と回答
- 03人・LLMが比較
- 04投票と注釈記録
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索拡張生成（RAG）は、検索した文書を参照して回答を作る方式である。回答が悪いとき、関連文書を拾えなかったのか、文書の並びが悪かったのか、生成時に根拠を取り違えたのかを分けて調べる必要がある。
RankArenaは、検索結果と回答を人と大規模言語モデル（LLM）の双方が評価できるようにする。利用者にとって役立つ順序や回答かを、共通の記録として残すための基盤である。
手法
質問と候補文書を入れると、再順位付け器が検索結果を並べ直す。評価者は二つの文書リストを方式名を伏せた状態で比較して投票できる。別の画面では、文書を直接並べ替えたり、関連度を付けたりする。再順位付けとは、いったん集めた文書を質問への適合度で並べ直す処理を指す。
RAGの評価では、各方式の文書リストと生成回答、主な根拠文書をまとめて示す。LLM評価器にも関連性、順序、回答の正しさ、根拠との一致を判断させる。たとえば規程の質問なら、該当条文が上位にあるかと、回答がその条文に沿うかを別々に確かめられる。結果は投票や注釈時間を含むデータとして保存される。
新規性
RankArenaは、検索文書の並び替え、検索結果に基づく回答、人手の注釈を一つの評価基盤で扱う。二つの出力への選好だけでなく、文書リスト全体の並べ替えや関連度の記録も集める点が特徴である。
評価時の順位移動、注釈時間、品質評価も構造化して保存する。著者らは、この記録を再順位付けモデルや評価モデルの学習に再利用できる形にすることを狙っている。
従来手法との違い
従来の固定的な検索ベンチマークは、定められたデータと指標でモデルを比べる。RankArenaは同じ質問に対する二つの出力を名前を伏せて見せ、人またはLLMが好ましい方を選ぶ結果も集計する。回答を比べる場合は、提示文書との整合も評価対象に含む。
論文は固定指標を置き換えるとはしていない。順位表では投票の勝率から算出した評価値を使い、BEIRという検索ベンチマークの得点も補助的に示す。
実験結果
著者らの運用集計は、人の投票102件、投票を得たモデル36、BEIR得点を持つモデル80、人とLLMの平均判断一致率74.2％である。評価基盤には24種類の再順位付け手法、84モデル、5種類の検索器を組み込み、WikipediaとMS MARCOの文書集合を利用したと報告する。
BEIRの分析では、平均得点とDBPediaの得点の相関が0.84、NFCorpusとの相関は0.27だった。著者らは課題間で測る性質が異なることを示す材料としている。twolarのBEIR平均得点は52.8と報告されるが、これだけで人の選好や回答品質を代表する値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程を検索して答える仕組みの改修候補を比較する。同じ社員の質問を二つの検索・再順位付け手順へ入力し、上位文書、生成した回答、回答の根拠となった文書を並べる。
評価担当者には手順名を伏せ、文書の関連度、回答の有用性、根拠との一致を確認してもらう。質問ごとの投票と注釈時間を保存し、順位の改善が回答の改善につながった事例を追う。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内の実際の質問を小規模に集め、現行の検索手順と候補の手順を同じ質問で比較する。方式名を隠して文書リストと回答を評価し、上位文書の関連度、回答の根拠一致率、投票の勝率を記録する。
同じ質問の一部は複数の担当者に割り当て、人同士の判断の一致も確かめる。LLMによる投票は人の判断と照合し、食い違った例を読んで評価基準を直す。投票数を方式ごとに併記して差を判断する。
限界と課題
著者らの集計では人の投票が102件で、投票を得たモデルは36だった。投票は一部の手法に偏っており、少数票のモデルまで安定した優劣が得られたとは読めない。人とLLMの判断の一致も完全ではない。
編集上の確認点は、自社の質問と文書で評価者が同じ基準を使えるか、根拠に忠実でも実務上不十分な回答を見分けられるかである。順位表の値は評価に参加した質問と投票の分布を踏まえて読む必要がある。
出典
元のタイトル・要旨を確認する（英語）
RankArena: A Unified Platform for Evaluating Retrieval, Reranking and RAG with Human and LLM Feedback
Evaluating the quality of retrieval-augmented generation (RAG) and document reranking systems remains challenging due to the lack of scalable, user-centric, and multi-perspective evaluation tools. We introduce RankArena, a unified platform for comparing and analysing the performance of retrieval pipelines, rerankers, and RAG systems using structured human and LLM-based feedback as well as for collecting such feedback. RankArena supports multiple evaluation modes: direct reranking visualisation, blind pairwise comparisons with human or LLM voting, supervised manual document annotation, and end-to-end RAG answer quality assessment. It captures fine-grained relevance feedback through both pairwise preferences and full-list annotations, along with auxiliary metadata such as movement metrics, annotation time, and quality ratings. The platform also integrates LLM-as-a-judge evaluation, enabling comparison between model-generated rankings and human ground truth annotations. All interactions are stored as structured evaluation datasets that can be used to train rerankers, reward models, judgment agents, or retrieval strategy selectors. Our platform is publicly available at https://rankarena.ngrok.io/, and the Demo video is provided https://youtu.be/jIYAP4PaSSI.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30