アーカイブ / RAG / LLM
法律相談の会話を通した条文検索と回答を測るLexRAG
LexRAG
LexRAGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2. The distribution of query types.
概要
- 5往復の法律相談で、会話を踏まえた条文検索と回答生成を評価する。
- 1,013相談・5,065質問を収録し、法律専門家が回答と関連条文を付けた。
- 検索表の最良のRecall@10は33.33％で、条文検索には改善の余地がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LexRAGの仕組み
- 015往復の法律相談
- 02質問を整理
- 03関連条文を検索
- 04条文付きの回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
法律相談では、最初の質問だけで必要な事実がそろうとは限らない。会話が進むと「それ」「先ほどの件」のような指示語が現れ、別の問題へ話題が移ることもある。条文を探す仕組みには、最新の一文だけでなく文脈を読む力が求められる。
検索拡張生成（RAG）は、外部の文書を探してから、その内容を参照して回答を作る方法である。LexRAGは、法律相談で条文を正しく探せるかと、会話に沿った回答を作れるかを分けて評価するために作られた。
手法
LexRAGの各事例は、5往復の相談、専門家が作成した回答、関連条文と重要語からなる。検索課題では、過去の会話と現在の質問を入力し、候補条文から関係するものを選ぶ。回答生成課題では、会話と検索された条文を入力し、法律上の根拠を示した回答を作る。
たとえば相談者が前の発言を受けて「必要な書類は」と尋ねた場合、前の話題を補って検索語を作る。LexiTは、質問の整理、条文検索、回答生成を組み合わせて試す道具である。検索順位に正解条文が入るかを測り、回答は専門家の基準回答との比較でも評価する。
新規性
LexRAGは、法律相談を一問一答ではなく、事実関係が少しずつ明らかになる5往復の会話として評価するベンチマークである。法律専門家が回答、関連条文、重要語を付け、検索と回答生成を別々に測れるようにした点を著者らは特徴としている。
併せて、会話の前処理、条文検索、回答生成を組み合わせるLexiTを提供する。大規模言語モデルに基準回答と生成回答を比べさせる評価手順も用意し、回答の事実性や明瞭さを項目別に見る。
従来手法との違い
論文は、従来の法律AI評価には判例検索や判断予測など単発の課題が多く、相談の途中で代名詞が出たり話題が変わったりする状況を十分に測れないと説明する。LexRAGでは現在の質問だけでなく、過去のやり取りを踏まえて関連条文を探す。
検索実験では、BM25や意味に基づく検索器を、最後の質問、会話全体、質問履歴、質問の書き直しという入力方法で比較した。会話全文を渡せば必ず良くなるわけではなく、検索器と入力方法の組み合わせで成績が変わる。
実験結果
著者らは1,013件の5往復の相談、計5,065質問を収録したと報告する。中国の法律専門家11人が回答や関連条文を付けた。候補条文数は要旨とデータ構築節で17,228件、基本統計表では17,728件と食い違うため、単一の確定値として扱えない。
検索表ではGTE-Qwen2-1.5Bで質問を書き直した条件がRecall@10で33.33％、順位を考慮するnDCG@10で22.81％だった。BM25で最後の質問だけを使う条件はそれぞれ18.75％、12.21％。いずれも著者らの掲載値で、回答の法的妥当性を保証する数値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：中国法に関する相談窓口の回答案を、担当者が確認する前段階で作る。入力は相談者との過去のやり取りと最新の質問、検索対象の条文集で、出力は関連条文の候補と、それを参照した回答案にする。
担当者は引用された条文が質問の論点に合うか、必要な事実が会話中にそろっているかを確認する。条文が見つからない場合や論点が途中で変わった場合も記録し、回答を出す前に追加質問が必要な例として扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象を中国法の一つの相談分野に絞り、専門家が関連条文と回答を確認した会話例を用意する。最後の質問だけを使うBM25検索を基準に、会話から質問を書き直す方法についてRecall@10と引用条文の適合率を比べる。
回答案は専門家が、条文の取り違え、会話の事実の読み違い、必要な確認事項の欠落を数える。LexRAGの件数表記に差があるため、再現実験では使った条文集の実件数と版を記録する。
限界と課題
著者らの実験は、会話に沿った関連条文の検索が難しいことを示す。たとえば表に載る最良のRecall@10も33.33％で、候補を10件まで示しても正解条文を十分に拾えていない。回答の自動評価にも大規模言語モデルを判定役として使う設計上の限界がある。
編集上は、対象法域や条文の改正時点をそろえ、専門家が引用と解釈を再確認する必要がある。本文には候補条文数が17,228件と17,728件の二通りで記載されており、データを使う際は実際の収録件数も確認したい。
出典
元のタイトル・要旨を確認する（英語）
LexRAG: Benchmarking Retrieval-Augmented Generation in Multi-Turn Legal Consultation Conversation
Retrieval-augmented generation (RAG) has proven highly effective in improving large language models (LLMs) across various domains. However, there is no benchmark specifically designed to assess the effectiveness of RAG in the legal domain, which restricts progress in this area. To fill this gap, we propose LexRAG, the first benchmark to evaluate RAG systems for multi-turn legal consultations. LexRAG consists of 1,013 multi-turn dialogue samples and 17,228 candidate legal articles. Each sample is annotated by legal experts and consists of five rounds of progressive questioning. LexRAG includes two key tasks: (1) Conversational knowledge retrieval, requiring accurate retrieval of relevant legal articles based on multi-turn context. (2) Response generation, focusing on producing legally sound answers. To ensure reliable reproducibility, we develop LexiT, a legal RAG toolkit that provides a comprehensive implementation of RAG system components tailored for the legal domain. Additionally, we introduce an LLM-as-a-judge evaluation pipeline to enable detailed and effective assessment. Through experimental analysis of various LLMs and retrieval methods, we reveal the key limitations of existing RAG systems in handling legal consultation conversations. LexRAG establishes a new benchmark for the practical application of RAG systems in the legal domain, with its code and data available at https://github.com/CSHaitao/LexRAG.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29