アーカイブ / RAG
ネパール語の法律質問に判例検索を組み合わせるRAG
Nepali Legal RAG
概要
- 著者らは、ネパール語の法律質問に対し、アーカイブから抽出した判例を検索して回答生成に使うRAGを提示した。
- 分割した判例の先頭検索結果の適合率は、著者らの報告ではBM25が91％、多言語E5 largeが最大75％だった。
- BM25による検索を使った生成回答について、人によるtruthfulness評価は84％、回答生成の成功率は92％と著者らは報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Nepali Legal RAGの仕組み
- 01ネパール語の質問
- 02分割した判例を検索
- 03判例を参照して生成
- 04法律質問への回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ネパール語の法律質問に答えるには、関係する判例を見つけ、その内容に沿って回答する必要がある。著者らは、ネパール語の法律文書が少なく、大規模言語モデルをこの分野の文章で訓練しにくいことを課題に挙げる。
そこで、回答時に判例を検索して参照する方法を扱う。判例を適切に見つけられるか、その内容に沿った回答を作れるかが、利用を考える際の焦点となる。
手法
この研究は検索拡張生成、略してRAGをネパール語の法律質問応答に用いる。RAGは、質問に関連する文書を探し、その文書を参照して回答を作る方法である。参照資料にはNepal Kanun Patrikaのデジタルアーカイブから抽出した判例を使い、判例を小さな単位に分けて検索する。
例えば、ネパール語で法律上の論点を尋ねると、検索段階で関連する判例の部分を探し、生成段階でそれを踏まえた回答を作る。検索にはBM25と多言語E5 largeを用いた結果が報告されている。判例をどう分割し、検索結果を生成モデルにどう渡したかという具体的な手順は、確認できた本文の範囲では分からない。
新規性
著者らは、ネパール語の法律質問応答に検索拡張生成を適用した初の研究だと位置づける。Nepal Kanun Patrikaのデジタルアーカイブから抽出した判例を使い、検索から回答生成までをつなぐ構成を示した。
確認できた本文の範囲では、新しい検索アルゴリズムや生成モデルを開発したという主張はない。新規性の主張は、ネパール語の法律分野への適用にある。
従来手法との違い
検索について、著者らは分割した判例を対象にBM25と多言語E5 largeの結果を報告する。BM25は質問と文書に含まれる語を手掛かりに探す方式で、E5 largeは文章を数値表現に変えて関連性を調べるモデルである。
先頭の検索結果が適合する割合は、BM25で91％、E5 largeで最大75％と報告された。評価条件の詳細は確認できず、この数値から両方式の一般的な優劣や、生成回答の差までは判断できない。
実験結果
著者らは、分割した判例の検索について、先頭の検索結果が適合する割合を表すprecision at oneを報告した。BM25では91％、多言語E5 largeでは最大75％だった。評価した質問数やデータの分け方は確認できない。
BM25で判例を検索した場合の生成回答について、著者らは根拠文書との整合をみるgroundednessを74％、自動判定モデルによるtruthfulnessを85％、人によるtruthfulness評価を84％、回答生成の成功率を92％と報告する。truthfulnessは回答が事実に沿うかをみる評価だが、各指標の採点基準や成功の定義は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ネパール語の判例を調べる担当者に、法律上の質問から関連する判例と回答案を並べて示す。入力は質問、出力は判例の該当箇所と回答案とし、担当者が判例原文と照合して利用を判断する。
必要な資料は対象業務で参照する判例本文である。追加学習をしない試作なら学習用データは不要だが、検証には質問、関連判例のラベル、人が確認した回答が要る。専用センサーは使わず、判例の整形・分割とネパール語の表記調整を行う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の判例本文を整形・分割し、同じネパール語の質問集合でBM25と多言語E5 largeを比べる。質問ごとに関連判例のラベルを人が付け、先頭結果の適合率を測る。回答案も担当者が判例原文と照合する。
追加学習をしない試作では学習用データを設定せず、評価用に質問、関連判例ラベル、確認済み回答を用意する。専用センサーは不要で、表記の揺れを調整して対象判例に適用する。根拠との整合、事実性、回答できた割合を測り、既存の手作業による回答とも比べる。
限界と課題
著者が明示した個別の限界は、確認できた本文の範囲では分からない。質問数、判例の分割方法、生成モデル、各指標の採点基準は示されておらず、報告値のばらつきや再現性を判断する材料が足りない。
編集上の検証事項は、検索された判例が回答を実際に支えるか、利用者が根拠箇所をたどれるか、適切な判例が見つからない場合にどう応答するかである。法律実務での利用可否は、対象業務の質問と判例原文を使って別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Retrieval Augmented Generation Framework for the Nepali Legal Domain Question Answering
Legal domains in high-resource languages like English have widely adopted artificial intelligence for legal question answering. However, data scarcity in low resource languages such as Nepali has limited the training of large language models on Nepali legal texts. This study presents the first application of a Retrieval Augmented Generation based model for Nepali legal question answering using case laws extracted from the Nepal Kanun Patrika digital archive. Using BM25 on chunked documents, the approach achieved a top precision at one of 91 percent, and up to 75 percent with the multilingual E5 large model. Evaluation of generated answers showed 74 percent groundedness, 85 percent truthfulness according to an automated judge model, and 84 percent human evaluated truthfulness when using BM25 document retrieval, with a 92 percent successful answer generation rate. These results demonstrate that the RAG pipeline can effectively address the gap in legal question answering for low resource languages and provide a foundation for reliable AI systems in the Nepali legal domain.
論文要旨に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01