アーカイブ / RAG / LLM
英語・ベンガル語の警察官報検索で、回答前に文書の関連性を確認する
LegalRAG
LegalRAGの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : A sample response generated by the conventional RAG pipeline (Vanilla RAG) and our proposed pipeline (Advanced RAG) for a given user query. Our proposed advanced RAG pipeline improves the response by retrieving an additional relevant text chunk for the LLM while eliminating an irrelevant one retrieved by the Vanilla RAG pipeline. The orange symbols indicate the English translation of the Bangla texts.
概要
- 英語とベンガル語が混在する警察官報を対象に、検索結果の関連性確認と質問の言い換えをRAGに追加した。
- 官報13件から作った質問・正答168組で、Llama 3.1（8B）の人手評価平均は3.41から3.70、平均コサイン類似度は0.76から0.82になった。
- 対象外質問への誤答が著者らの報告する課題であり、分野別結果には通常方式と提案方式が同値の項目もある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LegalRAGの仕組み
- 01官報PDFと質問
- 02二言語OCR・分割
- 03文書片検索
- 04関連性確認・再検索
- 05回答生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LegalRAGは、バングラデシュ警察官報から質問に関係する記述を探して回答する。官報には英語とベンガル語が混在し、構造も複雑なため、必要な通知を特定しにくい。
著者らは、ベンガル語では注釈付きデータが少ないことも課題に挙げる。検索で無関係な箇所を選ぶと、その箇所を材料にした回答もずれ得るため、回答前に検索結果を確かめる手順を設けた。
手法
官報PDFのページを画像に変え、OCR（画像内の文字を読み取る処理）で英語とベンガル語の本文を取り出す。本文を短い文書片に分け、多言語の埋め込みモデルで数値表現に変換して保存する。質問も同じ方法で変換し、意味が近い文書片を検索する。
提案方式では、検索結果と質問を追加の大規模言語モデルに渡して関連性を判定する。関連しなければ質問の意味を保つよう言い換えて再検索し、この処理を最大3回行う。例えば警察の手続きに関する通知を尋ねると、関連すると判定された官報の文書片と質問を回答生成モデルに渡し、回答文を作る。
新規性
LegalRAGの提案点は、検索した文書片を回答生成に渡す前に、追加の大規模言語モデルで質問との関連性を判定することだ。関連しない場合は、質問の意味を保つよう言い換えて再検索する。
著者らは、この二つの処理を英語とベンガル語が混在する官報向けのRAGに組み込んだ。新しい回答生成モデルではなく、回答に使う文書片を選ぶ手順の提案である。
従来手法との違い
比較対象は通常のRAG（検索で得た文書を使って回答を生成する方式）だ。両方式とも官報を文書片に分け、質問に近い箇所を検索して、回答生成モデルに渡す。
通常方式は検索結果をそのまま渡す。提案方式は関連性を確認し、必要なら質問を言い換えて再検索する。確認できた本文の範囲では、関連性判定と言い換えを個別に外した比較結果は示されていない。
実験結果
著者らは、2016～2023年の警察官報13件、計81ページを使った。本文からGPT-4oで生成し、著者2人が照合したベンガル語の質問・正答168組で評価している。回答は評価者3人が正確さと文章の質を5段階で採点し、正答との平均コサイン類似度も測った。
Llama 3.1（8B）を回答生成に使った条件では、人手評価の平均が通常方式3.41、提案方式3.70、平均コサイン類似度が0.76から0.82になったと著者らは報告する。全体平均は他の2モデルでも上がったが、分野別の表には同値の項目がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：組織内の英語・ベンガル語の規程通知PDFを、担当者が質問で探せる窓口にする。入力は通知と質問、出力は回答候補と参照した文書片とし、担当者が原文を確かめて利用する。
原資料を文字に起こして分割し、文書片を検索できる形に整える。追加学習用データは前提とせず、検証には質問・正答・根拠箇所・対象外かどうかのラベルを人手で用意する。PDF以外のセンサー入力は想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象とする通知PDFを少数選び、英語・ベンガル語のOCR結果を原文と照合する。追加学習用データは用意せず、担当者が質問、正答、根拠箇所、対象外質問のラベルを作る。入力はPDFと質問で、別のセンサーは不要とする。
同じ文書片と回答生成モデルを使い、通常のRAGを基準に提案手順を比較する。根拠箇所を拾えた割合、回答の正確さ、対象外質問への誤答、再検索回数と応答時間を記録する。誤読や言い換えによる意味のずれは、原文と質問を見直して調整する。
限界と課題
著者らは、官報の内容と関係しない質問に対し、RAGが自信ありげな誤答を出す傾向を報告している。Llama 3.1（8B）の対象外質問における平均コサイン類似度は、通常方式と提案方式でともに0.45だった。
編集上の検証事項は、別の文書群への適用、OCRによる誤読、言い換え後の意味の保持、根拠がない場合の回答抑制である。確認できた本文の範囲では、関連性判定と再検索によって増える応答時間の比較値は示されていない。
出典
元のタイトル・要旨を確認する（英語）
LegalRAG: A Hybrid RAG System for Multilingual Legal Information Retrieval
Natural Language Processing (NLP) and computational linguistic techniques are increasingly being applied across various domains, yet their use in legal and regulatory tasks remains limited. To address this gap, we develop an efficient bilingual question-answering framework for regulatory documents, specifically the Bangladesh Police Gazettes, which contain both English and Bangla text. Our approach employs modern Retrieval Augmented Generation (RAG) pipelines to enhance information retrieval and response generation. In addition to conventional RAG pipelines, we propose an advanced RAG-based approach that improves retrieval performance, leading to more precise answers. This system enables efficient searching for specific government legal notices, making legal information more accessible. We evaluate both our proposed and conventional RAG systems on a diverse test set on Bangladesh Police Gazettes, demonstrating that our approach consistently outperforms existing methods across all evaluation metrics.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01