アーカイブ / RAG
ベトナム語の法律文書検索で、候補90件の選び方と再順位付けを検証
Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Mining
Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Miningの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 6 : End-to-end fine-tuning and evaluation process
概要
- 法律質問からBi-Encoderで文書候補90件を探し、Cross-Encoderで並べ替えて上位10件を返す。
- 著者らの評価用データでは、11エポック学習した検索モデルのExist@90は0.9760で、標準設定のBM25Okapiは0.8071だった。
- 候補内から負例を10件選んで学習した再順位付けモデルは、示された条件でMRR@10が0.7911だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Miningの仕組み
- 01ベトナム語の法律質問
- 02語分割
- 03文書候補90件を検索
- 04候補を再順位付け
- 05上位10件の文書
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、ベトナム語の法律質問に対し、関連文書を検索して順位を付ける。法律文書は長さや表現が多様で、質問と語句が一致するだけでは適切な文書にたどり着けないことがある。
題材はSoICT Hackathon 2024の法律文書検索課題で、検索対象は261,446件の文書片である。大規模言語モデルの回答材料として使う場合も、まず正解文書を候補に含め、その後に上位へ並べられるかが重要になる。
手法
入力は法律質問と文書本文である。ベトナム語の語分割で文を単語に区切った後、Bi-Encoderが質問と文書を別々に数値の列へ変換し、近さに基づいて候補90件を探す。Cross-Encoderは質問と候補文書を一組ずつ読み、関連度を付け直して上位10件を返す。たとえば条文を尋ねる質問に対し、返すのは回答文ではなく文書である。
学習時には、元データの短縮・変更された回答文を対応する文書全文に置き換え、複数の正解を個別の質問・文書の組に分ける。Bi-Encoderは同じ学習単位内の別文書を不正解として区別する。Cross-Encoderには、検索候補90件から正解を除いて選んだ不正解文書を加え、質問と文書の組が正解かを学習させる。
新規性
著者らは、検索段階をExist@mで評価し、後段に渡す上位m件に正解文書が少なくとも1件含まれる質問の割合を測った。順位そのものより、再順位付けに必要な正解候補を拾えているかに着目する指標である。
再順位付けの学習では、検索候補から正解を除き、残りを無作為に選ぶ「セミハード負例」を使った。全コーパスから選ぶ方法や、候補の最上位だけを選ぶ方法と、同じモデルを追加学習して比べている。
従来手法との違い
検索段階の比較対象は、語句の一致を使うBM25と、追加学習前のベトナム語用Bi-Encoderである。著者らの評価用データでは、11エポック追加学習したBi-EncoderのExist@90は0.9760で、標準設定のBM25Okapiの0.8071、追加学習前の0.8670を上回った。
再順位付けでは、追加学習前のPhoRankerと、負例を全コーパスから無作為に選ぶ方法、検索候補の最上位から選ぶ方法、候補内から無作為に選ぶ方法を比較した。他チームの複数モデルを組み合わせた方式との性能差は、これらの表からは判断できない。
実験結果
著者らは261,446件のベトナム語法律文書片を対象に、処理後の学習データを90対10に分けて検証した。評価用データで、11エポック学習したBi-EncoderのExist@90は0.9760、標準設定のBM25Okapiは0.8071だった。Exist@90は、上位90件に正解が少なくとも1件入る質問の割合である。
再順位付けの表では、追加学習前のPhoRankerのMRR@10は0.5584、候補内から質問ごとに負例10件を無作為に選ぶ設定は乱数種28で0.7911だった。MRR@10は上位10件内で最初の正解が現れる順位に基づく指標である。いずれも著者らが示したデータと条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ベトナム語の社内法務文書を探す窓口で、担当者の質問から確認すべき文書を提示する。質問を入力すると、関連候補を検索して並べ替え、上位文書の本文とIDを返す。担当者が原文を読んで判断する運用を想定する。
必要なのは、検索対象の文書本文とID、過去の質問、質問ごとの正解文書IDである。追加学習用には正解以外の候補も作り、文書更新時には対応関係を見直す。入力はテキストなのでセンサーは不要で、社内文書への適合は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象をベトナム語の法務文書の一部に絞り、文書本文とID、実際の質問、質問ごとの正解文書IDを用意する。複数の正解がある質問も担当者が確認して記録する。入力はテキストでセンサーは不要とし、文書を検索単位に整えて語分割と追加学習を対象データに合わせる。
同じ質問集合でBM25を基準に、候補90件に正解が入る割合と再順位付け後のMRR@10を測る。追加学習前後のモデルを同条件で比べ、候補から正解が漏れた質問と誤った文書が上位に来た質問を人が調べる。採用の判断には、業務上許容できる見落としの水準も定める。
限界と課題
著者らの表では、検索候補の最上位から負例を選ぶ設定の成績が、候補内から無作為に選ぶ設定より低い。著者らは、正解に似すぎた負例が学習を不安定にする可能性を論じているが、原因の説明は仮説である。候補90件に正解が入らない場合、後段の再順位付けではその文書を提示できない。
編集上の検証事項は、極端に長い文書や空の文書片の扱い、文書更新後の検索精度、質問と正解IDの対応付けの品質である。示された評価はベトナム語の法律文書が対象であり、別組織の文書や日本語での性能は確認されていない。
出典
元のタイトル・要旨を確認する（英語）
Optimizing Legal Document Retrieval in Vietnamese with Semi-Hard Negative Mining
Large Language Models (LLMs) face significant challenges in specialized domains like law, where precision and domain-specific knowledge are critical. This paper presents a streamlined two-stage framework consisting of Retrieval and Re-ranking to enhance legal document retrieval efficiency and accuracy. Our approach employs a fine-tuned Bi-Encoder for rapid candidate retrieval, followed by a Cross-Encoder for precise re-ranking, both optimized through strategic negative example mining. Key innovations include the introduction of the Exist@m metric to evaluate retrieval effectiveness and the use of semi-hard negatives to mitigate training bias, which significantly improved re-ranking performance. Evaluated on the SoICT Hackathon 2024 for Legal Document Retrieval, our team, 4Huiter, achieved a top-three position. While top-performing teams employed ensemble models and iterative self-training on large bge-m3 architectures, our lightweight, single-pass approach offered a competitive alternative with far fewer parameters. The framework demonstrates that optimized data processing, tailored loss functions, and balanced negative sampling are pivotal for building robust retrieval-augmented systems in legal contexts.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01