アーカイブ / LLM
事案から関連条文を選び、判断の手がかりを示す二つの方法
Attention-over-Sentences (AoS) / LLMPrompt
Attention-over-Sentences (AoS) / LLMPromptの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Architecture of the Attention-over-Sentences (AoS) model
概要
- 事案文から関連条文を選び、人が確認できる説明も示す二つの方法を提案した。
- AoSは正解ラベル付き事案で学習して重みの高い文を示し、LLMPromptは条文本文を入力して追加学習なしで関連性と理由を答える。
- 著者らはILSIの100条文とECtHR_Bの10条項で評価したと述べるが、確認できた本文の範囲には性能を比較できる結果の数値がない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Attention-over-Sentences (AoS) / LLMPromptの仕組み
- 01事案文と条文本文
- 02文と条文を数値化
- 03条文別に文を重み付け
- 04候補条文と根拠文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、事案の説明から関連する条文を複数選び、それぞれの判断を人が確かめる手がかりも示す課題を扱う。ここでいう条文には、法律の節・項や条約の条項が含まれる。弁護士の調査支援では、候補と根拠を一緒に確認できることが重要になる。
事案は具体的な出来事で書かれ、条文は一般的な条件で書かれるため、表現が一致するとは限らない。本文の例では文書偽造に関わる複数の条文があるが、特定の種類の文書だけを対象とする条文は、事案の文書がその種類に当たるかを見極める必要がある。
手法
AoSは事案を文に分け、Sentence-BERTという文章を数値の並びに変えるモデルで、各文と条文本文を表現する。条文ごとに各文への注意の重みを計算し、重み付けした事案の表現から、その条文が関連するかを判定する。例えば、建物内の物品が持ち去られた事案では、建物内の窃盗を定める条文に対し、物品がなくなったと記す文を説明として示す。学習には、過去の事案と正解条文の組を使う。
LLMPromptは事案文と一つの候補条文の本文を大規模言語モデルに渡し、関連の有無と理由を答えさせる。関連しない場合も理由を求める。ゼロショットとは、この判定のための正解例でモデルを追加学習しない方式を指す。著者らは通常の質問文と、判断を段階的に促す質問文を検討している。
新規性
AoSは条文を分類名として扱うだけでなく、条文本文と事案中の各文を照合する。条文ごとに文への重みを計算し、予測した条文について重みの高い文を説明として示す。
LLMPromptは事案と条文本文を大規模言語モデルに渡し、関連するかどうかと、その理由を同時に求める。著者らは通常の質問文に加え、判断を段階的に促す質問文も検討した。
従来手法との違い
著者らが説明する従来の教師あり手法は、BERTやLegalBERTで事案の文を表現し、文の順序も使って事案全体を表す。AoSはSentence-BERTで事案の各文と条文本文を表現し、条文ごとに文を重み付けする。構造を簡単にするため、文の順序は扱わない。
同じ研究のLLMPromptは、正解条文を付けた事案による追加学習を要しないゼロショット方式である。ただし、判定する条文の本文は入力する。確認できた本文の範囲では、各方式と比較手法の性能差を示す数値は確認できない。
実験結果
著者らは、AoSとLLMPromptの条文予測を相互に、また複数の比較手法と比べたと述べる。対象は、インド刑法の100条文を予測するILSIと、欧州人権条約の10条項を予測するECtHR_Bである。LLMPromptにはMistral-7B-Instruct-v0.3とGPT-4o miniを用いた。
説明の質については、入力を変えて予測や説明の変化を調べる反事実の自動評価と、人による評価を行ったという。本文にはAoSが選んだ説明文の例もある。確認できた本文の範囲では、評価指標の定義や結果の数値を示す表がなく、どの方式が優れるかは判定できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：法律事務所で、匿名化した相談記録と対象条文の本文を入力し、担当弁護士が確認する候補を作る。出力画面には候補条文と本文を示し、AoSなら重みの高い事案中の文、LLMPromptなら生成された理由を並べる。最終的な適用判断は担当者が行う。
AoSには対象分野の過去の事案文と、各事案に対応する確定済みの条文ラベルが学習用に要る。LLMPromptにも評価用の正解ラベルを用意する。文書を入力とし、センサーは使わない。対象法域を変える際は条文集合と本文を選び直し、事案の書き方との適合を確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象条文を絞って本文をそろえ、匿名化した過去の事案文を集める。AoS用には各事案の正解条文ラベルを付け、学習用と評価用に分ける。LLMPromptには同じ評価用事案と条文本文を入力し、正解ラベルと照合する。入力は文書に限定し、センサーは使わない。
比較の基準は、担当者が条文本文を検索して選んだ候補とする。候補条文の見落とし数、不要な候補数、根拠文と条文の条件が対応する割合、確認に要した時間を記録する。別の法域へ適応する際は条文集合と正解ラベルを整え直し、LLMPromptの質問文も対象条文に合わせて確認する。
限界と課題
著者らは、モデルが特定の条文を事前学習で知っているか不明なため、LLMPromptの質問文に条文本文を含めたと説明する。また、大規模言語モデルに入力できる文章の長さには制限があると指摘する。AoSの説明は重みの高い文を選ぶ方式であり、その文だけで条文の全要件を確認できるとは限らない。
編集上の検証事項は、長い事案で重要な記述が入力から落ちないか、似た条文の条件を区別できるか、示された文や生成された理由が条文本文と整合するかである。条文の更新時には本文と評価ラベルも確認したい。これらの条件で誤りがどれほど生じるかは、確認できた本文の範囲では判断できない。
出典
元のタイトル・要旨を確認する（英語）
Explainable Statute Prediction via Attention-based Model and LLM Prompting
In this paper, we explore the problem of automatic statute prediction where for a given case description, a subset of relevant statutes are to be predicted. Here, the term "statute" refers to a section, a sub-section, or an article of any specific Act. Addressing this problem would be useful in several applications such as AI-assistant for lawyers and legal question answering system. For better user acceptance of such Legal AI systems, we believe the predictions should also be accompanied by human understandable explanations. We propose two techniques for addressing this problem of statute prediction with explanations -- (i) AoS (Attention-over-Sentences) which uses attention over sentences in a case description to predict statutes relevant for it and (ii) LLMPrompt which prompts an LLM to predict as well as explain relevance of a certain statute. AoS uses smaller language models, specifically sentence transformers and is trained in a supervised manner whereas LLMPrompt uses larger language models in a zero-shot manner and explores both standard as well as Chain-of-Thought (CoT) prompting techniques. Both these models produce explanations for their predictions in human understandable forms. We compare statute prediction performance of both the proposed techniques with each other as well as with a set of competent baselines, across two popular datasets. Also, we evaluate the quality of the generated explanations through an automated counter-factual manner as well as through human evaluation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01