アーカイブ / LLM
法律相談の追加質問は分類を助けるか――平易さと聞き漏らしを検証
FETCH
FETCHの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Diagram of FETCH question generation, showing progression from user problem description to final set of questions.
概要
- FETCHは法律相談の自由記述から追加質問を作り、回答を加えて相談分野を再分類できるか調べた。
- 416件のモデル判定では指示文の変更で質問群の合格率が83.17％から89.90％になった一方、専門家の二者比較では実験1の質問群が実験2より多く選ばれた。
- 200件の模擬事例で、隠した事実に合う質問が出たのは69％。家庭内暴力に関する事例では10％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FETCHの仕組み
- 01相談者の説明
- 02候補質問を生成
- 03類似質問を統合
- 04追加質問
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FETCHは、相談者が書いた困り事を法律分野の分類体系に結び付け、弁護士紹介を助ける仕組みである。最初の説明には、相談者が重要だと気付いていない事実が抜けることがあり、紹介先の判断にも影響する。
追加質問は不足した事実を補う一方、難しい法律用語、既に答えた内容の聞き直し、分類に不要な質問は負担になる。著者らは、質問が分類に役立つか、普通の言葉で読めるかを調べた。
手法
FETCHは相談文を法律分野の分類体系に照らして仮分類し、複数の大規模言語モデルで追加質問の候補を作る。大規模言語モデルは文章を入力して文章を生成するAIで、別のモデルが意味の近い候補をまとめ、相談者に示す質問に整える。例えば「膝を痛めた」という説明に、仕事中のけがかを尋ねれば、労災に関する分類を考える手掛かりになる。
著者らは質問生成と統合の指示文を変え、平易な表現、用語の説明、重複質問の除外を促した。再分類の実験では、適切な分類を変える事実を伏せた相談文を入力する。生成した質問に隠した事実が回答として合う場合、その質問と回答を相談文に加えて再分類し、想定した分類と照合した。
新規性
法律相談の分類に使う追加質問を、分類に役立つかという関連性と、相談者に伝わるかという読みやすさの両面で評価した。評価基準は、法律相談の受付職員との議論を踏まえて作っている。
さらに、ある事実を明かすと適切な分類が変わる模擬事例を用意し、質問がその事実を引き出せるか、回答を加えた再分類がどう変わるかまで調べた。
従来手法との違い
基準条件は、従来のFETCHの質問生成用指示と、研究開始前に小修正された質問統合用指示である。実験1では平易な表現を優先し、実験2では法律用語の説明、易しい言葉への置き換え、既出事項を聞き直さないための例を加えた。
実験3では、候補質問の生成と統合に使うGPT-5-nanoをGPT-5に替えた。受付職員は改善を定性的に評価したが、確認できた本文の範囲では、モデル変更前後の質問品質を直接比べる定量結果は示されていない。
実験結果
著者らは、FETCHの事例に受付職員による追加事例を含めた416件で質問群を評価した。GPT-5-nanoによる関連性と読みやすさの判定で、合格は基準条件346件（83.17％）、実験1で349件（83.89％）、実験2で374件（89.90％）だった。専門家による実験1と2の146件の比較では、実験1を79件、実験2を64件で選び、3件は中立だった。
著者らが作り弁護士が確認した200件の模擬事例では、隠した事実に合う質問が138件（69％）で出た。その138件では、誤分類から正しい分類への回復が18件、正しい分類から誤分類への悪化が4件だった。家庭内暴力に関する20件で該当事実を聞いたのは2件（10％）だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：弁護士紹介窓口で、相談者の自由記述から分野を仮分類し、分類を左右しそうな事実を平易な質問で確認する。回答を加えた分類結果と元の相談文を職員に示し、紹介先は職員が判断する。
新規のモデル学習は想定せず、調整と評価には窓口の過去の相談文、専門家が確定した分類ラベル、分野ごとの確認事項が要る。入力は文章なので追加センサーは不要とし、質問文と分類体系を対象窓口に合わせる。家庭内暴力の確認手順は職員が別途設計する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象窓口の過去の相談文を匿名化し、職員または弁護士が確定した分野ラベルと、分類を左右した事実を記録する。新規学習用データの収集や追加センサーは想定せず、まず窓口の分類体系に合わせて質問の表現と確認事項を調整する。
相談文だけの分類を基準に、追加質問への回答を加えた分類と比べる。正しい分類への回復件数、悪化件数、重要事項を尋ねた割合、難語や聞き直しの件数を分野別に測る。家庭内暴力などは専用の確認項目も併用し、職員の判断と照らして採用を決める。
限界と課題
著者らは、重要な事実を尋ねる割合に分野差があると報告した。家庭内暴力に関する模擬事例では20件中2件であり、家庭法の受付手順に沿った専用の確認項目を加える価値を指摘している。指示文の改善だけでは、専門家が好む質問にも十分には近づかなかった。
編集上の検証事項は、実際の相談者が質問を理解し、負担なく答えられるか、聞き漏らしが紹介先にどう影響するかである。再分類の実験は隠した事実を使う模擬事例によるものだ。また、本文の表4の件数と表5の最終分類正答率は整合しないため、総合正答率の解釈には確認が要る。
出典
元のタイトル・要旨を確認する（英語）
On Wednesdays, We Ask Questions: Optimizing "Active Listening" in Automated Legal Triage and Referral
The FETCH classifier generates follow-up questions to help refine the best match for the applicant's legal problem, using a low-cost ensemble of LLMs. In this paper, we describe an expert attorney and LLM-assisted evaluation of the follow-up question approach in FETCH and show that while low-cost LLMs perform well at classification tasks, generating high-quality plain-language questions in this setting appears to require a more sophisticated and higher-cost model. Through discussion with legal intake workers, we propose a rubric for the evaluation of legal intake classification questions, and we find that prompt engineering alone is not enough to improve question quality for intake purposes. We also find that LLM-as-judge and human ratings diverge. We demonstrate that with the addition of a single high-cost model, GPT-5, the classifier can elicit relevant information from applicants for legal help, and that the questions lead to more accurate performance at classification tasks. We also find uneven fact elicitation across different categories, including domestic violence, at odds with family law screening protocols, suggesting the value of including dedicated screening panels for certain areas of law.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01