アーカイブ / LLM / AI Agent / RAG
ブラジル労働法の質問を3役で処理するHR-Agents――検索付き単一モデルとの比較
HR-Agents
HR-Agentsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: GPT 4o BLEU evaluation
概要
- HR-Agentsは、質問の選別、CLTを参照した回答作成、回答の確認を3つの役割で順に処理する。
- 著者らの19問での比較では、回答の正しさの中央値はGPT-4oとLlama 3.1 8Bの両方で単一モデルのRAG構成が高かった。
- 要旨の改善主張と報告された正しさの数値は食い違い、検索条件と専門家評価の集計対象にも確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、HR-Agentsの仕組み
- 01労働法の質問
- 02人事関連を選別
- 03CLT条文を検索
- 04回答を作成
- 05回答を確認・提示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ブラジルの統合労働法（CLT）は、労働時間、最低賃金、休暇、解雇時の保護などを定める。規定が広く複雑なため、人事担当者は問い合わせの内容に合う条文を探し、その適用を確かめる必要がある。
著者らは、従来の問い合わせ対応に時間がかかり、回答が揺れることを課題に挙げる。そこで、法令を参照する回答作成と回答後の確認を組み合わせ、人事向けの質問応答で評価した。
手法
HR-AgentsはCrewAIで3つの役割を順に動かす。受付役は質問が人事に関係するかを判断し、関係しない質問は別の処理へ回す。人事専門役はCLTのPDFから情報を探して回答を作り、人事部門責任者役が明確さと一貫性を確認し、必要なら修正する。「エージェント」は、担当する役割と処理を割り当てた言語モデルを指す。
検索ではCLTを「Art.」で条文ごとに区切り、Multilingual E5で文章を検索用の数値表現に変える。FAISSを使い、質問との意味上の近さから上位20件を選び、つないだ文章を回答の文脈として渡す。本文には512文字ずつ、256文字を重ねて分割する処理も記されるが、条文単位の分割とどう接続するかは明記されていない。
新規性
HR-Agentsは、ブラジルの統合労働法（CLT）に関する人事質問を対象に、質問の選別、法令を参照した回答作成、回答の確認を3つの役割へ割り当てる。著者らは、こうした役割分担を人事の法令相談に合わせて構成し、検索付きの単一モデルと比較した。
新規性の主張は、この対象分野に合わせた複数エージェントの設計と評価にある。役割を増やすことによる正確さの改善まで、一律に実証されたわけではない。
従来手法との違い
比較対象は、単一の大規模言語モデルがCLTの関連箇所を検索してから回答するRAG構成である。RAGは、外部文書から必要な情報を探し、その内容を回答作成に渡す方法を指す。HR-Agentsでは、質問の選別、回答作成、確認を別々の役割が順に担う。
著者らはGPT-4oとLlama 3.1 8Bで両構成を比較した。回答の正しさの中央値は両モデルとも単一モデルのRAG構成が高く、比較結果を複数役の全面的な優位とは読めない。
実験結果
著者らは、法律の専門家が作成したブラジル労働法・人事の19問を、モデル選定と構成比較に用いた。評価には、語句の一致を見るBLEU、参照回答との類似度、事実と意味を合わせて測る回答の正しさ、専門家による法的な正確さと文章品質の判定を使った。
回答の正しさの中央値は、GPT-4oで単一モデルのRAG構成が0.67、複数役が0.55、Llama 3.1 8Bでそれぞれ0.60、0.54と著者らは報告する。要旨の「複数役で正しさが改善」という記述は、この数値と食い違う。確認できた本文の範囲では、専門家評価の集計がどの構成に対応するかも明確でない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ブラジルの人事窓口で、CLTに関する問い合わせの回答草案を作る。従業員の質問と参照用のCLT本文を入力し、関連条文を担当者が照合できる草案を出力する。担当者が条文と質問の状況を確認してから返信する運用を想定する。
元データには運用対象のCLT本文を使い、追加学習用データは前提にしない。検証用には専門家が正答と根拠条文を付けた質問を用意する。追加のセンサーは不要で、質問の振り分けと文書検索を窓口業務に合わせて調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：CLT本文を検索用の元データとし、追加学習用データは使わずに小規模な試行を始める。人事担当者と法令に詳しい担当者が、典型的な質問に正答と根拠条文のラベルを付ける。追加のセンサーは不要で、質問の選別と条文検索を窓口の質問に合わせて調整する。
同じ質問を単一モデルのRAG構成とHR-Agentsに入力する。根拠条文の一致、回答の誤りと欠落、担当者の修正量、処理時間を記録し、担当者が法令を照合して判定する。役割分担が実務上の負担や回答内容にどう影響するかを確かめる。
限界と課題
著者らは、BLEUが言い換えを十分に評価できない点を指摘する。また、GPT-4oには短すぎる回答、Llamaには長い回答へ不正確な内容が混じる例があったと述べる。回答の正しさでは、報告された中央値は単一モデルのRAG構成が高い。
編集上の検証事項は、複数役の構成に検索が含まれる条件と、専門家評価の集計対象である。方法には検索ツールを使う役が記される一方、結果の考察にはエージェント側を「明示的な検索なし」とする記述がある。専門家評価の表も構成別の内訳を示していない。
出典
元のタイトル・要旨を確認する（英語）
HR-Agents: Using Multiple LLM-based Agents to Improve Q&A about Brazilian Labor Legislation
The Consolidation of Labor Laws (CLT) serves as the primary legal framework governing labor relations in Brazil, ensuring essential protections for workers. However, its complexity creates challenges for Human Resources (HR) professionals in navigating regulations and ensuring compliance. Traditional methods for addressing labor law inquiries often lead to inefficiencies, delays, and inconsistencies. To enhance the accuracy and efficiency of legal question-answering (Q&A), a multi-agent system powered by Large Language Models (LLMs) is introduced. This approach employs specialized agents to address distinct aspects of employment law while integrating Retrieval-Augmented Generation (RAG) to enhance contextual relevance. Implemented using CrewAI, the system enables cooperative agent interactions, ensuring response validation and reducing misinformation. The effectiveness of this framework is evaluated through a comparison with a baseline RAG pipeline utilizing a single LLM, using automated metrics such as BLEU, LLM-as-judge evaluations, and expert human assessments. Results indicate that the multi-agent approach improves response coherence and correctness, providing a more reliable and efficient solution for HR professionals. This study contributes to AI-driven legal assistance by demonstrating the potential of multi-agent LLM architectures in improving labor law compliance and streamlining HR operations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01