アーカイブ / LLM
専門分野のラベル付けをLLMに任せられるか――金融・医療・法務の6課題で検証
Are Expert-Level Language Models Expert-Level Annotators?
Are Expert-Level Language Models Expert-Level Annotators?の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 5: The annotation guideline of REFinD dataset.
概要
- 金融・医療・法務の6課題で、LLMが付けたラベルを専門家のラベルと照合した。
- 直接回答でのGPT-4oの平均正解率は67.8%。5回の回答による多数決では69.6%だった。
- 著者らの実験では、複数モデル方式は単一モデル3種の平均をわずかに上回ったが、最良の単一モデルには届かなかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Are Expert-Level Language Models Expert-Level Annotators?の仕組み
- 01対象文と判定基準
- 02LLMが分類
- 03最終ラベル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文章のラベル付けとは、文や条項に決められた分類を付ける作業である。金融、医療、法務では専門知識に沿った判断が必要で、専門家が大量の文を確認するには時間と費用がかかる。
LLMを一般的な文章分類に使う研究はあるが、専門分野で詳細な判定基準を守れるかは別の問題である。本研究は、専門試験での成績ではなく、個々の文に付けたラベルを専門家のラベルと照合して調べた。
手法
著者らは金融・医療・法務から、判定基準が詳しく記され、専門家がラベルを付けた6データセットを選んだ。課題説明、判定基準、ラベルを伏せた対象文をLLMに入力し、出力ラベルを専門家のラベルと照合する。例えば金融のFOMC課題では、将来の金融政策に関する文を緩和寄り、引き締め寄り、中立に分類する。
基本方式は直接回答である。追加手法には、順を追って考えさせる指示、異なる推論を5回生成して多数決する方法、初回回答を同じモデルが点検・修正する方法がある。3モデルによる議論では各モデルが先に分類し、一致しなければ理由とラベルを共有して再判定する。実験では議論を最大2回とした。
新規性
著者らが新規性として挙げるのは、専門知識を要する文章のラベル付けについて、金融・医療・法務をまたぐ6データセットで体系的に調べた点である。各データセットには詳細な判定基準と、専門家によるラベルがある。
直接回答に加え、段階的な推論、複数回答の多数決、自己修正、異なるモデル間の議論を比較した。判定精度に加えて、1件当たりの費用との関係も検討している。
従来手法との違い
基準は、課題、判定基準、対象文を1つの大規模言語モデル（LLM）に渡し、直接ラベルを答えさせる方法である。この条件で4モデルを比較し、GPT-4oには段階的な推論など3種類の追加手法も適用した。
異なる3モデルを使う方法では、多数決と、不一致時に理由を共有して再判定する方法を試した。著者らの実験では、複数モデル方式は単一モデル3種の平均をわずかに上回ったが、最良の単一モデルには及ばなかった。
実験結果
著者らはREFinD、FOMC、AP-Rel、CODA-19、CUAD、FoDSの6課題で、専門家ラベルとの正解率を報告した。直接回答の6課題平均はGPT-4oが67.8%、GPT-3.5-Turboが56.7%、Gemini-1.5-Proが63.9%、Claude-3-Opusが64.9%だった。
GPT-4oの平均は、段階的な推論で68.7%、5回の回答による多数決で69.6%、自己点検と修正で69.0%だった。著者らは、モデル間の議論は多くの課題で成績を改善した一方、AP-Relでは下げる場合があったと報告する。確認できた本文の範囲では、評価件数やデータ分割の詳細は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：金融政策文の分類候補を作り、専門家による確認の前段に置く。入力は対象文と「緩和寄り・引き締め寄り・中立」の判定基準、出力は候補ラベルと確認対象の原文とする。
追加学習なしの試行なら学習用データは不要だが、導入先の文に専門家が付けた評価用ラベルは必要である。センサーは使わない。実際の文書に合わせて判定基準を調整し、モデルと専門家の判定が異なる文を確認する運用を仮説として試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：金融政策文を集め、緩和寄り・引き締め寄り・中立の判定基準を専門家と確定する。追加学習は行わず、学習用データは使わない。別に専門家ラベル付きの評価文を用意する。文章分類なのでセンサーは使わない。
直接回答を基準に、同じ評価文で段階的な推論と5回の回答の多数決を比べる。専門家ラベルとの正解率、分類ごとの誤り、1件当たりの費用を記録し、不一致文を専門家が確認する。判定基準を直した場合は、その前後の結果も分けて測る。
限界と課題
著者らは、モデルをそのまま使う場合を調べるため、課題別の指示文の調整を控えたと述べる。また、評価は主に決まった選択肢からラベルを選ぶ課題であり、自由な文章生成は対象に含めていない。
編集上の検証事項は、導入先の文書でも同じラベル定義を使えるか、誤りがどの分類に集中するかである。モデル同士の合意は専門家ラベルとの一致を保証しないため、合意した文も評価対象に含める必要がある。
出典
元のタイトル・要旨を確認する（英語）
Are Expert-Level Language Models Expert-Level Annotators?
Data annotation refers to the labeling or tagging of textual data with relevant information. A large body of works have reported positive results on leveraging LLMs as an alternative to human annotators. However, existing studies focus on classic NLP tasks, and the extent to which LLMs as data annotators perform in domains requiring expert knowledge remains underexplored. In this work, we investigate comprehensive approaches across three highly specialized domains and discuss practical suggestions from a cost-effectiveness perspective. To the best of our knowledge, we present the first systematic evaluation of LLMs as expert-level data annotators.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01