アーカイブ / LLM
フランス語の健康記事から語句と事象を抽出する：注釈40文書で3方式を比較
LLM, Reporting In!
LLM, Reporting In!の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Pipeline pour chaque run soumis à la campagne EvalLLM.
概要
- 注釈済み学習文書40件のフランス語健康記事課題で、固有表現認識の3方式と健康事象抽出を評価した。
- 試験時の固有表現認識では、類似する10例と注釈指針を使うGPT-4.1方式のmacro-F1が61.53％で、3方式中最高だった。
- 健康事象のEvent単位macro-F1は最高でも15.02％であり、実務適用には原文との照合と人手確認を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLM, Reporting In!の仕組み
- 01仏語の健康記事
- 02類似10例を選択
- 03GPT-4.1で語句抽出
- 04原文と位置照合
- 05健康事象を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、フランス語の健康関連ニュースから病名などの語句と健康事象を取り出す。固有表現認識とは、文章中の語句を見つけ、決められた種類に分類する作業である。事象抽出では、中心となる事柄に場所や時期を結び付ける。
対象のEvalLLM 2025課題では、注釈済みの学習文書が40件に限られる。見本が少ない状況で、種類の判定から事象の組み立てまでどの程度できるかは、健康情報の監視に使う際の確認量に関わる。
手法
第1方式では、処理する記事と文章が似た注釈例を10件選び、注釈指針の要約とともにGPT-4.1へ渡す。これは文脈内学習、つまり見本を入力文に含めて判断させる方法である。たとえば記事中の病名をXMLタグで囲ませ、モデルの出力を原文に照合して語句の開始・終了位置を求める。
健康事象も、指針の要約と類似する10例を使ってGPT-4.1に抽出させ、結果をJSON形式にする。別の2方式では、元の注釈文書から生成した合成例でGLiNERまたはLLaMAを追加学習する。GLiNER方式では、その抽出結果と原文をGPT-4.1に渡し、予測の確認と見落とした語句の探索を行う。
新規性
著者らの中心的な工夫は、記事に似た注釈例を10件選び、注釈指針の要約とともにGPT-4.1へ渡す構成にある。出力した語句を原文に照合して位置を確定する処理も加えた。
同じ課題で、合成データによる追加学習と、抽出後の言語モデルによる確認も比較した。ただし、個々の工夫だけを取り除いた場合の効果は、示された3方式の得点からは分からない。
従来手法との違い
第1方式はGPT-4.1に指針の要約と類似する10例を渡し、追加学習せずに語句を抽出する。第2方式は合成データで追加学習したGLiNERの出力をGPT-4.1で確認し、第3方式は同じ合成データで追加学習したLLaMA-3.1-8B-Instructに10例を提示する。
健康事象の抽出には3方式ともGPT-4.1を使う。著者らは、方式間の事象抽出の得点差を、前段で抽出した語句の品質差と説明している。この比較だけで後段の手法同士の優劣は判断できない。
実験結果
著者らは、EvalLLM 2025のフランス語課題で、21種類の固有表現認識と健康事象抽出を評価した。注釈済み学習文書は40件、試験用は200例である。種類ごとのF1を平均したmacro-F1は、試験時の固有表現認識で第1方式61.53％、第2方式51.56％、第3方式40.91％だった。
中心となる事柄・場所・日付または期間の組を判定するEvent単位の試験時macro-F1は、順に15.02％、13.71％、9.93％だった。著者らは事象抽出に共通の手法を用い、前段の語句抽出結果が異なると説明する。これらの値は、この課題の試験条件で得た結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：フランス語の健康関連ニュースを読む担当者に、記事ごとの確認候補を示す。入力は記事本文、対象媒体に合わせた注釈指針、病名・場所・日付などに正解ラベルを付けた見本記事とする。出力は原文中の語句の位置と、中心となる事柄・場所・時期を結ぶ事象の候補である。
担当者が候補を原文と照合し、修正して記録へ転記する。追加学習方式を使う場合はラベル付き記事から合成例を作り、注釈位置も点検する。入力は記事テキストなのでセンサーは不要で、運用先の用語と注釈規則への適合が必要になる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象媒体のフランス語記事を集め、担当者が語句の種類と、事象を構成する事柄・場所・時期に正解ラベルを付ける。記事本文、注釈指針、見本記事を用意して、類似する10例を選ぶ方式を試す。入力はテキストなのでセンサーは不要とし、媒体固有の用語に合わせて指針と見本を調整する。
現在の人手による抽出を比較基準に、別の検証記事で種類別F1、Event単位のF1、原文位置の一致、確認時間を測る。見落としと誤った組み合わせを担当者が点検する。追加学習方式も試すなら、合成例のラベルと語句位置を先に確認する。
限界と課題
著者らは、注釈済みの学習文書が40件と少ない点を制約として挙げる。また、合成データの多様性が乏しいと典型的でない表現に弱くなり得ること、語句の抽出ミスが事象の組み立てに影響することを論じている。
編集上の検証事項は、別の媒体や時期の記事にも注釈規則を適用できるか、まれな種類の見落としを担当者が発見できるかである。試験時の得点は、そのまま実務で候補を採用できる割合を表すものではない。
出典
元のタイトル・要旨を確認する（英語）
LLM, Reporting In! Medical Information Extraction Across Prompting, Fine-tuning and Post-correction
This work presents our participation in the EvalLLM 2025 challenge on biomedical Named Entity Recognition (NER) and health event extraction in French (few-shot setting). For NER, we propose three approaches combining large language models (LLMs), annotation guidelines, synthetic data, and post-processing: (1) in-context learning (ICL) with GPT-4.1, incorporating automatic selection of 10 examples and a summary of the annotation guidelines into the prompt, (2) the universal NER system GLiNER, fine-tuned on a synthetic corpus and then verified by an LLM in post-processing, and (3) the open LLM LLaMA-3.1-8B-Instruct, fine-tuned on the same synthetic corpus. Event extraction uses the same ICL strategy with GPT-4.1, reusing the guideline summary in the prompt. Results show GPT-4.1 leads with a macro-F1 of 61.53% for NER and 15.02% for event extraction, highlighting the importance of well-crafted prompting to maximize performance in very low-resource scenarios.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01