アーカイブ / LLM
ニュース文の主観性を多言語で判定：規則を示すLLMと追加学習した分類器
XplaiNLP Multilingual Subjectivity Detection
XplaiNLP Multilingual Subjectivity Detectionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the three prompting strategies for subjectivity detection. In the (1) Annotation approach , the LLM classifies the input sentence based on explicit guidelines provided in the prompt. (2) DoubleDown rewrites the sentence in both subjective and objective styles and infers the label by comparing which version better preserves the original meaning. (3) Perspective generates explanations for both possible interpretations and selects the label based on the more convincing reasoning.
概要
- ニュース由来の文や短い段落の主観性を判定するため、追加学習した分類器と、規則を示すLLMを試した。
- 公式テストではイタリア語のAnnotation方式がmacro-F1 0.8104で1位、ルーマニア語のXLM-RoBERTaがF1 0.7917で3位だった。
- ウクライナ語とポーランド語の提出結果は各基準値を下回った。課題ごとに一方式しか提出できず、全方式を全言語で比較した結果ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、XplaiNLP Multilingual Subjectivity Detectionの仕組み
- 01ニュースの一文
- 0214規則を提示
- 03o3-miniが判定
- 04ラベルと理由
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
主観性判定は、ニュースの文や短い段落が意見・評価を表すか、中立的に情報を伝える形かを分ける作業である。「客観的」は内容が真実だという意味ではない。評価的な言い回しが事実報道の形に紛れると、読み手の解釈に影響し得る。
主観性を示す語や文体は言語によって異なり、正解ラベル付きの文が乏しい言語もある。著者らは、ラベル付きデータで分類器を追加学習する方法と、追加学習せず指示文で判定する方法を調べた。
手法
著者らは二系統を試した。一つは、事前学習済みのEuroBERT、XLM-RoBERTa、German-BERTを、正解ラベル付きの文で主観性判定向けに追加学習する方法である。ドイツ語用には他言語の学習文をドイツ語に機械翻訳して加えた。入力した文から「主観的」か「客観的」かを出力する。
図は、課題専用の追加学習をしないAnnotation方式を示す。14の判定規則と文をo3-miniに渡し、返答からラベルと理由を取り出す。論文の職歴を述べる例文では客観的と判定した。別に、主観的・客観的な書き換えを比べるDoubleDownと、両方の解釈を比べるPerspectiveをgpt-4.1-miniで試した。
新規性
著者らはCheckThat! 2025の多言語主観性判定に、正解ラベル付きデータで追加学習した分類器と、判定規則を指示文で示す大規模言語モデルを適用した。言語ごとの開発結果を踏まえ、提出方式を選んでいる。
イタリア語には規則を使うAnnotation方式、ルーマニア語には他言語のデータで追加学習したXLM-RoBERTaを提出した。新規性として確認できるのは、この課題での方式の組み合わせと提出結果であり、全方式を全言語で比較したことではない。
従来手法との違い
共有課題の基準値に対し、イタリア語のAnnotation方式はF1が0.6941から0.8104、ルーマニア語のXLM-RoBERTaは0.6461から0.7917となった。多言語課題では、同じ分類器が0.6390に対して0.7186だった。
一方、ウクライナ語は0.6296に対して0.6124、ポーランド語は0.5719に対して0.5665だった。著者らは開発時にXLM-RoBERTaがEuroBERTを上回ったと述べる。ただし公式テストでは各課題に一方式しか提出しておらず、方式間の一律の優劣は示せない。
実験結果
著者らはCheckThat! 2025のニュース由来データで評価した。英語830文、イタリア語1613文、ドイツ語800文、ブルガリア語729文、アラビア語2446文が各言語の学習分割にあり、開発・開発テスト・最終テストは別である。F1は、検出した文の正しさと見逃しの少なさをまとめる指標である。
公式テストでは、イタリア語のAnnotation方式がmacro-F1 0.8104で1位、ルーマニア語のXLM-RoBERTaがF1 0.7917で3位だった。多言語課題は0.7186、ドイツ語のGerman-BERTは0.7269、ギリシャ語のXLM-RoBERTaは0.4750だった。これらは課題ごとに異なる提出方式の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：多言語ニュースの原稿確認で、記事から切り出した文をAnnotation方式に入力し、「主観的」「客観的」の候補と理由を編集者に示す。編集者は主観的とされた文を前後の文脈とともに読み、掲載時の表現を判断する。
この案では課題専用の追加学習用データは使わない。対象言語の原稿文と人手の正解ラベルは検証用に必要で、センサーは不要である。媒体の表現基準に合わせて判定規則を調整し、その変更後の成績を測る。確認作業への効果は仮説として扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象媒体の各言語から原稿文を集め、編集者が「主観的」「客観的」の正解ラベルを付ける。Annotation方式なら課題専用の追加学習用データは不要だが、この検証用データとラベルは必要である。入力はテキストなのでセンサーは使わない。
まず既存の人手確認を基準に、同じ文への判定を比べる。媒体向けに規則を調整した後、macro-F1、見逃した主観的な文の数、追加確認が必要になった文の数を測る。言語別・記事分野別にも集計し、出力された理由が編集者の判断に役立つか記録する。
限界と課題
著者らが挙げる制約は、課題ごとに一方式しか提出できず、方式と言語の組み合わせを体系的に比較できなかったことである。文を単独で判定するため前後関係が欠けることや、言語・分割ごとのラベルの偏りも課題として報告している。
編集上の検証事項は、記事全体を読んだ編集者の判断と文単位の判定が食い違う場面である。誤って主観的とされた文が確認作業をどれだけ増やすか、理由の説明が実際の判断に役立つかも、導入先の原稿で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
XplaiNLP at CheckThat! 2025: Multilingual Subjectivity Detection with Finetuned Transformers and Prompt-Based Inference with Large Language Models
This notebook reports the XplaiNLP submission to the CheckThat! 2025 shared task on multilingual subjectivity detection. We evaluate two approaches: (1) supervised fine-tuning of transformer encoders, EuroBERT, XLM-RoBERTa, and German-BERT, on monolingual and machine-translated training data; and (2) zero-shot prompting using two LLMs: o3-mini for Annotation (rule-based labelling) and gpt-4.1-mini for DoubleDown (contrastive rewriting) and Perspective (comparative reasoning). The Annotation Approach achieves 1st place in the Italian monolingual subtask with an F_1 score of 0.8104, outperforming the baseline of 0.6941. In the Romanian zero-shot setting, the fine-tuned XLM-RoBERTa model obtains an F_1 score of 0.7917, ranking 3rd and exceeding the baseline of 0.6461. The same model also performs reliably in the multilingual task and improves over the baseline in Greek. For German, a German-BERT model fine-tuned on translated training data from typologically related languages yields competitive performance over the baseline. In contrast, performance in the Ukrainian and Polish zero-shot settings falls slightly below the respective baselines, reflecting the challenge of generalization in low-resource cross-lingual scenarios.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01