アーカイブ / LLM
ニュースの一文からインフレの原因と影響の語られ方を分類する
Causal Micro-Narratives
Causal Micro-Narrativesの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: Example of an annotation for a narrative about the cause of inflation.
概要
- 一文がインフレの原因や結果を説明しているかを判定し、該当する項目を複数付ける課題を提案した。
- 著者らの評価では、両時代の記事で追加学習したLlama 3.1 8Bが、現代記事で検出F1 0.87、項目分類のマイクロ平均F1 0.71を記録した。
- 注釈者も因果説明の有無で判断が分かれており、日本語や別の話題への適用には正解付きデータでの再検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Causal Micro-Narrativesの仕組み
- 01米国ニュース記事
- 02文分割
- 03inflationを含む文
- 04因果と項目の判定
- 05JSONの分類結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
インフレに触れる記事には、数値を報じる文も、原因や生活への影響を説明する文もある。語の出現数だけでは、記事がどのような因果関係を読者に示したかを追いにくい。
著者らは米国の現代と過去のニュースを対象に、一文ごとに因果説明の有無と内容を判定する課題を設定した。同じ基準で多くの文を分類できれば、原因と結果の語られ方を時期ごとに調べられる。
手法
記事を文に分け、「inflation」を含む文を取り出す。各文について、インフレの原因または結果を説明しているかを判定し、説明があれば該当する原因・結果の項目を複数付ける。この項目と定義の一覧をオントロジーという。例えば、財政政策がインフレを招き、中央銀行がそれを受けて金利を上げるという文には、原因側の財政要因と結果側の金利上昇を付ける。
著者らは現代と過去のニュースに人手で正解を付け、Llama 3.1 8BとPhi-2を追加学習した。モデルには項目名と定義、短い指示を与え、因果説明の有無と該当項目をJSON形式で出力させる。JSONは結果を機械で扱いやすくする記録形式である。比較用のGPT-4oには正解例を指示文内に示した。
新規性
著者らは、ある話題の原因または結果を説明する一文を「因果マイクロナラティブ」と定義し、その検出と内容の分類を一つの課題にした。「マイクロ」は、一文の中の短い説明を指す。
話題ごとに原因と結果の分類表を用意し、一文に複数の項目を付けられる。インフレへの言及を数えるだけでは分からない、どの因果関係が語られたかを集計する方法である。
従来手法との違い
著者らは、GPT-4oに項目の定義、因果説明の事例24件、説明のない事例5件を指示文で示す方法と、正解付きの文でLlama 3.1 8BとPhi-2を追加学習する方法を比べた。追加学習は、既存モデルの一部をこの分類課題に合わせて調整することを指す。
両時代の文を合わせて学習した条件では、Llama 3.1 8Bが現代記事の二つの課題で最高のF1を記録した。一方、過去記事で因果説明の有無を判定する課題ではPhi-2の方が高く、優位性は課題と評価対象によって変わる。
実験結果
著者らは、2012～2023年の米国の英語記事を含むNOW Corpusと、1960～1980年の記事を含むProQuestを使用した。人手で注釈した学習文は現代1,119件、過去999件、テスト文は現代201件、過去488件。テストでは3人の注釈の多数決を正解とし、多数決で決まらない14件を得点から除いた。
著者らの表では、両時代の計2,118件で追加学習したLlama 3.1 8Bは、現代記事で因果説明の検出F1が0.87、複数項目の分類のマイクロ平均F1が0.71、過去記事では順に0.78、0.62だった。Phi-2の過去記事の検出F1は0.83、GPT-4oの現代記事の値は順に0.63、0.57。F1は見逃しと誤検出の双方を考慮する指標である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：経済調査チームが、月ごとにニュースで語られるインフレの原因と影響を確認する。入力は利用可能な記事本文とし、文分割と対象語による抽出の後、各文の分類結果を記事への参照とともに項目別件数へまとめる。
必要なのは対象期間の本文、原因・結果の分類表、人手で正解を付けた学習用と確認用の文であり、追加センサーは想定しない。日本語記事を扱うなら対象語、分類表、注釈基準を作り直して検証する。件数は記事中の主張の頻度を示すもので、因果関係の真偽を示さない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず対象記事を文に分け、対象語と原因・結果の分類表を決める。担当者が抽出文に因果説明の有無と該当項目の正解ラベルを付け、学習用と評価用に分ける。必要な入力は記事本文と正解付きの文で、追加センサーは使わない。日本語や別の話題では抽出語と分類表を調整する。
比較基準には、同じ分類表と少数の正解例を指示文に入れる方法を置く。追加学習した方法と、説明の検出F1、複数項目のマイクロ平均F1を同じ評価文で比べる。誤判定した文を読み、暗示的な因果関係や原因と結果の取り違えを確認して注釈基準を見直す。
限界と課題
著者らの誤り分析では、因果説明の有無を巡って注釈者の判断が分かれた。Llama 3.1 8Bがインフレの社会的影響を見落とした例や、文脈が欠けた文で原因側の項目を選び、人手の結果側の項目と食い違った例も示されている。
編集上の検証事項：対象語を含む文だけを抽出する方法で、日本語の言い換えや対象語のない因果説明をどれだけ拾えるかは未確認である。別の話題への分類表の移し方と、人手の判断が割れる文の扱いも確かめる必要がある。この分類は、述べられた因果関係が事実かどうかを検証するものではない。
出典
元のタイトル・要旨を確認する（英語）
Causal Micro-Narratives
We present a novel approach to classify causal micro-narratives from text. These narratives are sentence-level explanations of the cause(s) and/or effect(s) of a target subject. The approach requires only a subject-specific ontology of causes and effects, and we demonstrate it with an application to inflation narratives. Using a human-annotated dataset spanning historical and contemporary US news articles for training, we evaluate several large language models (LLMs) on this multi-label classification task. The best-performing model--a fine-tuned Llama 3.1 8B--achieves F1 scores of 0.87 on narrative detection and 0.71 on narrative classification. Comprehensive error analysis reveals challenges arising from linguistic ambiguity and highlights how model errors often mirror human annotator disagreements. This research establishes a framework for extracting causal micro-narratives from real-world data, with wide-ranging applications to social science research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01