表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

スペイン語の干ばつ記事から影響分野を抽出するCienaLLM

CienaLLM

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

CienaLLMの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Fig. 1: Main components of the CienaLLM pipeline.

出典:CienaLLM / arXiv ↗

概要

  • CienaLLMは、スペイン語の干ばつ記事から四つの影響分野などを、指定した項目に沿って抽出する。
  • 著者らは影響分類用の386記事と12モデル・384設定を用い、精度、形式エラー率、処理時間を調べた。
  • 著者らはSeqIAと同等以上の影響抽出精度と、より高い推論コストを報告する。元データの分割には比較上の注意点がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、CienaLLMの仕組み

左から右へ読む
  1. 01記事の見出し・本文
  2. 02抽出項目を指示
  3. 03LLMで影響判定
  4. 044分野のJSON

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

CienaLLMが扱うのは、記事中に散らばる干ばつの影響情報を、後で集計できる形に取り出す作業である。影響の記述は記事ごとに異なり、地名も川や貯水池などを通じて間接的に示されることがある。

従来の干ばつ指標は気象面の変化を捉えても、社会や生態系への影響までは十分に表さない。新聞は影響を追う手掛かりになる一方、広い地域や長期間の記事を人手だけで整理するには負担がかかる。

手法

CienaLLMは、スペイン語の記事から干ばつとの関連性、影響分野、影響を受けた場所を抽出する枠組みである。抽出する項目と値の形を定めた「スキーマ」を指示文に反映し、大規模言語モデル(LLM)に記事を渡す。ゼロショットとは、この作業専用の分類器を新たに学習させず、指示文で処理することを指す。

中心となる影響分類では、見出しと本文から農業・畜産・水資源・エネルギーそれぞれの該当有無を判定し、機械で読めるJSON形式の四つの値にする。設定により、記事の要約、初回回答の見直し、自由文の回答をJSONに直す追加のモデル呼び出しを挟む。公開日も指示文の入力項目として用意されている。

新規性

著者らが示したのは、抽出項目を定めるスキーマ、指示文、モデル、複数段の処理を切り替えられる枠組みである。干ばつ記事の影響分野を、専用の分類器を追加学習せずに抽出する。

検証ではモデルの系列・規模・量子化と指示文の工夫を組み合わせ、回答の形式エラーや記事当たりの処理時間も調べた。別の災害や言語への適用は設計上の想定であり、この結果だけでは性能を判断できない。

従来手法との違い

比較対象のSeqIAは、正解ラベル付きのスペイン語記事を使い、干ばつとの関連性や影響分野を判定する分類器を学習する方式である。CienaLLMは、事前学習済みの言語モデルに抽出項目と指示を渡して判定する。

著者らは共通データでの影響抽出精度をSeqIAと同等以上、推論コストをより高いと報告する。ただし元データでは、同じ記事の文が影響分野によって学習側と評価側に分かれ得た。比較結果は、このデータ構成を踏まえて読む必要がある。

実験結果

著者らは影響分類にDIDの386記事を使い、検証269記事、テスト117記事に分けた。関連性判定用DRDは2,240記事でテスト側は672記事、影響を受けたスペインの県を抽出するDILDは100記事である。DIDは関連ありの記事だけを含み、学習用分割は設けていない。

影響分類では12モデルによる384設定を試し、四分野を通算したマイクロ平均のF1値などを、JSONとして解析できた回答について計算した。形式エラー率と、モデルの読み込み・準備時間を除く記事当たりの処理時間も測った。著者らは追加の応答整形で形式エラーがほぼ解消したと報告するが、確認できた本文の範囲では設定別の結果表は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:自治体の調査担当者が集めたスペイン語の干ばつ記事を、影響分野別の確認待ち一覧にする。入力は記事の見出し・本文、出力は農業、畜産、水資源、エネルギーの該当候補と元記事への参照とする。

担当者が原文と候補を照合してから集計する。対象記事の収集と分野別の正解ラベルを付けた確認用記事が必要で、新たな分野を加える際は項目の定義と指示文を調整する。記事以外のセンサーは、この用途では想定しない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象のスペイン語記事から見出しと本文を集め、四分野の該当有無について担当者が正解ラベルを付けた確認用記事を用意する。記事に明記されない影響をどう扱うかも判定基準として決める。この記事分類では追加センサーは使わない。

同じ記事を現行の手作業または既存分類器でも判定し、分野別の見落としと誤検出、JSONの解析エラー率、記事当たりの処理時間を比べる。指示文やスキーマを変えた場合は再測定する。場所も扱うなら、影響を受けた県の正解ラベルを別途作る。

限界と課題

著者らは、SeqIAとの比較で推論コストが高いこと、量子化には精度の小幅な低下を伴うこと、指示文の効果がモデルによって異なることを報告する。元データで同じ記事の文が異なる分割に入り得た点も、直接比較の注意点として明記している。

編集上の検証事項は、別の災害・言語でも項目と指示文の変更で足りるか、影響を受けた場所と単に言及された場所を区別できるかである。確認できた本文の範囲では、場所抽出の最終成績と運用時の総費用は確認できない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

CienaLLM: Generative Climate-Impact Extraction from News Articles with Autoregressive LLMs

Understanding and monitoring the socio-economic impacts of climate hazards requires extracting structured information from heterogeneous news articles on a large scale. To that end, we have developed CienaLLM, a modular framework based on schema-guided Generative Information Extraction. CienaLLM uses open-weight Large Language Models for zero-shot information extraction from news articles, and supports configurable prompts and output schemas, multi-step pipelines, and cloud or on-premise inference. To systematically assess how the choice of LLM family, size, precision regime, and prompting strategy affect performance, we run a large factorial study in models, precisions, and prompt engineering techniques. An additional response parsing step nearly eliminates format errors while preserving accuracy; larger models deliver the strongest and most stable performance, while quantization offers substantial efficiency gains with modest accuracy trade-offs; and prompt strategies show heterogeneous, model-specific effects. CienaLLM matches or outperforms the supervised baseline in accuracy for extracting drought impacts from Spanish news, although at a higher inference cost. While evaluated in droughts, the schema-driven and model-agnostic design is suitable for adapting to related information extraction tasks (e.g., other hazards, sectors, or languages) by editing prompts and schemas rather than retraining. We release code, configurations, and schemas to support reproducible use.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01