アーカイブ / LLM
学習例が少ない言語の要約を比較：多言語学習、合成例、英語経由の違い
Comparing Approaches to Automatic Summarization in Less-Resourced Languages
Comparing Approaches to Automatic Summarization in Less-Resourced Languagesの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Methodology for generating additional training examples from Wikipedia articles
概要
- mT5の言語別・多言語追加学習、Wikipedia由来の合成例、言語モデルへの指示、英語経由の要約を比較した。
- 言語別学習への合成例追加は改善を示したが、多言語学習との優劣には言語ごとの例外がある。掲載された英語経由の要約は、直接要約の最高点を下回った。
- 採点用モデルM-Prometheusは他の指標と異なる傾向を示した。実務利用では対象言語を読める人による内容確認が検証事項となる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Comparing Approaches to Automatic Summarization in Less-Resourced Languagesの仕組み
- 01記事と正解要約
- 02mT5を追加学習
- 03対象記事を要約
- 04同言語の要約
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
自動要約は記事を短くまとめるが、記事と正解要約の組が少ない言語では、対象に合わせた学習が難しい。著者らは、限られた正解例を１言語で使う場合と、複数言語を合わせて使う場合などを比較し、要約の作り方を検討した。
実務では、内容が短くまとまるだけでなく、指定した言語で返ることも必要になる。著者らは、一部の大規模言語モデルが対象言語の記事を受け取りながら英語を出す現象も調べている。
手法
中心となる実験では、多言語の文章変換モデルmT5に記事と正解要約の組を学習させ、対象言語の記事から同じ言語の要約を作る。１言語ずつ学ぶ条件と、複数言語の例を合わせて学ぶ条件を比べた。例えばソラニー語の記事を入力し、同言語の要約を出力する。学習例を増やす条件では、５文以上のWikipedia記事から２文を抜き出す方法などで記事と要約の組を作った。
ほかに、学習済みモデルでWikipedia記事を要約する方法と、抜き出した要約から記事を生成する方法も試した。比較用には、大規模言語モデルへ正解例なしで指示するゼロショット要約を使い、英語へ翻訳、英語で要約、元の言語へ再翻訳する手順も試した。
新規性
著者らは、少量の正解要約でmT5を言語別・多言語に追加学習する方法と、Wikipediaから作った合成例を加える方法を比較した。合成例には、記事からの文の抽出、学習済みモデルによる要約、要約からの記事生成という３通りを用いている。
さらに、規模の異なる大規模言語モデルへの指示と英語経由の要約を調べた。正解要約を使う指標と、採点用モデルによる評価で手法の見え方が変わる点も検討している。
従来手法との違い
基準の一つは、記事と正解要約の組でmT5を追加学習したモデルである。追加学習とは、学習済みモデルを要約の仕事に合わせて学び直すことをいう。１言語だけで学ぶ条件と、複数言語の例を合わせる条件があり、それぞれに合成例を加える実験も行った。
別の比較対象は、正解例を示さずモデルへ要約を指示する方法と、記事を英語へ翻訳して要約し、元の言語へ訳し戻す方法である。著者らは、多言語で追加学習したmT5が多くの指標で強い一方、言語や指標ごとに例外もあると報告する。
実験結果
著者らはLR-SumとXL-Sumを使用し、言語別の合成例追加実験ではLR-Sumの７言語、多言語の実験では両データ集合から選んだ18言語に注目した。評価にはROUGE-1、ROUGE-2、ROUGE-L、BERTScore、採点用モデルM-Prometheusを用いた。ROUGEは正解要約との語句の重なりを見る指標群である。
表１のLR-Sum・ソラニー語では、ROUGE-1が最良の合成例追加モデルで52.6、多言語モデルで45.2、Aya-101で23.9だった。著者らは、表４に載る言語では英語経由の要約が、直接要約の最高点をROUGE-LとBERTScoreで下回ったと報告する。一方、採点用モデルは大きな言語モデルの出力を高く評価する傾向があり、指標によって結論の見え方が異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ハイチ・クレオール語の記事を扱う編集部で、原文の確認に使う短い同言語要約を作る。入力は記事本文、出力は担当者が原文と照合するための要約とし、確認後に必要な箇所を修正する。
適用には、対象分野の記事と人が書いた要約の組を学習データ兼正解ラベルとして集め、他言語の同種データを使う場合は対象分野との差を確認する。入力が文章なのでセンサーは不要である。確認時間の短縮や内容の保持は、現場で確かめる仮説にとどまる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象言語の記事と、人が書いた要約の組を集め、学習用と評価用に分ける。他言語の同種データも用意し、多言語で追加学習したmT5を基準条件とする。対象分野の記事・要約を加えて適応した条件を同じ評価記事で比べる。入力は文章のみで、センサーは不要である。
ROUGE-Lに加え、指定言語以外の文の混入と、原文の重要事実を保てた割合を記録する。後者は対象言語を読める担当者が原文と照合して判定し、修正に要した時間も測る。点数の差が実務上の確認作業にも表れるかを判断する。
限界と課題
著者らは、対象言語のWikipediaには短い記事が多く、５文未満を除くと合成例に使える記事が減ると報告する。クメール語では、条件を満たす記事が特に少なかった。また、M-Prometheusによる採点は、対象の低資源言語で他の指標との対応が弱い可能性を示している。
編集上の検証事項は、記事中の事実や固有名詞を保てるか、指定言語以外の文が混じらないか、人の評価と自動指標が一致するかである。本文の全体的な傾向だけで一律の優劣は決められず、表１ではソラニー語の最良の合成例追加モデルが多言語モデルを上回る。
出典
元のタイトル・要旨を確認する（英語）
Comparing Approaches to Automatic Summarization in Less-Resourced Languages
Automatic text summarization has achieved high performance in high-resourced languages like English, but comparatively less attention has been given to summarization in less-resourced languages. This work compares a variety of different approaches to summarization from zero-shot prompting of LLMs large and small to fine-tuning smaller models like mT5 with and without three data augmentation approaches and multilingual transfer. We also explore an LLM translation pipeline approach, translating from the source language to English, summarizing and translating back. Evaluating with five different metrics, we find that there is variation across LLMs in their performance across similar parameter sizes, that our multilingual fine-tuned mT5 baseline outperforms most other approaches including zero-shot LLM performance for most metrics, and that LLM as judge may be less reliable on less-resourced languages.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01