表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

原子力をめぐる新聞報道の話題をBERTopicで年代別にたどる

BERTopic

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

BERTopicの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 2: Year-wise distribution of documents across different data subsets, illustrating the temporal spread and volume of content used in our analysis. This visualization helps contextualize topic evolution by showing how data density varies over time.

出典:BERTopic / arXiv ↗

概要

  • 著者らは、1955~2018年の原子力関連の新聞記事・広告14万8千件超を対象にBERTopicを適用した。
  • 記事を意味に基づく数値表現に変えて話題を抽出し、発行年に沿った分布の変化を調べる。
  • 確認できた表にはLDAの評価値があるが、BERTopicとの性能差を数値で確かめるための対応する結果は含まれていない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、BERTopicの仕組み

左から右へ読む
  1. 01記事本文と発行年
  2. 02英訳と文章整理
  3. 03文書を数値化
  4. 04近い記事を集約
  5. 05話題と年別推移

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

BERTopicは、似た内容の記事を集めて話題を見つける手法である。著者らは、原子力発電と原子力安全に関する歴史新聞を対象に、長期間の報道で扱われる話題と、その時期による変化を調べた。

大量の記事を人手で読み通すには時間がかかる。歴史新聞には紙面の文字の読み取り誤りや時代ごとの言葉の違いもあり、単語の出現だけでは記事の文脈や話題の移り変わりを捉えにくいという課題がある。

手法

対象は1955~2018年の新聞記事・広告で、原文はフランス語、ドイツ語、一部ルクセンブルク語である。著者らは英語に自動翻訳して重大な翻訳誤りを人手で直し、不要な記号や20語未満の文書を除いた。各記事を、文章の意味的な近さを計算できる数値の組である「埋め込み」に変える。

次にUMAPで数値の組を扱いやすい少数の値に縮め、HDBSCANで近い記事を集める。C-TF-IDFは記事群を特徴付ける語を選ぶ計算方法で、著者らはKeyBERTによるキーワード抽出も用いる。発行年を使った分析では話題の分布と重要度を時期別に追い、例えば原子力発電と核兵器に関わる話題の現れ方を調べる。

新規性

著者らの主な貢献は、BERTopicを大規模な歴史新聞記事に適用し、時期を区別しない話題抽出と、発行年に沿った話題の推移の分析を組み合わせた点にある。BERTopic自体を新たに提案した研究ではない。

著者らは文章の数値化に使うモデルの違いと、記事をまとめる設定値の調整も検討した。原子力発電と核兵器に関わる話題の併存や、時期による重要度の変化を調べる適用例として位置付けられる。

従来手法との違い

比較対象は、文書ごとの単語の分布から話題を推定するLDAと、文書と単語の関係を非負の値に分解するNMFである。著者らは両手法について、通常版に加え、単語の重み付けにTF-IDFを使う版と、人名・地名・組織名などの固有表現を入力に使う版を設けた。

BERTopicは文章の文脈を反映した数値表現から近い記事を集め、記事群を特徴付ける語を選ぶ。確認できた本文の範囲では、同条件のBERTopicと比較手法の結果を並べた表がなく、性能差の大きさは判定できない。

実験結果

著者らはimpresso由来の原子力関連の新聞記事・広告14万8千件超を収集し、1955~1970年、1971~1986年、1987~2002年、2003~2018年の四期間に分けた。話題内の語のまとまりを測るtopic coherence(TC)と、話題間で使われる語の違いを測るtopic diversity(TD)を評価指標としている。

確認できた表では、1955~1970年の通常のLDAを話題数10で実行した値はTC 0.10、TD 0.78である。これはLDAの結果であり、BERTopicの値ではない。確認できた本文の範囲ではBERTopicの対応する結果と動的分析の定量値が欠けており、優劣や改善幅は数値で確かめられない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:企業の過去の社内報から、安全対策に関する話題の移り変わりを調べる。必要な元データは記事本文、発行年月、記事IDであり、紙面画像しかなければ文字の読み取りも必要になる。話題の正解ラベルやセンサーは、探索用の入力には要らない。

本文を整えて記事を話題ごとにまとめ、代表語と年別の記事数を出力する。担当者が元記事を読んで話題名を確かめ、社内特有の略語や文体に合わせて前処理と分類設定を調整する。得られる推移の有用性は、この用途で別途確かめる必要がある。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:発行年月と記事IDが分かる社内報の一部を選び、本文の文字読み取りと欠損を点検する。必要な分析用データは本文と発行年月で、話題の正解ラベルやセンサーは必須としない。言語、略語、記事の長さに応じて前処理と文章の数値化方法を調整する。

同じ記事集合にBERTopicと比較対象のLDAを適用し、代表語、元記事、年別件数を並べる。担当者が記事を読み、話題名が妥当な割合、分類から外れた記事の割合、年代別の件数の偏り、処理時間を記録する。必要なら確認用の記事に人手で話題ラベルを付けて評価する。

限界と課題

著者らは、歴史新聞の分析で、紙面の文字を読み取るOCRの誤り、時代による語彙の変化、大量の文章が課題になると述べている。確認できた本文の範囲では、それぞれの課題が今回の結果をどの程度変えたかは分からない。

編集上の検証事項は、翻訳や短い記事の除外で失われる話題、年代ごとの収録件数の偏り、代表語に付けた話題名の妥当性である。年別の話題件数を社会全体の関心の変化と解釈する前に、収集条件と元記事を確認したい。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Automating Historical Insight Extraction from Large-Scale Newspaper Archives via Neural Topic Modeling

Extracting coherent and human-understandable themes from large collections of unstructured historical newspaper archives presents significant challenges due to topic evolution, Optical Character Recognition (OCR) noise, and the sheer volume of text. Traditional topic-modeling methods, such as Latent Dirichlet Allocation (LDA), often fall short in capturing the complexity and dynamic nature of discourse in historical texts. To address these limitations, we employ BERTopic. This neural topic-modeling approach leverages transformerbased embeddings to extract and classify topics, which, despite its growing popularity, still remains underused in historical research. Our study focuses on articles published between 1955 and 2018, specifically examining discourse on nuclear power and nuclear safety. We analyze various topic distributions across the corpus and trace their temporal evolution to uncover long-term trends and shifts in public discourse. This enables us to more accurately explore patterns in public discourse, including the co-occurrence of themes related to nuclear power and nuclear weapons and their shifts in topic importance over time. Our study demonstrates the scalability and contextual sensitivity of BERTopic as an alternative to traditional approaches, offering richer insights into historical discourses extracted from newspaper archives. These findings contribute to historical, nuclear, and social-science research while reflecting on current limitations and proposing potential directions for future work.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01