表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

アムハラ語の偽ニュース判定で、記事の内容と投稿の広がり方を組み合わせる

Ethio-Fake

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Ethio-Fakeの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Overview of the main phases of our methodology approach.

出典:Ethio-Fake / arXiv ↗

概要

  • 著者らは、アムハラ語のニュース12,000件を使い、本文と社会的文脈を組み合わせた偽ニュース判定を検討した。
  • 著者らのテストでは、従来型分類器の統合方式がF1値0.99、アムハラ語向けに調整した多言語モデルmBERTが0.94だった。
  • LIMEで個別モデルが重視した語を調べた。社会的文脈単独の寄与や別時期の投稿での成績は、確認できた本文の範囲では分からない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Ethio-Fakeの仕組み

左から右へ読む
  1. 01アムハラ語のニュース
  2. 02本文と共有情報の特徴化
  3. 03複数モデルの予測統合
  4. 04真偽の二値判定

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

Ethio-Fakeは、アムハラ語のニュースを「偽」か「偽ではない」かに分類する研究である。SNS上では、記事の文章に加え、誰が投稿し、どのように共有されたかという情報も判定の手掛かりとして検討されている。

著者らは、アムハラ語では正解ラベル付きのデータや言語処理の道具が不足していると説明する。偽ニュースの判定は投稿の扱いに関わるため、分類成績に加え、一件ごとの予測でモデルがどの語を重視したかを調べる意義がある。

手法

著者らは、ニュースの見出し・本文と、投稿者のプロフィールや共有の記録を扱う。共有の記録は、どの利用者が、どの投稿で、いつ記事を共有したかを表す。例えば健康分野の記事なら、その文章と取得できた共有情報から特徴を取り出し、正解ラベル付きの事例で分類器を学習させる。

従来型の分類器やニューラルネットなどを個別に試したうえで、複数モデルの予測確率をまとめ、XGBoostという次段の分類器で最終判定を作る。これは複数の予測を材料に再度学習する「スタッキング」と呼ばれる方法である。別途、LIMEという個別予測の説明手法で、判定に影響した語をモデルごとに調べている。

新規性

著者らが提案するのは、アムハラ語のニュースについて、見出しや本文の特徴に投稿者と共有の文脈を加え、複数の分類器の予測を統合する方法である。分野の異なる判定用データも作成した。

さらにLIMEを使い、個々の判定に影響した語をモデルごとに調べた。ただし、社会的文脈を加えた効果を単独で示す比較結果は、確認できた本文の範囲では示されていない。

従来手法との違い

比較したのは、SVMなどの従来型分類器、GRUなどのニューラルネット、事前学習済み言語モデル、および複数モデルの予測を統合する方式である。単独モデルと統合方式は、同じ研究内のテストデータで評価された。

著者らの表では、SVMのF1値は0.93、GRUは0.89、アムハラ語向けに調整したmBERTは0.94、従来型分類器の統合方式は0.99だった。mBERTは多言語モデルであり、0.94は言語モデル群の中での最高値を指す。

実験結果

著者らは、ビジネス、健康、政治、スポーツ、宗教、技術の計12,000件を用いた。真と偽は各6,000件で、3人の注釈者が指針に沿ってラベルを付けた。データの80%を学習、20%をテストに分け、適合率、再現率、両者をまとめるF1値で評価した。

著者らのテスト結果では、従来型分類器の統合方式がF1値0.99、ニューラルネットの統合方式が0.98だった。アムハラ語向けに調整したmBERTは0.94である。これらは当該データと分割条件での結果であり、共有情報を除いた場合の差や、別時期の投稿での成績は示していない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:アムハラ語のFacebook投稿を扱う報道機関で、事実確認の順番を決める補助画面を試す。見出しと本文、取得できる投稿者情報、共有した利用者・投稿・時刻の記録を入力し、真偽の予測と、個別モデルの判定に影響した語を担当者へ示す。

利用先で集めた投稿に、原典を調べて付けた真偽の二値ラベルが学習用に必要となる。追加の物理センサーは想定せず、利用先で実際に取得できる項目と語彙に合わせて特徴とモデルを調整する。表示結果は人による確認の手掛かりとして扱う。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:利用先のアムハラ語投稿を集め、見出し・本文、取得できる投稿者情報、共有した利用者・投稿・時刻を記録する。担当者が原典を確認して真偽の二値ラベルを付け、学習用と保留評価用に分ける。追加の物理センサーは使わず、欠ける項目と現場の語彙に合わせて特徴とモデルを調整する。

本文だけの分類器を基準に、共有情報を加えた方式を同じ保留データで比べる。F1値、偽を見逃した件数、分野別の誤判定、共有記録がない投稿の成績を測る。LIMEが示す語については、担当者が確認に役立ったかを別に記録する。

限界と課題

著者らは、アムハラ語のような資源の少ない言語では、注釈済みデータや処理用の道具が不足すると述べる。また、LIMEによる事例分析では、同じ入力を「偽」と判定したモデル間でも、重視する語が異なったと報告した。

編集上の検証事項は、共有記録がない投稿への対応、投稿者情報への依存、別時期の投稿への適用である。確認できた本文の範囲では、注釈者間の一致度、分野別の誤判定率、社会的文脈だけの寄与は数値で確認できない。LIMEの表示が担当者の判断に役立つかも別に確かめる必要がある。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Ethio-Fake: Cutting-Edge Approaches to Combat Fake News in Under-Resourced Languages Using Explainable AI

The proliferation of fake news has emerged as a significant threat to the integrity of information dissemination, particularly on social media platforms. Misinformation can spread quickly due to the ease of creating and disseminating content, affecting public opinion and sociopolitical events. Identifying false information is therefore essential to reducing its negative consequences and maintaining the reliability of online news sources. Traditional approaches to fake news detection often rely solely on content-based features, overlooking the crucial role of social context in shaping the perception and propagation of news articles. In this paper, we propose a comprehensive approach that integrates social context-based features with news content features to enhance the accuracy of fake news detection in under-resourced languages. We perform several experiments utilizing a variety of methodologies, including traditional machine learning, neural networks, ensemble learning, and transfer learning. Assessment of the outcomes of the experiments shows that the ensemble learning approach has the highest accuracy, achieving a 0.99 F1 score. Additionally, when compared with monolingual models, the fine-tuned model with the target language outperformed others, achieving a 0.94 F1 score. We analyze the functioning of the models, considering the important features that contribute to model performance, using explainable AI techniques.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01