アーカイブ / LLM
WebTrust：記事の信頼度を数値で予測し、別モデルが理由を示す
WebTrust
WebTrustの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1 : WebTrust workflow
概要
- WebTrustは記事本文に0.1～1.0の信頼度を予測し、別モデルで得点の説明文を生成する。
- 著者らは21分野の14万272記事を基に、改変した文章を含む35種類の信頼度ラベルを用意した。
- 学習に含めない1100件超で、基本指示文によるWebTrustのMAEは0.09、RMSEは0.14、R²は0.78と報告された。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、WebTrustの仕組み
- 01記事の本文
- 02信頼度を予測
- 03得点から説明を生成
- 04得点と説明を表示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
WebTrustは、文章の信頼度を数値で示し、その得点の説明文を付ける手法である。検索で記事を見つけても、その内容を採用してよいかは別に確かめる必要がある。真偽の二択では、正確な記述と誤った記述が混ざる文章を扱いにくい。
著者らは中間の信頼度を含むラベルを用意し、文章から得点を予測するモデルを学習した。実務での焦点は、得点や説明を最終判定とせず、どの記事を優先して調べるかの手掛かりにできるかである。
手法
WebTrustは記事の本文を受け取り、追加学習したGranite-1Bで0.1～1.0の信頼度を予測する。追加学習とは、既存モデルに目的別の例を学ばせることだ。著者らは21分野の14万272記事を集め、情報源の評価を基に得点を付けた。さらに数字の変更や意味の反転などで文章を改変し、中間の得点を含む35種類のラベルを用意した。
予測後は元の文章と得点を追加学習前のGranite-1Bへ渡し、短い説明文を生成する。例えば数字を変更した記事なら、記事本文から得点を出し、その得点について説明を添える。画面では得点を百分率と説明欄で示す構成だが、説明は採点モデルの内部判断を直接取り出したものではない。
新規性
著者らが提案するのは、文章を真偽の二択で分ける代わりに、0.1～1.0の信頼度を予測し、その得点について説明文も示す構成である。中間の得点を学習できるよう、元記事を改変した文章もデータに加えている。
採点には追加学習したGranite-1B、説明には追加学習前の別のGranite-1Bを使う。説明文は予測後に生成されるため、それ自体が採点の判断過程を証明するわけではない。
従来手法との違い
比較対象は、追加学習前のGranite-1B、TinyLlama、Olmoの３モデルと、文章の特徴を規則で組み合わせる方式である。規則方式は数字や固有名詞の量、読みやすさ、主観的な語の多さなどを得点に変える。
WebTrustは記事と信頼度ラベルの組でGranite-1Bを追加学習する。著者らの評価では、掲載された３種類の指示文のいずれでも比較モデルより採点誤差が小さい。外部の根拠資料を照合する方式との性能比較は確認できない。
実験結果
著者らは、学習に含めない1100件超の文章で得点予測を評価した。指標はMAE（予測と正解の差の絶対値の平均）、RMSE（大きな誤差をより重く扱う値）、R²（正解値の変動をどの程度説明するかを示す値）で、基本・ゼロショット・少数例付きの３種類の指示文を試した。
基本指示文でWebTrustのMAE、RMSE、R²は順に0.09、0.14、0.78。同条件でMAEが最小の比較モデルOlmoは0.17、0.23、0.45だった。少数例付きではWebTrustは0.14、0.21、0.56。説明文の事実性を測った数値は、確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術記事を検索した際、候補記事の本文を採点モデルへ入力し、予測得点と説明を検索結果に添える。担当者は気になる記事を開き、記載された事実を社内の原資料と照合して採否を決める。
試行には利用可能な社内記事、根拠資料、人が付けた信頼度ラベルが要る。専用センサーは想定しない。社内用語や記事形式への適応が必要かを評価し、得点を人による確認の優先順位付けに使えるか検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用可能な社内記事を集め、担当者が原資料を確認して信頼度ラベルを付ける。記事とラベルを学習用・評価用に分け、必要なら社内用語や記事形式に合わせて採点モデルを調整する。入力は記事本文で、出力は得点と説明文とする。
専用センサーは想定しない。既存の検索結果を担当者が確認する手順を基準に、得点と説明を添えた場合を比べる。採点誤差、事実の見落とし件数、根拠に合わない説明の件数、確認時間を測り、採用前の人手確認に役立つかを判断する。
限界と課題
本文が示す実装条件として、採点モデルへの入力は2240トークンで切り詰められる。説明生成には追加学習前の別モデルを使い、出力も最大300トークンに制限する。長文の後半が採点に反映されるかは、編集上の検証事項である。
編集上の検証事項には、改変で作った中間得点が実際の誤情報を表すか、分野が変わっても採点が妥当か、説明が原資料に沿うかがある。また、冒頭の書誌情報は「TRACE／TrueGL-1B」、確認できた本文は「WebTrust／Granite-1B」と食い違う。本記事は本文の記述に基づく。
出典
元のタイトル・要旨を確認する（英語）
TRACE: Transparent Web Reliability Assessment with Contextual Explanations
In an era of AI-generated misinformation flooding the web, existing tools struggle to empower users with nuanced, transparent assessments of content credibility. They often default to binary (true/false) classifications without contextual justifications, leaving users vulnerable to disinformation. We address this gap by introducing TRACE: Transparent Reliability Assessment with Contextual Explanations, a unified framework that performs two key tasks: (1) it assigns a fine-grained, continuous reliability score (from 0.1 to 1.0) to web content, and (2) it generates a contextual explanation for its assessment. The core of TRACE is the TrueGL-1B model, fine-tuned on a novel, large-scale dataset of over 140,000 articles. This dataset's primary contribution is its annotation with 35 distinct continuous reliability scores, created using a Human-LLM co-creation and data poisoning paradigm. This method overcomes the limitations of binary-labeled datasets by populating the mid-ranges of reliability. In our evaluation, TrueGL-1B consistently outperforms other small-scale LLM baselines and rule-based approaches on key regression metrics, including MAE, RMSE, and R2. The model's high accuracy and interpretable justifications make trustworthy information more accessible. To foster future research, our code and model are made publicly available here: github.com/zade90/TrueGL.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01