表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

自由記述を原文の根拠からたどれる話題地図にするEviMap

EviMap

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

EviMapの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 2. Career-jobs dashboard with Bilingual/Multilingual Skill selected under Interpersonal & Service Skills and career_jobs-005430 open. Current-topic evidence is orange, other-topic phrases gray and clickable.

出典:EviMap / arXiv ↗

概要

  • 文書全体ではなく原文中の証拠句を分類し、3層の話題地図から該当箇所へ戻れる。
  • 6文書群で、話題と証拠のリンク約329万件、文字位置約436万件の参照整合性を検査した。
  • LLMによる話題評価では比較対象より高い平均点を報告したが、分類正解率を示す結果ではない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、EviMapの仕組み

左から右へ読む
  1. 01自由記述文書
  2. 02証拠句の抽出
  3. 03句の分類と階層化
  4. 04根拠付き話題地図

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

EviMapは、分類名や検索語がまだない自由記述の集まりから、原文を確認できる話題地図を作る。最初に示された話題の見取り図は、その後に読む文書や注目する論点を左右するため、根拠をたどれることが重要になる。

調査回答やレビューを大量に集めると、すべてを読むには時間がかかる。一方、自動生成された話題名や要約だけでは、少数意見が埋もれていないか、どの記述に基づくかを調べにくい。

手法

文書ID、本文、付随情報をそろえて入力する。LLM(大規模言語モデル)が少数の文書から分野の概要と関係者が重視しそうな点を仮に作り、各文書から短い「証拠句」を抜き出す。証拠句は話題を支える原文の一部分で、文字位置も記録するため、元の文書で強調表示できる。

次に、句の意味を数値で表す「埋め込み」で近い句を仮の小集団に分け、その中でLLMが細かな話題を判断する。小分けと分類を繰り返し、同じ組になった割合に基づいて結合を決める。細かな話題を中間グループ、上位の観点へまとめ、例えば求人文の「bilingual」から語学要件の話題と元の求人を行き来できる地図にする。

新規性

分類の単位を文書全体ではなく文書中の短い証拠句とし、話題と文書の結び付きを原文の該当箇所までたどれるようにした。細かな話題から中間グループ、上位の観点へと地図を組み立てる。

句を繰り返し小分けして分類し、同じ組になった割合を投票結果として使う。著者らは、一度のLLM判断による過度な結合を抑えるための設計としている。

従来手法との違い

手作業の質的分類は原文を確認しやすいが、大量の文書では時間がかかる。検索には検索語が必要で、文書単位の話題モデルでは、話題名を原文のどの表現から付けたか確かめにくいと著者らは整理する。

比較対象は、平坦な話題を作るTopicGPT型と、階層分類を作るTnT-LLM型である。両方式をEviMapと同じLLM基盤で各文書群に適用した。EviMapでは話題から証拠句と元の文書を開けるが、その機能だけで分類の正しさが保証されるわけではない。

実験結果

著者らは、学術査読、ホテル・音楽レビュー、求人、レシピ、EU討論の6文書群で画面を構築した。少なくとも一つの証拠句が得られた文書数は各群2,108~101,699件。話題と証拠のリンク3,290,920件、文字位置4,357,621件を検査し、参照先文書の欠落と、保存位置にある文字列の不一致は見つからなかったと報告する。

同じLLM基盤で比較し、各文書群から層化抽出したEviMapの「その他」を除く末端話題96件ずつを、LLMが5点尺度で判定した。6群の平均は根拠の一貫性4.53、名前の妥当性4.33。TopicGPT型は3.60/3.50、TnT-LLM型は3.96/3.79だった。これは話題の正解率ではない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内の自由記述アンケートから、次回調査で詳しく尋ねる論点の候補を探す。入力は回答本文と回答ID、出力は3層の話題地図と、各話題を支える回答中の句とする。

担当者が少数意見や「その他」に残った表現を原文で読み、設問に採用するか決める。処理対象の回答文は必要だが、別途の学習用データ、事前の正解ラベル、センサーは想定しない。適用前に個人情報の扱いを決め、社内用語の抽出と話題名を人が確認する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:一つの自由記述アンケートの回答本文とIDで地図を試作する。処理対象の回答文を用意し、個人情報の扱いと社内用語への適合を確認する。追加の学習用データ、事前の正解ラベル、センサーは使わない。

比較基準には、同じ回答の一部を担当者が読んで作る暫定的な話題一覧を置く。話題から原文へ正しく戻れる件数、担当者が重要と判断した記述の拾い漏れ、「その他」に残る件数を測る。候補の採否は、話題名だけで決めず原文と照合する。

限界と課題

著者らが挙げる限界は、抽出を導くモデル生成の文脈が重要な観点を落とし得ること、小さな話題の統合が少数意見を隠し得ること、LLMによる分類と命名に誤りが残ることである。評価用の正解階層もない。

編集上の検証事項は、重要な記述が証拠句として拾われる割合、実行を変えた際の話題名の揺れ、閲覧者が原文を読んで同じ解釈に至れるかである。「その他」の中身も確認する必要がある。報告された点数を分類正解率として扱うことはできない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

EviMap: Evidence-Grounded Hierarchical Topic Maps for Exploring Unlabeled Corpora

Research teams and organizations often explore unfamiliar free-text collections, from survey comments and reviews to reports and domain documents, before labels, queries or coding schemes exist. At this stage, the first thematic map shapes what users notice, prioritize and carry into downstream analysis, so it should be trusted only insofar as it can be verified. Existing options force a trade-off between scale and verifiability. Qualitative coding preserves evidence but is slow. Search presupposes a query. Clustering and topic models scale but produce labels users must interpret. One-shot large language model (LLM) summaries are fluent yet difficult to reproduce or audit. We present EviMap, an interactive system providing researchers and practitioners with an auditable thematic overview of such corpora. Guided by model-generated context describing the corpus and hypothesized stakeholder concerns, EviMap extracts within-document evidence phrases and organizes them, rather than whole documents, into a three-level map of aspects, groups and fine-grained topics. Embedding-based clustering narrows the search space for finer semantic judgments by the LLM. Each node traces back to supporting phrase spans, so documents link to topics through evidence they contain and users can audit labels against the original text. Users can start from a top-level corpus map, drill into topics, inspect highlighted evidence in original documents, and combine two topics to find documents discussing both. We demonstrate this workflow across six heterogeneous corpora spanning 2,108 to 101,699 documents, with a comparison against flat and hierarchical LLM baselines. By grounding every label in verbatim source spans, EviMap makes a topic map not just readable, but verifiable. Code, demo video, and interactive dashboard are available at https://github.com/zhiyintan/EviMap.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01