アーカイブ / LLM
投稿を領域別に絞り、根拠付きの利用者プロフィールを作る
LLM-based User Profiling
LLM-based User Profilingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Dataset curation pipeline for political content related to the 2024 Iranian presidential election, including data collection, knowledge base construction, semi-supervised labeling, and BERT-based classification
概要
- 領域に関係する投稿を絞り、観点ごとの説明と根拠となる原投稿を作る。
- 評価はペルシャ語の政治投稿を対象に、100人と15の主張からなる1,500組で行われた。
- 要約には文化的な解釈の偏りが入り得るため、原投稿との照合が重要になる。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLM-based User Profilingの仕組み
- 01利用者の投稿
- 02領域関連の投稿を選別
- 03観点別に参照
- 04要約文と根拠投稿
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、大量のSNS投稿から、ある話題について利用者が何を述べているかを短く表す。投稿全体をそのまま読むのは負担が大きく、固定した属性だけに当てはめると、領域ごとの重要な論点を取り逃がす。
自然文のプロフィールは人が内容を点検しやすいが、要約が元の発言から離れる危険もある。論文は、対象領域の投稿を選び、観点別の説明と根拠投稿を組み合わせる課題を扱う。
手法
まず、対象領域の知識ベースと投稿の意味的な近さを使って、関連する投稿を絞る。知識ベースは、その領域の人物や事柄を整理した情報である。論文では、この結果を使って分類器を学習し、政治に関係する投稿を選んだ。次に投稿データから領域を表す主張を作り、人の選別を経て15件に絞った。
各利用者について、その主張と選ばれた投稿をLLMに渡す。LLMは主張に関する短い説明を作り、根拠に使った元投稿も選ぶ。前者は抽象型、後者は抽出型のプロフィールである。例えば経済状況への評価という観点なら、出力はその利用者が実際に述べた内容の説明と、確認用の投稿になる。
新規性
提案法は、分析する領域を表す文を投稿データから作り、その文ごとに利用者の履歴を要約する。要約文と、その根拠として選んだ原投稿の両方をプロフィールに含めるため、どの発言に基づく記述かを追える。
大量の投稿から対象領域の発言を選ぶ半教師ありの絞り込みも組み合わせた。論文が検証した領域はペルシャ語の政治投稿であり、別領域での精度まで実証したわけではない。
従来手法との違い
比較対象には、投稿の無作為選択、語の一致によるBM25検索、意味の近さによる検索、既存の要約法と抽出法が含まれる。提案法は領域を表す15の主張ごとに投稿を参照し、説明文と原投稿の選択結果を作る。
論文は、プロフィールを入力にした立場判定で方法を比べた。著者によると、原投稿を選ぶ抽出型が特に良好だった。要約型は短くまとめられる一方、地域固有の政治用語の解釈にモデルの偏りが入り得ると分析している。
実験結果
著者は2024年のイラン大統領選に関わるペルシャ語投稿600万件超から、政治関連の投稿170万件超を選んだ。プロフィール評価では100人と15の主張から1,500組を作り、人が「真・偽・判断不能」を付けた。注釈者間のCohenのカッパ値は0.63だった。
評価指標は、各分類のF1を平均するマクロF1である。論文要旨は従来法などより9.8%高い結果を報告するが、確認できた本文の範囲では図の数値を読み取れず、どの比較条件の差かは特定できない。数値を導入時の期待値として扱うべきではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:組織が同意を得て集めた公開コメントを、議題ごとに整理する。入力は投稿文と「料金への評価」などの分析観点で、出力は観点ごとの短い説明と、その説明の根拠になった原文の一覧である。
調査担当者は一覧から原文を読み、説明が発言の範囲を超えていないか確認する。これは原論文の政治的立場判定とは異なる利用場面であり、別の言語や領域でも同じ精度になるという主張ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:同意を得た小規模な投稿集合で、分析したい観点を人が先に確認する。無作為選択と意味検索を基準に、同じ長さのプロフィールを作り、原文を読んだ評価者が観点ごとの記述を採点する。
正しく引用できた割合、根拠のない断定の件数、「判断不能」を適切に残せた割合を測る。要約型と原文抽出型を分けて比べ、固有名詞や地域特有の言い回しで誤りが増えないかも点検する。
限界と課題
著者は、要約型ではモデルの文化的・政治的な偏りが利用者の意見をゆがめ得ること、長い入力から複雑な判断を行う難しさ、推測によるプライバシー上の懸念を論じる。評価用の正解についても、注釈者間の一致度は完全ではない。
編集上の確認点は、別の話題や言語でも観点を適切に作れるか、引用された投稿が説明を本当に支えるか、投稿者が表明していない属性を推定していないかである。確認できた本文は途中で切れており、結果の全内訳は確認できない。
出典
元のタイトル・要旨を確認する(英語)
From Millions of Tweets to Actionable Insights: Leveraging LLMs for User Profiling
Social media user profiling through content analysis is crucial for tasks like misinformation detection, engagement prediction, hate speech monitoring, and user behavior modeling. However, existing profiling techniques, including tweet summarization, attribute-based profiling, and latent representation learning, face significant limitations: they often lack transferability, produce non-interpretable features, require large labeled datasets, or rely on rigid predefined categories that limit adaptability. We introduce a novel large language model (LLM)-based approach that leverages domain-defining statements, which serve as key characteristics outlining the important pillars of a domain as foundations for profiling. Our two-stage method first employs semi-supervised filtering with a domain-specific knowledge base, then generates both abstractive (synthesized descriptions) and extractive (representative tweet selections) user profiles. By harnessing LLMs' inherent knowledge with minimal human validation, our approach is adaptable across domains while reducing the need for large labeled datasets. Our method generates interpretable natural language user profiles, condensing extensive user data into a scale that unlocks LLMs' reasoning and knowledge capabilities for downstream social network tasks. We contribute a Persian political Twitter (X) dataset and an LLM-based evaluation framework with human validation. Experimental results show our method significantly outperforms state-of-the-art LLM-based and traditional methods by 9.8%, demonstrating its effectiveness in creating flexible, adaptable, and interpretable user profiles.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-30




