アーカイブ / LLM
物語の人物はその時どこにいるか――所在を追う二つの注釈データ
Locations of Characters in Narratives: Andersen and Persuasion Datasets
概要
- アンデルセン童話15編に249件、『説得』に264件の人物と所在の対応を手作業で注釈した。
- 五つの言語モデルの最高正解率は、曖昧一致でアンデルセン61.85％、『説得』56.06％だった。
- 基準手法は一部の注釈を除外して測定しているため、実務への転用時は対象文書で正解を作り、同じ条件で比較する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Locations of Characters in Narratives: Andersen and Persuasion Datasetsの仕組み
- 01英語の物語本文
- 02人物・場所・時点を注釈
- 03時点までの抜粋と質問
- 04モデルの所在回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
物語では、人物が移動しても新しい場所が毎回明記されるとは限らない。「その方へ歩いた」といった表現から所在を答えるには、前に示された場所と人物の行動を結び付ける必要がある。
著者らは、この読解能力を調べるため、物語の途中で人物の場所を尋ねる課題を作った。長い記録から人の経過を確認する用途を考える際にも、場所名を見つけるだけで答えられる例と、文脈をたどる必要がある例を分けて測る手掛かりになる。
手法
著者らはアンデルセン童話15編と『説得』を読み、人物、所在、その所在が分かる本文中の位置を手作業で注釈した。注釈とは、評価用の正解情報を本文に対応付ける作業である。一つの場所に複数の言い方がある場合は許容表現も記し、場所が不明な人物は対象に含めていない。
評価では、注釈した位置を末尾とする本文の抜粋を、人物の所在を尋ねる質問とともに大規模言語モデルへ入力する。大規模言語モデルは大量の文章を学習し、質問に文章で答えるモデルである。例えば王女が豚小屋の近くにいる王子の方へ歩く場面では、明記されていない王女の所在を前の記述から読み取り、回答を許容表現と照合する。
新規性
著者らの貢献は、英語の物語について、人物とその所在を本文中の時点ごとに対応付けた二つのデータセットである。アンデルセン童話15編に249件、小説『説得』に264件の対応を記録した。
既存の文学作品データには人物名と場所名を記録したものがあるが、両者の対応は付けていなかった。本研究では、場所が明記されず、前後の文から所在を読み取る場面も対象にしている。
従来手法との違い
比較対象は、本文中で人物名に最も近い場所名を選ぶ基準手法である。この手法は、注釈済みデータから場所名の一覧を取得し、所在が確定する時点までに現れた人物名との文字上の距離を使う。著者らは、本文の抜粋と質問に答える五つの大規模言語モデルとも成績を比べた。
基準手法では人物名を本文から見つけられない注釈を除外した。加えて、場所名の一覧を正解用の注釈から得ているため、言語モデルとの数値比較には入力情報と評価件数の違いがある。
実験結果
著者らは、アンデルセンの人物・場所の対応249件と『説得』の264件を使い、五つの言語モデルを評価した。採点は前処理後の完全一致と曖昧一致で行った。曖昧一致は、回答と許容表現の文字列の部分的な類似度が90を超える場合に正解とする。
著者らの報告では、曖昧一致の最高正解率はアンデルセンでLLaMA 2 13B Chatの61.85％、『説得』でFLAN-T5-XXLの56.06％だった。基準手法はそれぞれ55.84％、46.34％だが、人物名を本文から見つけられなかった18件と16件を除いて測定している。別実験では、T0++に無関係な一文を加えると曖昧一致が57.03％から52.21％に下がった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：時系列の作業日誌から、担当者が記録上どの区画にいたかを確認する補助に使う。入力は日誌本文、担当者名、確認したい時点とし、出力は区画名、根拠となる文、判断できない場合はその旨とする。担当者が原文を開いて確認する流れを想定する。
試行には、自組織の日誌と、人物名・区画名・所在が確定する時点・許容する呼び方を付けた正解データが要る。必要な情報源は日誌であり、この案では追加センサーを前提にしない。英語の文学作品から日本語の業務記録へ移す際は、呼称と質問文を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：日誌の一部から、移動先が明記された記録と、前後の文から区画を判断する記録を選ぶ。二人の注釈者が人物名、区画名、所在が確定する時点、許容回答を付け、食い違いを確認して評価用の正解を作る。入力には日誌本文を使い、追加センサーは用いない。
同じ記録と時点について、人物名に近い区画名を返す基準手法と、本文抜粋を読んで答える方法を比べる。両者で同じ評価件数を使い、完全一致と許容回答を含む正解率、時点の取り違え、無関係な場所を答えた件数を測る。日本語の略称や同名人物に合わせて注釈規則を調整する。
限界と課題
著者らは、アンデルセンの注釈を別の担当者にも作成してもらい、一致率52.7％、F1値69.0を報告した。また、T0++への質問文脈の末尾に無関係な人物と場所の一文を加えた実験では、成績が下がった。注釈の判断が分かれることと、余分な文への弱さが観察されている。
編集上の検証事項は、過去の訪問先と確認時点の所在を区別できるか、別名で呼ばれる人物を追えるか、複数の注釈者が許容回答に合意できるかである。報告値を日本語の業務文書へそのまま当てはめる根拠はない。
出典
元のタイトル・要旨を確認する（英語）
Locations of Characters in Narratives: Andersen and Persuasion Datasets
The ability of machines to grasp spatial understanding within narrative contexts is an intriguing aspect of reading comprehension that continues to be studied. Motivated by the goal to test the AI's competence in understanding the relationship between characters and their respective locations in narratives, we introduce two new datasets: Andersen and Persuasion. For the Andersen dataset, we selected fifteen children's stories from "Andersen's Fairy Tales" by Hans Christian Andersen and manually annotated the characters and their respective locations throughout each story. Similarly, for the Persuasion dataset, characters and their locations in the novel "Persuasion" by Jane Austen were also manually annotated. We used these datasets to prompt Large Language Models (LLMs). The prompts are created by extracting excerpts from the stories or the novel and combining them with a question asking the location of a character mentioned in that excerpt. Out of the five LLMs we tested, the best-performing one for the Andersen dataset accurately identified the location in 61.85% of the examples, while for the Persuasion dataset, the best-performing one did so in 56.06% of the cases.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01