アーカイブ / LLM
文間番号をLLMに選ばせる長文の話題分割法：重複入力と区間長の調整
Overlapping and Recursive Prompting
Overlapping and Recursive Promptingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The overlapping and recursive prompting strategy for segmentation. In (a), a long document is split into overlapping sections with sentence boundaries enumerated. In (b), each section is segmented by the LLM. In (c), the segments are joined. Finally, in (d), each segment is validated to ensure it is not too long or too short.
概要
- 文間番号をLLMに選ばせ、本文を再出力せずに話題境界を得る。長文は重複入力で処理し、区間長も調整する。
- 著者らの境界類似度はGPT3.5でHumanが0.38、Wikiが0.25だった。一方、Conc-WikiではBERTの0.46がGPT3.5の0.29を上回った。
- 日本語の業務文書への導入には、人が付けた境界での評価と、表や乱れた文字を含む文書での異常出力の確認が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Overlapping and Recursive Promptingの仕組み
- 01文書
- 02文間番号付き重複入力
- 03LLMの境界選択
- 04結合・長さ検証
- 05話題境界番号
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、文章を一つずつの話題を扱う区間に分ける。境界は文と文の間に置き、隣り合う文の間で話題が切り替わるかを判断する。長文検索や要約では、話題別の区間が必要な箇所を取り出す単位になる。
一方、話題の切り替わりは常に明確とは限らず、人によって境界の判断も異なる。見出しや別々の記事をつないで作った正解が、人の自然な区切り方と一致するとも限らないため、用途に合う境界の基準が重要になる。
手法
まず文と文の間に番号を付け、LLM（大量の文章から学習した言語モデル）に話題境界の番号だけを返すよう指示する。例えば「納期を確認した。[1] 次に品質検査を説明する。」なら、話題が変わると判断した際に「1」を返す。指示文には出力形式と少数の例を含め、本文そのものは返させない。
長文は一部を重ねた入力に分け、重複部分のどちらの結果を採用するか決めて境界をつなぐ。実験では区間長の上限を750トークンとして入力を1500トークン重ねた。トークンはモデルが文章を処理する単位である。得られた区間が50語未満なら隣と結合し、500語超なら同じモデルに境界を一つ選ばせて再分割する。
新規性
著者らは、文間に付けた番号だけをLLMに返させる指示法を提案した。元の本文を出力し直さずに境界を指定できるため、返答の中で本文が書き換わる問題を避けられる。ただし、境界番号が常に正しいという意味ではない。
長文を重複する入力に分け、結果をつないだ後に短い区間を結合し、長い区間を再分割する点も提案の一部である。評価には、境界のずれを距離に応じて採点する「境界類似度」を採用している。
従来手法との違い
比較対象は、5文ごとに区切るSplit5、SentenceBERTで文の意味を数値化した表現から類似度を求めるBERT、文の類似関係をグラフとして扱うBERTGraphである。BERTとBERTGraphは、文同士の類似度を手掛かりに境界を決める。
提案法は、番号付きの文をLLMに読ませ、返された番号を境界として使う。本文に区切り記号を加えて返す既存のLLM向け手法との直接比較は、実験時期と費用などの制約から行われていない。
実験結果
著者らは、手作業で区切った非フィクション10文書のHuman、見出しから境界を得たWiki、異なる分野の区間をつないだConc-Wiki、GPT3.5が境界を生成したSyntheticで評価した。Syntheticの結果は生成モデルに有利なため、結論の根拠には用いていない。
各資料で最大150文書を用いた表では、境界のずれを2文以内で距離に応じて採点する境界類似度で、GPT3.5はHumanが0.38、Wikiが0.25だった。Conc-WikiではBERTが0.46、GPT3.5が0.29で、BERTが上回った。著者らは、資料の作り方や境界の定義によって結果が変わると述べている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の長い業務報告を話題別に区切り、担当者が検索用の見出しを付けるための区間一覧を作る。入力は報告本文、出力は各区間の開始・終了文番号と、その範囲の原文とする。見出しはこの手法の出力ではなく、担当者が確認して付ける。
対象業務の報告文と、担当者が文間に境界を付けた例を用意し、指示文の例示や評価に使う。文の区切り方と区間長は業務文書に合わせて確認する。追加センサーは使わず、学習済みモデルを新たに訓練することも、この案の前提にはしない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内報告から少数の文書を選び、担当者が文間に話題境界を付けた正解例を用意する。番号を返すLLMと、5文ごとに区切るSplit5を同じ文書で比べ、境界類似度と見落とした境界を記録する。検索に使うなら、担当者が目的の区間を見つけられるかも確認する。
この試行でモデルを追加学習するためのデータは必須としないが、指示文に示す境界例と評価用の正解ラベルは必要になる。追加センサーは使わない。日本語の文分割規則と区間長を調整し、表の付近の誤りや文数を超える番号を別に数える。
限界と課題
著者らは、表や乱れた文字を含む文書でGPT3.5が規則的な番号列を返し、文数を超える番号まで出す場合を報告した。区間の正解には主観が入り、評価資料は英語に限られる。別のLLM向け指示法との直接比較もなく、独自データとコードは公開できず、同じデータでの再実験もできないと述べている。
編集上の検証事項は、日本語の文境界や表を含む報告で異常な番号が出る頻度、担当者間の境界判断の差、区切った結果が検索作業に役立つかどうかである。報告された数値を、そのまま日本語の業務文書の性能とみなすことはできない。
出典
元のタイトル・要旨を確認する（英語）
Topic Segmentation Using Generative Language Models
Topic segmentation using generative Large Language Models (LLMs) remains relatively unexplored. Previous methods use semantic similarity between sentences, but such models lack the long range dependencies and vast knowledge found in LLMs. In this work, we propose an overlapping and recursive prompting strategy using sentence enumeration. We also support the adoption of the boundary similarity evaluation metric. Results show that LLMs can be more effective segmenters than existing methods, but issues remain to be solved before they can be relied upon for topic segmentation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01