アーカイブ / LLM
会議中の要約はいつ更新するか――発言の区切り方と途中経過の評価
Policies and Evaluation for Online Meeting Summarization
Policies and Evaluation for Online Meeting Summarizationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Rouge curves for the best-performing system for each policy. All curves are in Appendix D .
概要
- 既存の要約モデルに、会議中の発言を読む時点と要約を表示する時点を決める複数の方針を組み合わせた。
- AutoMin 2023の12会議では、Bartの動的な区切り方は固定長方式より人手評価が高かった。
- 途中の要約品質、次の更新までの待ち時間、再処理量を併せて評価する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Policies and Evaluation for Online Meeting Summarizationの仕組み
- 01会議の発言テキスト
- 02発言を分割して入力
- 03更新方針を適用
- 04暫定要約を表示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、会議が進む間に発言テキストから要約を更新する方法を扱う。会議終了後の要約は記録には使えるが、遅れて参加した人が議論に追いついたり、会議中に議題の進み具合を確かめたりする用途には間に合わない。
会議中は情報がまだそろわず、新しい発言によって要約の追加や修正が必要になる。利用者が見るのは完成版だけでなく途中の文章でもあるため、内容の正確さに加え、表示までの遅れと書き直しの量が問題になる。
手法
既存の要約モデルに発言テキストを少しずつ渡し、各方針が次の入力を読む時点と文章を出す時点を決める。固定長方式は決めた量の発言を独立に要約する。モデルベース方式は複数の入力範囲から候補を作り、モデルの確信度を品質の推定値として一つ選ぶ。
スライディングウィンドウ方式では、直近の発言を保持し、表示済みの文を変更できない先頭部分としてモデルに与える。例えば発言を追加した結果、新しい要約文が続けば、その追加分を表示し、古い入力を保持範囲から外す。ほかに、毎回それまでの全文を要約し直す方式と、過去の出力を固定して全文から追記する方式も調べた。
新規性
著者らの提案は、会議終了後に使う既存の要約モデルに、発言をいつ読み、要約をいつ表示するかを決める方針を組み合わせた点にある。固定長の区切りに加え、モデルの確信度や出力の増加を手掛かりに更新時点を変える。
評価では最終要約だけでなく、会議の各時点で見える要約のROUGE-1 F1を追い、その推移を曲線下面積にもまとめる。次の更新までの平均的な待ち時間を示す期待遅延も導入し、品質と更新の速さを併せて調べた。
従来手法との違い
会議終了後の比較対象は、GPT-4と、議題による区切りを使うBartベースのZoom-longである。会議中の方式では、固定長で発言を区切る方法、複数の長さから要約を選ぶ方法、前の出力を保持して追記する方法などを比較した。
Bartの固定長方式は入力を各回で一度だけ処理する。対してスライディングウィンドウ方式は過去の入力も再処理し、著者らの評価では更新までの待ち時間が短かった。人手評価では、動的に区切る二方式の最終要約が固定長方式より高く評価された。
実験結果
著者らは実際の会議12件からなるAutoMin 2023のテスト集合で評価した。最終品質は参照要約との語の重なりを測るROUGE-1 F1、期待遅延は任意の時点から次の表示までの平均的な待ち時間である。時刻情報がないため、遅延計算では発言ターンを同じ長さと仮定した。
表1ではBartの固定長方式が入力区間768、ROUGE-1 F1 42.7、期待遅延25.9で、スライディングウィンドウ方式は入力区間256、同41.8、11.7、再処理量4.1倍だった。著者らの二人による5段階の人手評価では、最終要約の平均が順に3.6と4.1だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の定例会議で、途中参加者に暫定要約を表示する。入力は順次届く発言テキスト、出力はその時点までの議題や決定事項を記した文章とし、担当者が確認してから表示する。
既存モデルをそのまま使う案なので、追加学習用の社内データとラベルは設けない。評価には会議の発言記録と、人が確認した議事メモが要る。追加センサーは想定せず、発言テキストの取得と匿名化、会議に合う入力の区切り方を調整する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内会議の発言記録を匿名化し、担当者が確認した参照用議事メモを用意する。同じ既存モデルで固定長方式とスライディングウィンドウ方式を同じ会議に適用し、各更新時点の文章を保存する。
この比較では追加学習用データとラベルは使わず、参照メモを評価に使う。追加センサーは設けず、発言テキストの取得方法と入力の区切りを会議に合わせて調整する。重要事項の記載漏れと誤記、表示までの発言ターン数、モデルに送ったテキスト量を測る。
限界と課題
著者らは、会議中の方式は会議終了後の方式と同水準の品質にはまだ達していないと述べる。AutoMinには音声と時刻情報がないため実際の処理時間は遅延に含められず、発言ターンを同じ長さと仮定した。全文を書き直す方式では、表示済みの文章が大きく変わる場合も観察された。
編集上の検証事項は、社内会議で未確定の発言と決定事項を区別できるか、途中参加者が更新を追えるかである。期待遅延は、前回の更新以降の重要な内容が次の更新に含まれると仮定するため、実際の記載漏れも別に点検する必要がある。
出典
元のタイトル・要旨を確認する（英語）
Policies and Evaluation for Online Meeting Summarization
With more and more meetings moving to a digital domain, meeting summarization has recently gained interest in both academic and commercial research. However, prior academic research focuses on meeting summarization as an offline task, performed after the meeting concludes. In this paper, we perform the first systematic study of online meeting summarization. For this purpose, we propose several policies for conducting online summarization. We discuss the unique challenges of this task compared to the offline setting and define novel metrics to evaluate latency and partial summary quality. The experiments on the AutoMin dataset show that 1) online models can produce strong summaries, 2) our metrics allow a detailed analysis of different systems' quality-latency trade-off, also taking into account intermediate outputs and 3) adaptive policies perform better than fixed scheduled ones. These findings provide a starting point for the wider research community to explore this important task.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01