アーカイブ / LLM
共感的な返信に必要な場面で知識ツールを呼ぶEKTC
Emotional Knowledge Tool Calling (EKTC)
Emotional Knowledge Tool Calling (EKTC)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Architecture for the application of a specified tool in an example of empathetic dialogue. The model owns the ability to determine the timing of empathetic tools calling actively.
概要
- EKTCは、対話の文脈に応じて、共感的な返信の前に知識ツールを呼ぶかを判断する。
- 著者らはEDにツール呼出し過程を加えたTOOL-EDを構築し、モデルの追加学習に用いた。
- EDのテスト部分では、Qwen1.5-14BのCOMET利用設定のBLEU-4が0.0360で、元のEDによる追加学習設定の0.0317を上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Emotional Knowledge Tool Calling (EKTC)の仕組み
- 01対話履歴
- 02呼出し判断
- 03知識源の推論
- 04共感的な返信
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
EKTCは、相手の気持ちに配慮した返信を作る際、外部の知識が必要かを対話に応じて判断する手法である。共感的な返信では、発話に明示されない感情や意図を考慮することがある。
著者らは、単なる挨拶にも毎回知識を加えると、返信に無関係な情報が混ざり得ると指摘する。そこで、知識源を常に参照する方式を見直し、必要な場面で呼び出す形式をモデルに学習させる。
手法
まず、共感的な対話データEDから学習用のTOOL-EDを作る。大規模言語モデルLLaMA3-70Bが文脈や感情の強さを見て呼出しを判断し、COMETの推論結果が元の返信例と関連する場合に呼出し過程を採用する。COMETは、発話中の出来事から人の反応や必要なことなどを推論する知識源である。
TOOL-EDで追加学習したモデルは、対話履歴を受けて返信文かツール名と入力を指定する呼出し文を出す。例えば「母が車を買ってくれて驚いた」という発話を渡すと、ツールの結果を対話履歴に加えてから返信を作る。呼出しを選ばなければ、そのまま返信文を生成する。
新規性
著者らが提案するEKTCは、共感的な対話で使う常識知識源をツールとして扱い、発話の感情の強さや文脈を踏まえて呼出しを選ぶ枠組みである。利用者が明示的に質問していない場面も対象にする。
学習用には、既存の共感対話データEDに呼出し過程を加えたTOOL-EDを構築した。知識源としてCOMETとCICEROを試しているが、知識源を替えた効果は報告された評価条件の範囲で読む必要がある。
従来手法との違い
主な比較対象は、元のEDで追加学習したVicuna-7BとQwen1.5-14Bである。EKTC側は、TOOL-EDで追加学習した同じ基盤モデルが、返信の前に知識ツールを呼ぶ形式も扱う。
著者らは、毎回COMETを使う設定や、ツールの結果と正解返信の関連性を選別せずに作った学習データも比較した。ただし、EDとの比較では学習データと推論時のツール利用がともに変わるため、数値差を呼出し判断だけの効果とは解釈できない。
実験結果
著者らは、32種類の感情ラベルと33,090件の対話を含むEDのテスト部分で評価した。TOOL-EDの学習データでは26.46％にツール呼出しを含めた。自動評価には、返信例との類似度を測るBLEUやROUGE、返信の語句の多様性を測るDist-1/2などを用いた。
Qwen1.5-14Bでは、元のEDで追加学習した設定のBLEU-4が0.0317、TOOL-EDで学習しCOMETを使う設定が0.0360だった。著者らの人手評価では、100件の対話を対象に著者以外の研究者3人が比較し、同じ二設定の共感性について後者の勝ち61.3％、引き分け32.7％、負け6.0％と報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内相談窓口で、担当者が確認する返信案を作る。入力は利用許可を得た相談文と対話履歴、出力は返信案と、呼出し時に参照した知識源の推論結果とする。担当者が内容を確認してから使う想定である。
試行には、相談対話、承認済み返信、呼出しが適切かを示すラベル、感情や意図について推論を返す知識源が必要になる。文章を入力とするため追加のセンサーは想定しない。相談窓口の語彙や対応範囲に合わせ、呼出し例と返信例を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用許可を得た相談対話と担当者が承認した返信を集め、ツールを呼ぶべき場面のラベルを付ける。感情や意図を推論する知識源を用意し、窓口の語彙に合わせて呼出し例と返信例を調整する。文章だけを入力とし、追加のセンサーは使わない。
評価用の対話を学習用から取り分け、知識ツールを使わない返信を比較基準にする。担当者が同じ基準で共感性と話題との整合を採点し、不要な呼出しや感情の決めつけを数える。呼出し回数と返信案の修正時間も記録する。
限界と課題
著者らは、知識源の結果を対話履歴に加えることで、モデルに入力できる会話履歴の長さが圧迫され、返信の多様性に影響し得ると述べる。自動評価のDist-1/2でも、提案設定が一部の比較設定を下回る。
編集上の検証事項は、知識源が相談者の感情を誤って推論したときの扱いと、不要な呼出しの頻度である。確認できた本文の範囲では、実際の相談窓口での効果や、担当者が誤った推論をどの程度修正できるかは示されていない。
出典
元のタイトル・要旨を確認する（英語）
TOOL-ED: Enhancing Empathetic Response Generation with the Tool Calling Capability of LLM
Empathetic conversation is a crucial characteristic in daily conversations between individuals. Nowadays, Large Language models (LLMs) have shown outstanding performance in generating empathetic responses. Knowledge bases like COMET can assist LLMs in mitigating illusions and enhancing the understanding of users' intentions and emotions. However, models remain heavily reliant on fixed knowledge bases and unrestricted incorporation of external knowledge can introduce noise. Tool learning is a flexible end-to-end approach that assists LLMs in handling complex problems. In this paper, we propose Emotional Knowledge Tool Calling (EKTC) framework, which encapsulates the commonsense knowledge bases as empathetic tools, enabling LLMs to integrate external knowledge flexibly through tool calling. In order to adapt the models to the new task, we construct a novel dataset TOOL-ED based on the EMPATHETICMPATHETIC DIALOGUE (ED) dataset. We validate EKTC on the ED dataset, and the experimental results demonstrate that our framework can enhance the ability of LLMs to generate empathetic responses effectively.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01