アーカイブ / LLM
答えのない質問をどう学ぶか：抽出型質問応答の損失関数と合成解答
Robust Extractive Question Answering Training
概要
- 提案法は、答えのない質問を特殊記号の位置で表さず、二つの損失と解答候補の得点によって空回答を学習・判定する。
- SQuAD 2.0で学習した3モデルの平均では、評価領域と回答可否を等重みで集計したF1が65.5から71.2になった。
- 二種類の攻撃によるF1低下幅は40.7から13.2になった。社内文書への効果は別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Robust Extractive Question Answering Trainingの仕組み
- 01質問・段落と正解
- 02合成解答を追加
- 03二つの損失で学習
- 04解答箇所か空回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
抽出型質問応答は、質問と文章を受け取り、答えとなる連続した語句を文章から選ぶ方法だ。文章に答えがなければ、語句を選ばず空回答にする必要がある。規程などで根拠のない箇所を抜き出すと、読み手の判断を誤らせる恐れがある。
答えのない質問には、正解に似せて人が作ったものと、情報を探す過程で生じたものがある。著者らは、片方で学んだモデルがもう片方に対応しにくいことと、紛らわしい文を加える攻撃への弱さを課題に挙げる。
手法
学習入力は質問と段落、正しい解答箇所または「答えなし」のラベルだ。回答可能な例の約20％には、二つ目の合成解答を加える。例えば、段落に答えがある質問では語句の開始位置と終了位置を学ぶ一方、答えのない質問では入力先頭の記号を正解位置と決めない。
損失は予測のずれを学習へ伝える計算で、提案法は二種類を併用する。一方は答えのない例で全位置に同じ値を与え、もう一方はどの位置も解答の開始・終了ではないと学ぶ。推論では候補の開始点と終了点の得点を足し、最高得点が負なら空回答を返す。合成解答の作成手順は、確認できた本文の範囲では分からない。
新規性
著者らは、答えのない質問を入力先頭の特殊記号の位置で表さず、全位置を均等に扱う損失と、解答位置の有無を学ぶ損失を組み合わせた。推論時は解答候補の最高得点が負なら空回答にする。
さらに、一部の回答可能な学習例へ二つ目の「合成解答」を追加する。追加実験では、新しい損失が質問の分布変化への対応に、合成解答が攻撃への耐性に主に寄与したと著者らは分析している。
従来手法との違い
従来法は、答えがない場合でも入力先頭の特殊記号「CLS」を解答の開始位置と終了位置として学ぶ。提案法は答えのない例の学習目標と空回答の判定を変え、回答可能な学習例の約20％に合成解答を加える。
SQuAD 2.0で学習した3モデルの平均では、同じデータセットの回答可能な質問のF1は従来法83.3から提案法78.4に下がり、回答不能な質問では76.1から81.1に上がった。両者を等重みで平均した値は79.7と79.8である。
実験結果
著者らはBERT、RoBERTa、SpanBERTの各baseモデルをSQuAD 2.0で追加学習し、乱数初期化を変えた5回の平均を報告した。SQuAD 2.0、SQuAD AGent、ACE-whQAの評価領域と回答可否を等重みで集計した全体のF1は、従来法65.5、提案法71.2だった。F1は予測と正解の語の重なりを測る指標である。
SQuAD 2.0の回答可能な質問に紛らわしい文を加える二種類の攻撃では、元の問題からのF1低下幅の平均が従来法40.7、提案法13.2だった。新しい損失だけを使い合成解答を省くと、低下幅は41.3だったと著者らは報告する。いずれも掲載されたデータと攻撃条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内規程について、従業員の質問と検索で得た候補段落を入力し、段落中の解答箇所または空回答を返す工程で試す。回答画面には、抜き出した箇所と元の段落を併せて示す。
追加学習には、利用できる規程本文、質問、正しい解答位置、答えのない組み合わせのラベルが要る。センサーは不要で、自社の文書表現に合わせた追加学習と評価が必要だ。似た語があるだけの段落で誤抽出を減らせるかは仮説として検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。利用対象の文書から、質問、正しい解答位置、答えのない質問と段落の組み合わせを人手でラベル付けする。学習用と評価用を分け、評価用には別の文書、似た語だけがある段落、紛らわしい文を加えた段落を含める。入力は質問と候補段落で、センサーは不要だ。
同じ基礎モデルと学習データで従来法と提案法を比較し、自社文書への追加学習の効果を測る。F1に加え、答えのない質問で誤って抜き出す割合と、答えがある質問で空回答にする割合を確認する。合成解答を使うなら作成方法と正しさも点検する。
限界と課題
著者らは、SQuAD AGentで学習した場合、SQuAD 2.0の回答不能な質問への分布変化に対する改善は見られないと記す。ただし掲載表の3モデル平均はF1が27.4から34.1に上がっており、本文の判断と数値の関係には確認が必要だ。
編集上の検証事項として、合成解答の作り方と誤抽出への影響を確かめたい。作成手順を説明する付録は、確認できた本文の範囲では読めない。社内文書での誤回答率や空回答率も、この実験だけでは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Towards Robust Extractive Question Answering Models: Rethinking the Training Methodology
This paper proposes a novel training method to improve the robustness of Extractive Question Answering (EQA) models. Previous research has shown that existing models, when trained on EQA datasets that include unanswerable questions, demonstrate a significant lack of robustness against distribution shifts and adversarial attacks. Despite this, the inclusion of unanswerable questions in EQA training datasets is essential for ensuring real-world reliability. Our proposed training method includes a novel loss function for the EQA problem and challenges an implicit assumption present in numerous EQA datasets. Models trained with our method maintain in-domain performance while achieving a notable improvement on out-of-domain datasets. This results in an overall F1 score improvement of 5.7 across all testing sets. Furthermore, our models exhibit significantly enhanced robustness against two types of adversarial attacks, with a performance decrease of only about a third compared to the default models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01