アーカイブ / RAG / LLM
3GPP仕様書の文章と表を検索し、質問に答えるTelco-DPR
Telco-DPR
Telco-DPRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Development methodology for the proposed QA system.
概要
- Telco-DPRは3GPP仕様書57件の文章14,654件と表2,316件を収録し、正解箇所を結び付けた質問・回答1,741組を作成した。
- 著者らのTelco-DPRテスト分割では、正解箇所が上位10件に入る割合はDHRが86.2%、BM25が59.2%だった。
- Q-Smallの選択式100問ではDHRとGPT-4による回答正答率は86%だった一方、正解箇所を上位10件から検索できた割合は78%だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Telco-DPRの仕組み
- 013GPP仕様書と質問
- 02段落・表を索引化
- 03文書と箇所を検索
- 04GPT-4が回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
3GPPの通信規格文書には、専門用語を含む文章と、多数の表が混在する。表は本文から参照されることもあり、文章だけを検索すると、回答に必要な値や条件を見落とすおそれがある。
自然文の質問に答えるには、関連箇所を探し、その内容を使って回答する必要がある。著者らは、この検索を比較できるデータセットと、検索結果を使う質問回答システムを作った。
手法
仕様書から段落と表を取り出し、段落には文書名・版・節見出しを付ける。長い段落は分割し、短い段落は同じ節の中でまとめる。表は見出しと、言語モデルが作った内容の要約を検索用に登録する。例えば表中の条件を問う質問なら、関連する節と表を探す対象にできる。
質問が入ると、DHR（文書、次にその中の箇所を探す階層型検索）が、題名・概要・節見出しから文書を選び、節見出しと本文から箇所を選ぶ。RAG（検索した資料を回答作成に使う方式）では、上位の検索結果と質問をGPT-4に渡し、自然文の回答を生成する。
新規性
著者らは、3GPP仕様書の文章と表を分けて収録し、質問・回答と正解箇所を結び付けた公開データセット「Telco-DPR」を作成した。表は見出しに加え、内容を要約した文からも検索できる形にしている。
回答システムには、文書を選んでから、その中の該当箇所を選ぶ階層型検索を採用した。文章と表が混在する仕様書で、この検索方法と回答までを評価した点が提案の中心である。
従来手法との違い
比較の基準となるBM25は、質問と検索対象に含まれる語を手掛かりに順位を付ける。DPRは質問と文章を数値の並びに変換し、その近さから探す。著者らはDPRをそのまま使う場合と、対象データで追加学習する場合も比べた。
DHR-Pは節の見出しを本文に加えて箇所を探す。DHRはさらに文書の題名・概要・節見出しで文書を先に選び、その後に箇所を探す。Telco-DPRのテスト分割では、DHRが比較対象中で最も高い検索成績だった。
実験結果
著者らのTelco-DPRは3GPP Release 15・16の仕様書57件から、文章の箇所14,654件と表2,316件を収録する。4件の仕様書から作った質問・回答1,741組は、追加学習用1,218組とテスト用523組に分けた。
このテスト分割で、正解箇所が検索上位10件に入る割合はDHRが86.2%、BM25が59.2%だった。別の選択式データQ-Smallの100問では、DHRの上位10件とGPT-4を使った回答正答率が86%で、著者らは従来の比較対象より14%高いと報告した。ただし、同データで正解箇所が上位10件に入った割合は78%だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：通信網の運用担当者が、対象版の3GPP仕様書について設定条件を自然文で尋ねる検索画面を想定する。入力は質問、出力は回答候補と、担当者が照合できる節・表の候補とする。
原資料となる仕様書を用意し、段落と表に文書名・版・節を付けて取り込む。適応用には、担当者が確認した質問、正解箇所、回答を用意する。検索した表の見出しとセルを原資料で確かめてから、回答候補を業務に使う。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象版の仕様書を原資料として用意し、段落・表・文書名・版・節を取り込む。担当者が質問、正解箇所、回答を付けた小規模な評価集を作り、表の値を問う質問も含める。追加のセンサーは必要としない。
同じ評価集でBM25と二段階検索を比べ、正解箇所が上位10件に入る割合を測る。回答の正答率に加え、提示した節・表が結論を支える割合を人が判定する。必要に応じ、確認済みの質問と正解箇所を検索モデルの適応に使う。
限界と課題
著者らは、変換時に数式内の文字を取り出せず、画像の品質も低かったため、数式と画像を収録対象から外したと述べる。また、Q-Smallでは正解した86問のうち16問が正解箇所に頼らず答えられており、選択式問題だけでは回答の根拠性を測りにくいと指摘する。
編集上の検証事項は、別の版の仕様書でも正しい箇所を選べるか、表の見出しと値の対応が取り込み後も保たれるか、示された箇所だけで回答を裏付けられるかである。数式や図を必要とする質問は、この収録範囲では扱えない。
出典
元のタイトル・要旨を確認する（英語）
Telco-DPR: A Hybrid Dataset for Evaluating Retrieval Models of 3GPP Technical Specifications
This paper proposes a Question-Answering (QA) system for the telecom domain using 3rd Generation Partnership Project (3GPP) technical documents. Alongside, a hybrid dataset, Telco-DPR, which consists of a curated 3GPP corpus in a hybrid format, combining text and tables, is presented. Additionally, the dataset includes a set of synthetic question/answer pairs designed to evaluate the retrieval performance of QA systems on this type of data. The retrieval models, including the sparse model, Best Matching 25 (BM25), as well as dense models, such as Dense Passage Retriever (DPR) and Dense Hierarchical Retrieval (DHR), are evaluated and compared using top-K accuracy and Mean Reciprocal Rank (MRR). The results show that DHR, a retriever model utilising hierarchical passage selection through fine-tuning at both the document and passage levels, outperforms traditional methods in retrieving relevant technical information, achieving a Top-10 accuracy of 86.2%. Additionally, the Retriever-Augmented Generation (RAG) technique, used in the proposed QA system, is evaluated to demonstrate the benefits of using the hybrid dataset and the DHR. The proposed QA system, using the developed RAG model and the Generative Pretrained Transformer (GPT)-4, achieves a 14% improvement in answer accuracy, when compared to a previous benchmark on the same dataset.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01