アーカイブ / RAG
IT問い合わせの類似事例を探す11手法を比較：5件中に有用な候補があるかを評価
Comparison of Information Retrieval Techniques Applied to IT Support Tickets
Comparison of Information Retrieval Techniques Applied to IT Support Ticketsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Tool used for labeling.
概要
- 20,356件のITサポート履歴を基に、11種類の類似チケット検索手法を比較し、無作為選択も基準に加えた。
- 人手で選んだ300件の評価では、多言語Sentence-BERTの「5件中に正解が1件以上ある割合」が78.7％、適合率が35.1％だった。
- 試作品は新規チケットの件名と説明文を使い、直近100件から類似する5件を担当者に提示する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Comparison of Information Retrieval Techniques Applied to IT Support Ticketsの仕組み
- 01新規の件名と説明
- 02文を数値で表現
- 03過去の文と比較
- 04類似5件を提示
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ITサポートでは、利用者が問題をチケットに書き、担当者が対応後に解決内容を記録する。同じ問題が再発しても、蓄積した履歴から役立つ事例を探すには時間がかかる。
この研究は、新しい問い合わせに似た過去のチケットを提示するため、複数の情報検索手法を比べた。情報検索とは、文書の集まりから目的に合うものを探す処理である。候補の質は、担当者が過去の対応を参照できるかに関わる。
手法
検索にはチケットの件名と説明文をつなげて使い、解決内容など他の項目は検索用の入力から除く。比較で最も高い評価を得た多言語Sentence-BERTは、文の意味や文脈を数値の並びに変える手法である。たとえばファイルへのアクセスを求める新規チケットなら、過去のチケットの文章と数値表現の近さを比べて候補を選ぶ。
著者らは11手法を共通の評価手順で動かし、各問い合わせに5件を推薦した。数値表現を作る手法には、数値の並びの向きの近さを測るコサイン類似度を用い、専門用語ルールとBM25には各手法の比較方法を使った。試作品は登録済みチケットを事前に数値化し、新規チケットに対して直近100件から似た5件を画面に提示する。
新規性
著者らは、同じITサポートのチケット群で11種類の検索手法を比較し、担当者が候補を確認する場面に合わせた指標を提案した。
新指標「少なくとも1件の正解率」は、提示した5件に、人手で関連ありとした事例が1件以上含まれる問い合わせの割合を測る。候補の提示順は評価せず、5件を短時間で見られるという著者らの運用上の想定を反映している。
従来手法との違い
比較には、語の頻度を使うTF-IDF、話題の分布を推定するLDA、文を数値で表すSentence-BERTなど11手法を用いた。無作為選択も結果を読み取るための基準として加えた。
同じ人手評価では、多言語Sentence-BERTの少なくとも1件の正解率が78.7％で最も高く、TF-IDFは69.0％、LDAは66.3％だった。著者らは処理時間とTF-IDFの結果も踏まえ、最終システムでTF-IDFを採用する可能性に触れている。
実験結果
著者らは2017～2022年の20,356件から、頻度の高い10分類ごとに30件、計300件を人手で選んだ。これを無作為に100件ずつの3組に分け、各チケットについて同じ組内の近い5件を担当者が指定し、手法の推薦5件と照合した。
多言語Sentence-BERTは「少なくとも1件の正解率」78.7％、適合率35.1％だった。前者は5件中に正解が1件以上ある問い合わせの割合、後者は推薦された候補のうち正解だった割合を指す。TF-IDFは前者が69.0％、表に記載された適合率が29.7％。結果は、この300件と人手で付けた正解に基づく。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内ヘルプデスクで新規問い合わせを開く際、件名と説明文から過去の類似チケット5件を探し、担当者が元の記録を開ける画面を試す。検索結果とともに解決内容を見せるなら、履歴にその項目が残っている必要がある。
必要なデータは自社の解決済みチケットの件名・説明文・解決記録と、候補が参考になったかを示す担当者の評価ラベルである。追加センサーは使わない。自社の略語や言語を確認して検索用の前処理を調整し、解決への有用性は実運用で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自社の解決済みチケットから件名・説明文を検索用に集め、解決内容は担当者が参照できるよう紐づける。個人情報を除き、評価用の新規チケットには、担当者が参考になる過去事例のラベルを付ける。必要なのは文章と人手のラベルで、追加センサーは使わない。
多言語Sentence-BERTと比較基準のTF-IDFを、同じ候補集合で試す。自社の略語や言語に合わせた前処理を確認し、5件提示時の適合率、少なくとも1件の正解率、検索時間、担当者が実際に参照した件数を測る。評価用チケットは手法の調整用と分けて扱う。
限界と課題
著者らは、短く説明が不十分な文や専門用語が検索を難しくすると述べる。評価では各100件の組内で人手が選んだ5件だけを正解とし、試作品の検索対象も負荷を考慮して直近100件に限った。
編集上の検証事項は、古い事例を含めた場合や自社の言語構成での検索品質、提示候補が解決に役立つかである。TF-IDFの適合率は表で29.7％、本文で29.6％と食い違うため、数値を引用する際はどちらを採るか明示したい。
出典
元のタイトル・要旨を確認する（英語）
Comparison of Information Retrieval Techniques Applied to IT Support Tickets
Institutions dependent on IT services and resources acknowledge the crucial significance of an IT help desk system, that act as a centralized hub connecting IT staff and users for service requests. Employing various Machine Learning models, these IT help desk systems allow access to corrective actions used in the past, but each model has different performance when applied to different datasets. This work compares eleven Information Retrieval techniques in a dataset of IT support tickets, with the goal of implementing a software that facilitates the work of Information Technology support analysts. The best results were obtained with the Sentence-BERT technique, in its multi-language variation distilluse-base-multilingual-cased-v1, where 78.7% of the recommendations made by the model were considered relevant. TF-IDF (69.0%), Word2vec (68.7%) and LDA (66.3%) techniques also had consistent results. Furthermore, the used datasets and essential parts of coding have been published and made open source. It also demonstrated the practicality of a support ticket recovery system by implementing a minimal viable prototype, and described in detail the implementation of the system. Finally, this work proposed a novel metric for comparing the techniques, whose aim is to closely reflect the perception of the IT analysts about the retrieval quality.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01