アーカイブ / RAG
RAGの語彙調整は前処理で変わる――ハッシュタグ付き文書の検証
Embedding Retrofitting
Embedding Retrofittingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 6: Retrofitting process visualization (closer distance = stronger relationship) for query “What are SNAP eligibility requirements?” showing embeddings progress. Gold star indicates query position. Precision@3 improves from 33% (iteration 0) to 100% (iteration 10) as relevant terms (SNAP, eligible, income) cluster closer to the query while irrelevant terms (audit, compliance) remain distant.
概要
- ZeroGでは共起グラフの辺が未処理の69,311から前処理後の2,508になった。
- 著者の評価では、未処理のZeroGに対する３手法はいずれも回答品質を低下させ、前処理後のEWMAは＋4.8％だった。
- 立法文書で報告された定量的質問の平均改善は＋33.8％だが、対象は３問である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Embedding Retrofittingの仕組み
- 01注釈付き文書
- 02注釈と本文の整形
- 03共起グラフ作成
- 04単語ベクトル調整
- 05文書検索と回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RAGは文書を検索してから回答を生成する方式で、必要な箇所を検索できなければ回答に根拠が届かない。語を数値の並びで表す単語ベクトルを専門分野向けに調整する際も、調整の手掛かりとなる語同士の関係が重要になる。
著者が調べたZeroGの金融分野の文書には、ハッシュタグ注釈が多い。隣接する注釈語から無関係な語まで結ばれると、調整によってそれらのベクトルが近づき、検索を損なう恐れがある。
手法
著者の手順では、文書中の「#」を外して語を残し、メタデータの印や空白を整える。不要語を除いた後、５語の範囲で２回以上ともに現れた語を結ぶ。これは共起グラフと呼ばれ、語を点、結び付きを辺で表す。調整前に辺の密度と、各語が持つ辺の平均数も確認する。
次に、元の単語ベクトルから離れすぎないようにしながら、辺で結ばれた語のベクトルを近づける。例えば金融文書中の関連語を近づけ、質問と文書の検索に反映する。EWMAは各回の更新を過去の更新とならす方法で、著者は通常の更新法と、隣接語ごとに重みを変えるAttentionとも比べた。
新規性
著者の主張は、単語ベクトルの調整法を選ぶ前に、調整に使う語の関係を点検すべきだというものだ。ハッシュタグが多い文書で共起グラフの辺の増加と回答品質の低下を測っている。
さらに、ハッシュタグ処理、不要語の除外、共起回数のしきい値を順に加え、各段階の変化を調べた。前処理による品質変化は、比較した調整法同士の差より大きかったと著者は報告する。
従来手法との違い
基準は単語ベクトルを調整しないRAGである。著者は通常の調整法、更新をならすEWMA、隣接語の重みを変えるAttentionを比較し、ZeroGでは未処理と前処理後のグラフも比べた。
未処理のZeroGでは３手法とも基準より回答品質が低下した。前処理後は３手法の平均値が改善方向に転じたが、統計的に有意と報告されたのはEWMAだけである。この比較結果は、評価した文書と質問の条件に限って読む必要がある。
実験結果
著者は、立法関連の45文書と正解付き50問、金融分野のZeroGの512文書と19問を評価した。回答品質には正解との意味的な近さ、数値や固有名詞の一致、根拠との整合、回答の充足度を合わせた指標を使い、各条件を３回実行した。
ZeroGの辺は未処理の69,311から前処理後の2,508になった。未処理時の品質変化は通常法−5.2％、EWMA−3.5％、Attention−4.8％で、いずれもp<0.05。前処理後のEWMAはZeroGで＋4.8％（p=0.041）、立法文書で＋6.2％（本文の表ではp=0.035）と著者は報告する。立法文書の定量的質問３件の平均は＋33.8％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ハッシュタグ付きの社内金融業務文書を検索するRAGで、業務用語を含む質問への回答を試す。入力は利用許可のある原文と質問、出力は参照箇所を添えた回答とする。文書を前処理して語の関係を点検し、調整後のベクトルで検索する。
元データには対象文書、評価用には担当者が正解と参照箇所を付けた質問が必要だ。追加センサーは想定しない。自社の注釈形式と専門語に合わせて前処理を調整し、回答が改善するかを確かめる用途である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：ハッシュタグ付き社内文書の一部を元データにし、担当者が定量的質問と事実確認型の質問を作る。各質問に正解と参照箇所のラベルを付ける。追加センサーは不要で、注釈の書式と専門語に合わせて「#」処理や不要語の扱いを調整する。
同じ質問を現行RAG、未処理グラフで調整したRAG、前処理後のグラフで調整したRAGに入力する。辺の数、検索上位に正解箇所が入る割合、回答の数値と参照箇所の一致を質問の種類別に比べる。誤った語の結び付きも抽出して人が確認する。
限界と課題
編集上の検証事項：立法文書で大きな改善が報告された定量的質問は３件で、事実確認型の平均変化は小さい。質問の種類や文書が変わっても同じ傾向になるかは、この結果からは判断できない。
本文は「#」を外して語を残す処理と、注釈語の隣接による余計な辺の減少を述べるが、両者のつながりは確認できた本文の範囲では十分に分からない。自社文書では処理前後の語順と辺を人が確認し、評価用の正解や参照箇所の妥当性も点検したい。
出典
元のタイトル・要旨を確認する（英語）
Embedding Retrofitting: Data Engineering for better RAG
Embedding retrofitting adjusts pre-trained word vectors using knowledge graph constraints to improve domain-specific retrieval. However, the effectiveness of retrofitting depends critically on knowledge graph quality, which in turn depends on text preprocessing. This paper presents a data engineering framework that addresses data quality degradation from annotation artifacts in real-world corpora. The analysis shows that hashtag annotations inflate knowledge graph density, leading to creating spurious edges that corrupt the retrofitting objective. On noisy graphs, all retrofitting techniques produce statistically significant degradation ($-3.5\%$ to $-5.2\%$, $p<0.05$). After preprocessing, \acrshort{ewma} retrofitting achieves $+6.2\%$ improvement ($p=0.0348$) with benefits concentrated in quantitative synthesis questions ($+33.8\%$ average). The gap between clean and noisy preprocessing (10\%+ swing) exceeds the gap between algorithms (3\%), establishing preprocessing quality as the primary determinant of retrofitting success.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01