新着研究 / RAG
長い特許を発明グラフへ変換、局所注意で先行技術検索を効率化
Neural Invention Graph Parser
Neural Invention Graph Parserの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 4: Global vs. local biaffine score matrices. Global attention computes all n 2 n^{2} scores; local attention computes only n ( w + 2 ) n(w{+}2) scores within a sliding window plus two pseudo-node columns. Both modes share the same weight matrix 𝐖 \mathbf{W} , enabling training with global attention on short sequences and inference with local attention on long sequences.
概要
- 特許本文の技術要素と関係をニューラルモデルで抽出し、検索用のグラフにする。
- 近傍だけの関係計算により、短い文書で学習した重みを4万トークン超の文書へ使う。
- 著者らは引用再現率の改善と、バッチ解析費用の約3分の1への削減を報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Neural Invention Graph Parserの仕組み
- 01特許本文
- 02技術要素の関係予測
- 03発明グラフ
- 04グラフによる検索
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
本研究は、長い特許本文から技術要素の関係を取り出し、先行技術を探す検索へ渡す。特許は数万トークンに及ぶことがあり、冒頭だけを読む検索モデルでは請求項に関わる詳細を落としやすい。用語が異なっていても同じ技術を見つける必要もある。
発明をグラフにまとめれば長文を構造として扱えるが、その生成を手作業の規則に頼ると、文章や分野の違いに弱い。著者らはこの解析部分を学習モデルへ置き換える。
手法
モデルは特許の語句から、技術要素とその親子関係を予測する。用いる双アフィン注意は、二つの表現の組合せに点数を付けて関係を選ぶ仕組みで、文の係り受け解析から応用されている。抽出した要素を階層的な発明グラフにし、下流のGraph Transformerへ渡す。
すべての語の組合せを比較すると文書長の二乗で計算が増えるため、一定の窓の中だけを採点する。文書長をn、窓幅をwとすると計算はnとwの積に比例する形になる。局所計算と全体計算で同じ重みを使うので、短い文章で学んだモデルを長い特許へ再学習なしで適用できる。
新規性
提案は検索用の文章を短く切るのではなく、長文から構造を作る解析を効率化する。規則で生成した100万文書のグラフを教師にして、既存の解析器が持つ知識を学習モデルへ移している。
局所的な関係採点を採用しながら重みは全体採点と共有する点が、短文での学習と長文での利用をつなぐ。教師と同じ出力の再現だけでなく、下流検索の改善まで調べる。
従来手法との違い
主な比較相手は従来の規則ベースの発明グラフ解析器である。タイトルや要旨だけを読む検索との問題の違いは、本文中の技術要素をどこまで構造化して残せるかにある。
窓を広げると検索再現率は上がるが、メモリー使用量も増える。著者らは実運用で文書長に応じて窓を調整する。全体への注意を常に使うモデルと同じ精度を、無条件で保つという主張ではない。
実験結果
著者らはGraph Transformerによる検索で、引用再現率が短い問い合わせでは0.5％、全文を扱う構成では1.1％改善したと報告する。バッチ解析費用は規則ベースの約3分の1と見積もられた。
300万文書の解析を10台のL4で2日間実行し、メモリー不足は起きなかったという。オンラインの問い合わせ解析ではCPU上の平均遅延が2〜3秒から1秒未満へ下がった。全文索引の評価範囲は300万文書で、1億5千万文書への拡大は進行中とされる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の技術調査で、候補特許の構成要素とつながりを一覧にして検索結果の確認を助ける。入力は技術の説明や請求項、出力は関連特許と一致する構造の候補とする。
担当者は元の本文へ戻って、抽出された関係が実際の記載に対応するかを確認する。グラフの一致だけで新規性や権利範囲を判断するのではなく、見落としを減らす調査補助として試す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：分野と文書長が異なる特許を小規模に集め、規則解析とニューラル解析を同じ検索器へ接続する。既知の関連文献を上位何件で拾うかと、解析時間、費用を記録する。
化学組成や長い請求項を別に評価し、関係の取り違えを専門担当者が確認する。窓幅を段階的に変えて再現率とメモリーの差を測り、短い入力で良い設定をそのまま全文へ移さない。
限界と課題
著者らは、教師の規則が苦手な化学構造などを学習モデルも十分には解決しないと述べる。短い文書での学習により、長文では不要な特許表現が残り、後処理のフィルターが必要になった。
編集上の確認点は、日本語特許への適用、分野別の抽出誤り、巨大な索引での障害復旧である。短文から長文へ重みを使えることと、あらゆる長さで同じ検索品質を得ることは区別して検証したい。
出典
元のタイトル・要旨を確認する（英語）
From Rules to Neural Graphs: Scalable Structured Prediction for Patent Prior Art Search
Patent search requires processing documents routinely exceeding tens of thousands of tokens. Most neural retrieval approaches operate on truncated inputs, limiting their effectiveness. Graph-based retrieval addresses this by representing each patent as a structured invention graph, but constructing these graphs relies on brittle rule-based parsers. We present the neural parser, which adapts biaffine attention from dependency parsing to predict invention graphs directly from patent text. Our local biaffine attention restricts pairwise scoring to a sliding window, reducing complexity from $O(n^2)$ to $O(n \cdot w)$. Since local and global scoring share the same weights, the model trains on short sequences and deploys on documents exceeding 40,000 tokens without retraining. Distilled from 1 million rule-parsed documents, it surpasses its teacher at 3$\times$ lower inference cost: neural graphs improve citation recall by 0.5% on short queries and 1.1% on full documents in a downstream Graph Transformer retrieval system.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-03