表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

特許の先行技術を探し直し根拠まで評価するPatEx-Gym、4Bモデルの学習基盤を構築

PatEx-Gym

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

PatEx-Gymの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Overview of the Harness Runtime in PatEx-Gym, supporting iterative reasoning, prior-art retrieval, document inspection, and OA generation. r t r_{t} , u t u_{t} , and z t z_{t} denote the reasoning, tool call, and tool results at step t t , respectively.

出典:PatEx-Gym / arXiv ↗

概要

  • 特許100万件超と論文約5.2万件を検索する1,000件の審査課題を構築。
  • 文書の閲覧を軸に検索軌跡を選び、4B規模のエージェントを教師あり学習。
  • 最終判定に加え、検索・閲覧・最終引用の各段階で先行文献の発見を測る。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、PatEx-Gymの仕組み

左から右へ読む
  1. 01出願書類
  2. 02先行文献検索
  3. 03本文閲覧と再検索
  4. 04根拠付き審査文書

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

PatEx-Gymは、特許の請求項から先行技術を探し、証拠を確認して新規性の評価文書を作る過程を扱う。あらかじめ少数の候補文献を与える試験では、検索語を作り直して未知の関連文献へ到達する難しさを測れない。

実務に近い検索支援には、結論が合ったかだけでなく、どの文書を見つけ、どこを読んで判断したかの追跡が必要になる。本研究は探索から審査文書までを一つの評価環境につなげ、途中の失敗も分析できるようにする。

手法

エージェントは出願時の明細書や請求項を読み、検索と文書閲覧を反復してOffice Action、つまり審査結果を通知する形式の文書を作る。対象文献は出願日より前に公開されたものに制限する。例えば請求項の構成要素を検索し、見つけた技術用語を次の検索に加えて候補を絞る。

学習用のPASSでは、文書を開く操作を関連性の手掛かりと証拠取得の区切りとして使う。検索から閲覧への効率、次の検索の進展、引用の裏付け、最終文書の品質を採点し、不完全な実行を除いて軌跡を選ぶ。選んだ軌跡で4B規模のPatEx-Agentを教師あり学習する。

新規性

独自性は、大規模な先行技術探索、過程を残す実行環境、探索軌跡の合成、小型モデルの学習を接続した点にある。正解の引用一覧を使わずに学習用の軌跡を選別する設計を提案している。

検索結果への出現、本文の閲覧、最終文書での採用を別々に測るため、候補は見つかっていたのに読まなかった、といった失敗を分けて調べられる。

従来手法との違い

既存のFiNE-Patentsは与えた文書内の証拠を扱い、PatReは少数の参照文献を使う。PatEx-Benchでは検索対象自体を大きくし、エージェントが必要な証拠を発見する負担を含める。

著者らは4Bモデルが大幅に大きい汎用エージェントと競争力を示すと報告する。ただし最終判定の正確さと、審査官が引用した文献を発見できることは異なる。モデル規模だけの優劣として読まない必要がある。

実験結果

評価集合は実際の米国特許審査記録に基づく1,000課題で、検索集合は特許1,011,901件と科学論文52,105件。正解参照は審査官が引用した特許2,946件、論文178件であり、それらが検索集合に含まれることも確認している。

PASSは教師モデルの約1万軌跡から約3,000件を選別する。評価では審査文書の品質、判定、法的根拠の一致と各段階の再現率を併用する。著者らは最終判断だけでは審査品質を測りきれず、強いモデルでも先行技術発見は難しいとする。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:企業の発明相談で、技術説明と請求項案を入力し、候補文献と対応箇所、検索履歴を返す調査補助に使う。担当者は未発見の文献と、閲覧したが採用しなかった文献を区別して確認する。

出力は専門家が精査する調査メモとして扱う。関連文献を根拠付きで並べることを先に目標とし、制度ごとの新規性判断を自動で確定する工程とは分けて運用する。人は用語の違いや構成要素の対応を確認する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:過去に人が調査した少数の案件を用意し、従来のキーワード検索と反復検索を同じ文献集合・時間枠で比較する。出願日による除外と文献識別子の統一が正しく働くかも点検する。

既知の重要文献の発見率、閲覧まで到達した割合、引用箇所が主張を支える割合、調査時間を記録する。最終結論が一致しても証拠が誤っている例を別に集め、人の修正負担まで測って導入効果を判定する。

限界と課題

確認できた本文の範囲では、主な正解は米国の初回審査記録に基づく。審査官の引用にない有用文献まで、再現率だけで評価できるとは限らない。文書品質の一部に言語モデルによる採点も含まれる。

編集上の確認課題は、日本語文献や異なる法域への移行、検索集合外の重要文献、長い請求項の対応付けである。小型モデルの競争力という結果から、専門家の審査を置き換えられるとは判断できない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Novel or Not? PatEx-Gym: Agentic Prior-Art Search for Novelty Assessment in Patent Examination

Patent examination is a challenging real-world task that requires agents to discover sparse prior art, iteratively refine queries, inspect technical evidence, and produce novelty assessments documented in Office Actions (OAs) across heterogeneous scientific and technical domains. However, existing benchmarks largely focus on static and limited candidate sets, leaving the full search--reasoning--assessment process underexplored. We present PatEx-Gym, the first framework for developing and evaluating agents for patent examination, which integrates three components. First, PatEx-Bench provides 1K realistic examination tasks, two large-scale retrieval corpora containing over 1M patents and 52K scientific papers, and a harness runtime supporting iterative search, document visits, reasoning, and OA generation. Second, we introduce PASS, an annotation-free Prior-Art Agentic Search Trajectory Synthesis framework. Specifically, it exploits document visits as implicit relevance signals and evidence-acquisition anchors to model intra-turn query behavior, inter-turn search progression, and trajectory-level evidence and outcome quality, yielding PatEx-SynData. Third, we train PatEx-Agent at the 4B scale via supervised fine-tuning on the curated trajectories, establishing a lightweight baseline. Extensive experiments show that final decision accuracy alone does not fully reflect examination quality, while prior-art discovery remains difficult even for strong frontier models. Our PatEx-Agent achieves competitive performance against substantially larger general-purpose agents. These results show that training on PatEx-SynData enables a compact 4B model to serve as a competitive baseline for prior-art search and patent examination. We view patent examination as a demanding testbed for agentic search and deep research agents.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-27