アーカイブ / LLM
財務報告書の数値質問を、項目の解釈と計算実行に分けて解く
Iterative Dual-Phase Financial-PoT
概要
- CCBは中国A株企業の年次報告書95件を基に、財務質問をデータの出所、項目対応の難しさ、結果の単位で分類する。
- Financial-PoTは変数の抽出と式の作成を、隔離されたPython環境での反復的な計算実行から分ける。
- 著者らはCCBでQwen3-235Bの平均正答率が59.7%から67.3%になったと報告するが、比較設定の詳細は確認できない。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Iterative Dual-Phase Financial-PoTの仕組み
- 01財務報告書と質問
- 02変数と式の作成
- 03Pythonで反復実行
- 04数値の回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
年次報告書を使う数値質問では、数字を探すだけでなく、質問に合う項目を選び、単位を確かめ、計算する必要がある。著者らは、言語モデルが計算上の誤答を出し、複雑な質問では推論全体が崩れる問題を指摘する。
正答率だけでは、どの条件で失敗が増えるかを把握しにくい。報告書を使った回答を業務で確認するには、データの出所、項目の対応付け、結果の単位という観点から、誤りが生じる条件を調べる意義がある。
手法
Financial-PoTは、まず報告書と質問の意味を読んで必要な変数を抽出し、計算の論理を式にする。次に、その計算を隔離されたPython実行環境へ渡し、実行と修正を繰り返す。例えば二つの財務項目から比率を求める質問なら、対応する数値を変数に置き、割り算の式を作ってから実行する。ただし、具体的な変数の選び方や修正手順は要旨に示されていない。
併せて提案されたCCBは、Cognitive Complexity Benchmarkの略で、質問の難しさを調べる評価枠組みである。中国A株企業の実際の年次報告書95件を基にしたデータを使い、質問をデータの出所、項目の対応付けの難しさ、結果の単位という三つの軸で分類する。これにより、成績が落ちる条件を軸ごとに調べる。
新規性
著者らは、財務質問をデータの出所、項目の対応付けの難しさ、結果の単位で分類する評価枠組みCCBと、二段階で回答するFinancial-PoTを提案した。分類によって、複雑な質問での成績低下を条件別に調べられる。
回答方法の中心は、必要な変数の抽出と計算式の作成を、Pythonによる計算実行から分離する設計である。実行後に修正を繰り返す構成も含むが、修正の判定方法は要旨に記されていない。
従来手法との違い
比較対象として挙げられるChain-of-Thoughtは、回答までの推論を文章で段階的に進める方法である。著者らは、CCBの複雑な課題ではこの方法の成績が落ちると述べるが、区分ごとの成績は要旨に示していない。
Financial-PoTでは、項目の意味を判断して式を作る処理と、その式を実行する処理を分ける。著者らが報告するQwen3-235Bの平均正答率は59.7%から67.3%に上がった。ただし、比較設定の詳細は確認できた本文の範囲では分からない。
実験結果
著者らは、中国A株企業の年次報告書95件を基に構築したCCBで財務の数値質問を評価した。報告された指標は平均正答率で、Qwen3-235Bは59.7%から67.3%になった。著者らは、複雑さが高い課題で最大10倍の改善も報告する。
確認できた本文の範囲では、質問数、正答の判定方法、59.7%を得た比較設定、10倍という値の対象区分と算出条件は分からない。したがって、この数値から個々の財務質問での改善幅や、別の報告書での成績を判断することはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内の財務担当者が、指定した報告書の数値を使う比率計算の確認用下書きを作る。入力は対象の年次報告書と質問、出力は選んだ項目と数値、計算式、計算結果とし、担当者が元の記載と照合してから利用する。
元データは利用対象企業の報告書とする。追加学習用データは設けず、評価用には担当者が確定した項目対応、式、結果のラベルを用意する。センサーは不要で、導入先の項目名と単位に合わせた対応付けが必要になる。この用途での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:対象企業の年次報告書から、項目の対応付けや結果の単位が異なる少数の質問を選ぶ。元データはその報告書と質問とし、担当者が確認した参照項目、数値、式、結果を評価ラベルにする。追加学習用データは設けず、センサーも使わない。
同じ質問を段階的な文章推論とFinancial-PoTの手順で解き、結果の正答率を比べる。導入先の項目名と単位に合わせて変数の対応を調整し、数値の選択、式、単位の誤りを別々に数える。反復した回数も記録し、担当者による確認が必要な箇所を調べる。
限界と課題
著者らは、財務の数値推論で起きる計算上の誤答と、複雑な課題で推論が崩れる問題を報告している。一方、Financial-PoT自体の失敗条件や、反復修正を終える基準は、確認できた本文の範囲では示されていない。
編集上の検証事項は、正しい報告書の数値を選べるか、項目と単位を取り違えないか、誤った式を実行前に見直せるかである。Pythonが与えられた式を実行しても、数値の選択や式が誤っていれば回答は正しくならない。
出典
元のタイトル・要旨を確認する(英語)
Bridging the Arithmetic Gap: The Cognitive Complexity Benchmark and Financial-PoT for Robust Financial Reasoning
While Large Language Models excel at semantic tasks, they face a critical bottleneck in financial quantitative reasoning, frequently suffering from "Arithmetic Hallucinations" and a systemic failure mode we term "Cognitive Collapse". To strictly quantify this phenomenon, we introduce the Cognitive Complexity Benchmark (CCB), a robust evaluation framework grounded in a dataset constructed from 95 real-world Chinese A-share annual reports. Unlike traditional datasets, the CCB stratifies financial queries into a three-dimensional taxonomy, Data Source, Mapping Difficulty, and Result Unit, enabling the precise diagnosis of reasoning degradation in high-cognitive-load scenarios. To address these failures, we propose the Iterative Dual-Phase Financial-PoT framework. This neuro-symbolic architecture enforces a strict architectural decoupling: it first isolates semantic variable extraction and logic formulation, then offloads computation to an iterative, self-correcting Python sandbox to ensure deterministic execution. Evaluation on the CCB demonstrates that while standard Chain-of-Thought falters on complex tasks, our approach offers superior robustness, elevating the Qwen3-235B model's average accuracy from 59.7\% to 67.3\% and achieving gains of up to 10-fold in high-complexity reasoning tasks. These findings suggest that architectural decoupling is a critical enabling factor for improving reliability in financial reasoning tasks, providing a transferable architectural insight for precision-critical domains that require tight alignment between semantic understanding and quantitative computation.
論文要旨に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




