アーカイブ / LLM
複雑な表の数値質問を、質問分解・表の整形・コード計算で解くTabDSR
TabDSR
TabDSRの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of the comparison between PoT, CoT, and the proposed TabDSR .
概要
- TabDSRは質問の分解と表の整形を並行して行い、生成したPythonコードで数値を計算する。
- 著者らの表1では、TAT-QA、TableBench、CalTab151の正解率は順に60.41%、52.75%、45.70%だった。
- 業務で試す際は正解付き質問と元表を用意し、回答に加えて参照セル、計算式、整形ミスを検証する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TabDSRの仕組み
- 01文字列の表と質問
- 02質問分解・表整形
- 03Pythonで計算
- 04最終回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TabDSRは、表に関する複数段階の数値質問に答える手法である。例えば複数の行から値を取り、差を計算して比較する質問では、参照先と計算順序の両方を正しく決める必要がある。
見出しが複数段に分かれた表や、数値に記号・注記が混じる表は、機械による読み取りや計算を難しくする。実務で数値を使うには、回答だけでなく、元の値と計算過程を確かめられることが重要になる。
手法
入力は文字列化した表と質問である。質問分解器は表を見ず、接続詞や読点を手掛かりに小問を作る。並行して表整形器が複数段の見出しや区切りを整理し、セル内の余分な記号や注記を除き、空欄の表記をそろえる。整形後の表はPythonで読み取れるか確認し、失敗時はエラーを渡して一度だけ再生成する。
推論器はPoT（Program-of-Thought、言語モデルが計算用コードを作って実行する方法）を使う。整形した表をPandasの表形式データに読み込み、小問に必要な値の抽出と計算をPythonコードで行い、依存関係に沿って結果をまとめる。例えば部門別の前年差をそれぞれ出し、その差を比較して回答する。
新規性
TabDSRの提案点は、質問だけを読んで小問に分ける処理と、表の見出しやセルを整える処理を並行して進め、その結果を実行可能なコードによる計算につなぐ構成にある。
著者らは評価用にCalTab151も作成した。既存の表の数値や構造を変え、前の計算結果を次に使う質問を生成し、答えを人手で計算・確認している。
従来手法との違い
直接回答方式は表と質問から一度で答えを出す。比較対象には、計算過程を文章で示す方式や、コードを生成して計算する方式も含まれる。TabDSRは計算前に質問と表をそれぞれ処理する。
表1のTAT-QAにおける正解率はTabDSRが60.41%、次点のTabSQLifyが51.62%で、差は8.79ポイントだった。この差は同表の評価条件に限られ、業務表でも同じ改善が得られるとはいえない。
実験結果
著者らはTAT-QAから表由来の736件、TableBenchから事実確認・数値推論の493件、CalTab151の151表で評価した。指標は正解率と、回答文と正解文の文字列の重なりを測るROUGE-Lである。表1のTabDSRの正解率は順に60.41%、52.75%、45.70%で、各データセットの次点との差は8.79、6.08、19.87ポイントだった。
著者らの表2では、Qwen2.5-7Bを使うTAT-QAの正解率は整形器と推論器で60.50%、三要素を使うと60.41%だった。要素の追加が常に改善するわけではない。また、表1と表2ではTableBenchのTabDSRのROUGE-Lが55.39と55.49で食い違うため、その数値は採用しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：月次売上表から「二つの部門の前年差を比べ、差が大きい方を答える」という照会に答える画面を試す。入力は担当者が意味と単位を確認した表と質問、出力は回答、参照セル、計算式、確認が必要な箇所とする。
必要な元データは社内の月次表、評価用のラベルは担当者が付ける正解・参照セル・計算式である。追加学習やセンサーは想定しない。表の形式に合わせて見出しの解釈と整形指示を調整し、回答は担当者が元表と照合する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内の月次表と実際の質問を少数集め、担当者が正解、参照セル、計算式をラベルとして付ける。元表が必要なデータであり、追加学習用データやセンサーは想定しない。業務表の見出し、単位、空欄の意味を確認してから、質問分解と整形の指示を調整する。
同じ表と質問を直接回答方式とTabDSR型の手順に入力し、正解率、参照セルと計算式の一致、表の読み取り失敗件数を比べる。誤答が質問分解、表整形、計算のどこで生じたか記録し、人の確認が必要な条件を決める。
限界と課題
著者らは、人の成績にはまだ届かず、基盤となる言語モデルの推論能力に性能が左右されると述べる。CalTab151は最終確認に人手を要するため規模と質問の種類が限られる。質問だけで分解する設計や、整形後の表を修復しきれない場合も限界として挙げている。
編集上の検証事項は、記号を除く際に割合や通貨の単位、注記の意味が失われないか、読めない表をどう扱うかである。生成コードの実行範囲、誤答の検出方法、業務固有の表での精度も確認が要る。
出典
元のタイトル・要旨を確認する（英語）
TabDSR: Decompose, Sanitize, and Reason for Complex Numerical Reasoning in Tabular Data
Complex reasoning over tabular data is crucial in real-world data analysis, yet large language models (LLMs) often underperform due to complex queries, noisy data, and limited numerical capabilities. To address these issues, we propose TabDSR, a framework consisting of: (1) a query decomposer that breaks down complex questions, (2) a table sanitizer that cleans and filters noisy tables, and (3) a program-of-thoughts (PoT)-based reasoner that generates executable code to derive the final answer from the sanitized table. To ensure unbiased evaluation and mitigate data leakage, we introduce a new dataset, CalTab151, specifically designed for complex numerical reasoning over tables. Experimental results demonstrate that TabDSR consistently outperforms existing methods, achieving state-of-the-art (SOTA) performance with 8.79%, 6.08%, and 19.87% accuracy improvement on TAT-QA, TableBench, and TabDSR, respectively. Moreover, our framework integrates seamlessly with mainstream LLMs, providing a robust solution for complex tabular numerical reasoning. These findings highlight the effectiveness of our framework in enhancing LLM performance for complex tabular numerical reasoning. Data and code are available upon request.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01