アーカイブ / LLM
商品サプライチェーンの規則判断を測るCSCBench――運賃契約で低かった正答率
CSCBench
CSCBenchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Data construction pipeline for CSCBench (high-level). Source discovery and collection are informed by domain experts; we curate the collected materials into axis-aligned source pools, draft items with an LLM under prompts, and apply human verification for decidability and internal consistency under a unified single-choice schema.
概要
- CSCBenchは商品サプライチェーンの判断を、業務工程・品目別規則・推論の深さで診断する2,342問の選択式問題集である。
- 著者らが4モデルを直接質問で評価した結果、運賃契約の正答率は28.9～48.2％で、品目軸の小区分では最も低かった。
- 運賃契約の問題には選択肢が欠けた例が少数あり、実務への適用には自社文書と正解ラベルを使った検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CSCBenchの仕組み
- 01規則文書・教材
- 02三軸別に整理
- 03設問案を作成
- 04人手で検証
- 05選択式問題
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CSCBenchは、商品サプライチェーンで大規模言語モデルが文書に書かれた規則を踏まえて判断できるかを測る問題集だ。契約上の品質条件、受渡等級、船舶や港の制約が絡むため、もっともらしい回答でも実行条件を満たすとは限らない。
一般的な知識問題の得点だけでは、どの工程や品目の規則で誤るかをつかみにくい。導入前の確認には、条件を読んで妥当な選択肢を選べるかを、問題の種類ごとに測ることが役立つ。
手法
著者らは取引所の規則集、資格教材、業界資料などを集め、PVCという三つの評価軸に沿って整理する。PVCは業務工程（Process）、品目別の規則（Variety）、推論の深さ（Cognition）の略だ。例えば運賃契約の条件を問う設問は、品目別の規則を調べる区分に置かれる。
大規模言語モデルで質問、選択肢、正解、説明の案を作り、人が元資料から答えを決められるか、正解が一つかを確かめる。評価時にはモデルへ質問と選択肢を示し、選択肢の記号だけを答えさせる。正答率を軸と小区分ごとに示し、誤りが集中する領域を調べる。
新規性
CSCBenchの特徴は、商品サプライチェーンの問題を、業務工程、品目ごとの規則、必要な推論の深さという三つの軸で診断する点にある。著者らは2,342問を単一選択式にそろえ、軸と小区分ごとの正答率を報告する。
品目別の問題では、正解に意味が近くても規則に反する誤答選択肢へ書き換え、人が正解の一意性を再確認する。この手順は品目軸に適用され、他の二軸には適用されていない。
従来手法との違い
著者らは、一般知識の評価は幅広い分野を扱う一方、商品ごとの契約規則や業務工程に沿った判断を診断する設計ではないと述べる。金融分野の評価も、受渡条件や物流上の実行可能性を主な対象にしていないという。
CSCBenchは工程、品目別規則、推論の深さで結果を分け、どの種類の問題で誤るかを示す。確認できた本文の範囲では、既存の評価問題集と同じ条件でモデルの得点を比較した結果は示されていない。
実験結果
著者らは2,342問の単一選択式問題で、qwen、gemini、glm、deepseekの4モデルを追加学習なしで評価した。質問と選択肢を直接示し、温度を0.1に設定して、モデルと小区分の各組み合わせを同じ設定で5回実行した。指標は正答率である。
著者らの表では、運賃契約の正答率は28.9～48.2％で、品目軸の三つの小区分では最も低い。軸の得点は小区分を同じ重みで平均する。空の応答は原則として採点の分母から除き、選択肢の記号を読み取れない応答は誤答とする。APIの利用枠に起因する失敗を含む実行は集計から除かれている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：海上輸送を伴う契約の確認で、自社の運賃契約書と船舶・港の条件文書から、担当者が正解を一つに定められる選択式の確認問題を作る。担当者はAIの回答と根拠となる条項を照合し、判断を記録する。
入力には現行の契約文書と条件文書が必要で、検証用には正解と根拠箇所のラベルが要る。センサー入力や追加学習用データは想定せず、自社の条項に合わせて設問と判定基準を調整する。業務で役立つかは未検証である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自社の運賃契約書と関連する船舶・港の条件文書を集め、担当者が正解と根拠箇所のラベルを付けた小規模な選択式問題を作る。追加学習用データは用意せず、文書と質問を直接示す方法を基準に、候補AIを同じ問題で比べる。
正答率に加え、条項の読み違いと実行条件の見落としを件数で記録する。センサーは使わず、まず文書の版、選択肢の欠落、正解ラベルを点検する。誤りが偏る条項を確認して入力文書や設問を調整し、同じ採点基準で再測定する。
限界と課題
著者らが報告する限界は、評価が文字情報による単発の選択式問題を中心とし、取引を実行する仕組みではないことだ。運賃契約の問題には選択肢が欠けた例が少数あり、APIの利用枠に起因する失敗を含む実行結果は集計から除かれている。
編集上の検証事項として、欠けた選択肢を修正した後も低い正答率が続くかを確かめる必要がある。設問ごとの出典位置は公開されないため、原文との照合可能性も確認したい。また、本文と表で認知軸の小区分数が一致せず、集計単位の確認を要する。
出典
元のタイトル・要旨を確認する（英語）
CSCBench: A PVC Diagnostic Benchmark for Commodity Supply Chain Reasoning
Large Language Models (LLMs) have achieved remarkable success in general benchmarks, yet their competence in commodity supply chains (CSCs) -- a domain governed by institutional rule systems and feasibility constraints -- remains under-explored. CSC decisions are shaped jointly by process stages (e.g., planning, procurement, delivery), variety-specific rules (e.g., contract specifications and delivery grades), and reasoning depth (from retrieval to multi-step analysis and decision selection). We introduce CSCBench, a 2.3K+ single-choice benchmark for CSC reasoning, instantiated through our PVC 3D Evaluation Framework (Process, Variety, and Cognition). The Process axis aligns tasks with SCOR+Enable; the Variety axis operationalizes commodity-specific rule systems under coupled material-information-financial constraints, grounded in authoritative exchange guidebooks/rulebooks and industry reports; and the Cognition axis follows Bloom's revised taxonomy. Evaluating representative LLMs under a direct prompting setting, we observe strong performance on the Process and Cognition axes but substantial degradation on the Variety axis, especially on Freight Agreements. CSCBench provides a diagnostic yardstick for measuring and improving LLM capabilities in this high-stakes domain.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01