アーカイブ / VLM / Audio
ポーランド語の画像・音声・文書を900問で測る評価基盤「PUMA」
PUMA
PUMAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3: The types of documents included in our benchmark with examples.
概要
- PUMAは、ポーランド語の画像・音声・文書を対象に、文化理解と実用的な処理能力を９分類・900問で評価する。
- 著者らの表１では、全分類を対象にしたGemini-3.1-Proの平均厳格スコアは79.7％だった。
- 帳票処理への適用には、現場の画像と正解ラベルを使い、項目ごとの誤りを別途検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PUMAの仕組み
- 01設問と画像・音声・文書
- 02モデルが回答
- 03採点規則と照合
- 04分類別の得点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PUMAは、AIがポーランド語とポーランド文化に関わる画像・音声・文書をどこまで理解し、処理できるかを測る評価基盤である。文字、画像、音声など複数の種類のデータを扱うことを「マルチモーダル」という。
文章の字面を読めても、歴史や習慣を踏まえた意味を取り違える可能性がある。業務で必要な文字起こしや帳票の読み取りも、文化に関する質問への回答とは別の能力だ。モデルを選ぶ際に両方を確かめられるよう、PUMAは異なる種類の課題を設けた。
手法
PUMAは画像・音声・文書をそれぞれ３分類に分け、各分類に100問を置く。９分類のうち６分類は質問応答、残る３分類は音声の文字起こし、文書画像の文字認識、文書からの項目抽出を扱う。例えば項目抽出では、文書画像と回答形式を定めたJSONスキーマを入力し、モデルが返した項目の値を正解と照合する。スキーマとは、必要な項目や値の形式を定めた規則である。
質問応答では、指定した語句の有無や順序などを確認する。既定では記号を除き、小文字化し、単語を基本形に戻してから照合する。厳格スコアは設問ごとに正解なら１点、不正解なら０点とし、全設問の平均を得点にする。音声の文字起こしと文字認識には別の採点指標を用い、部分的な正しさを示す補助スコアも設けている。
新規性
著者らは、ポーランド語の画像・音声・文書理解を単一の評価基盤で扱い、文化に関する知識と、文字起こし・文字認識・項目抽出を併せて測る点を新規性としている。９分類に各100問を置き、計900問を手作業で作成した。
回答は事前に定めた規則で採点し、回答ごとに外部の判定モデルを呼ばない。作問後にはモデルの回答記録を確認し、28問を差し替え、57問を大きく修正したと報告している。
従来手法との違い
既存のPLCCは、ポーランド語の言語・文化能力を規則に基づいて採点する評価で、PUMAの質問応答の採点方式に影響を与えた。ポーランド語版MMBenchは英語の設問を翻訳したもので、ポーランド文化に根差した知識を主眼としていない。
画像を扱うPCVBについて、著者らは詳しい比較に必要な文書が限られると述べる。PUMAは画像に加えて音声と文書を扱い、文化的な質問応答のほか、音声の文字起こし、文書の文字認識、項目抽出も含む。
実験結果
著者らは９分類・900問で商用モデル、公開重みモデルなどを評価した。表１の厳格スコアでは、全分類を対象にしたGemini-3.1-Proの平均が79.7％、画像用と音声用を組み合わせたGPT-5.5＋GPT-Audioが63.9％だった。音声に対応しない画像系モデルには全分類の平均を付けていない。
各分類は100問である。音声の文字起こしでは、表２の厳格スコアがElevenLabs-Scribe-V2とGemini-2.5-Proでともに81点だった。文書の文字認識では、表３でClaude-Fable-5が90点、専用モデルChandra-OCR-2が45点だった。いずれもPUMAの課題と採点条件における著者らの結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ポーランド語の申請書画像から指定項目を取り出す社内業務で、候補モデルの比較にPUMAの文書抽出課題と採点方式を参考にする。入力は帳票画像と項目の定義、出力は項目名と値を収めたJSONとする。JSONは、項目を決まった構造で記すデータ形式である。
必要なのは対象業務の帳票画像と、担当者が確認した正解値のラベルだ。現場の書式に合わせて出力形式と照合規則を調整し、画像の取得条件も記録する。追加学習を行う場合は、そのための帳票とラベルを評価用とは別に確保する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務のポーランド語帳票画像を集め、担当者が確認した項目値を正解ラベルとして付ける。候補モデルに追加学習をさせない段階では、学習用データではなく評価用の画像とラベルを用意する。必要な入力は帳票画像で、画像を得る撮影・スキャン手段とその条件を記録する。
帳票の書式と抽出項目に合わせてJSONスキーマと採点規則を調整する。現在の文字認識・手入力を基準に、候補モデルの回答を同じ正解値と照合し、項目ごとの完全一致率と人の確認時間を比べる。表や手書きの有無による誤りも分けて記録し、業務データで採用可否を判断する。
限界と課題
著者らは、厳格な採点ではJSONの小さな構造上の誤りでも文書抽出が不正解となり、得点のばらつきにつながると説明する。また、一部のモデルで回答の反復が起きたため、該当する設問では温度設定を段階的に上げた。温度は回答のばらつきを調整する設定値である。
編集上の検証事項は、語形を整える処理が誤答まで正答にしないか、実際の帳票画像や録音でも結果が保たれるかという点だ。確認できた本文の範囲では、各業務のデータで順位や採点規則の妥当性を検証した結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding
Large language models are increasingly moving beyond text processing, adding support for other modalities such as images and audio. While text understanding and generation have been extensively studied, multimodal data processing capabilities, particularly in the context of cultures and languages other than English, have not yet been evaluated comprehensively. In this paper, we propose PUMA (Polish Unified Multimodal Assessment), a novel benchmark of 900 hand-crafted tasks designed to probe the limits of multimodal models in the Polish cultural and linguistic context. The dataset evaluates both cultural understanding and practical skill in processing text, images, audio, and visually rich documents. Our extensive evaluation of frontier commercial models, open-weights models, and specialized smaller systems highlights a significant performance gap. While top commercial models achieve high scores in visual question answering, most models struggle with complex audio or document understanding. We open-source our evaluation framework to advance localized multimodal AI research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01