アーカイブ / VLM / Computer Vision / LLM
手書きの誤答をAIが正答に直していないか――数学答案の転記を測るPINK
PINK
PINKの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: BLEU’s Blind Spots in Multi-line Handwritten Math OCR. (a) BLEU penalizes semantically equivalent expressions, failing to capture their mathematical meaning. (b) BLEU assigns a high score even when the OCR misses a key part of the solution, treating a critical omission as insignificant. These cases highlight BLEU’s lexical limitation and motivate PINK, a semantic and recognition-aware metric that additionally detects over-correction ( Section 3 ).
概要
- PINKは、人手転記より採点点が上がった項目を過剰修正として扱い、増加幅に応じて減点する。
- 著者らはFERMATの手書き答案2,244件で15モデルを評価し、過剰修正が生じた割合をモデル別に42.1～66.2％と報告した。
- 専門家3人による200件の評価では、転記の忠実さをよりよく表す点としてPINKが55.0％、BLEUが39.5％選ばれた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PINKの仕組み
- 01答案画像と人手転記
- 02VLMが転記
- 03両転記を項目別採点
- 04点数差に応じて減点
- 05PINK点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PINKは、複数行にわたる手書きの数学答案を、AIが原文どおり文字起こししたか測る指標である。画像と言葉を扱うVLMが、学生の「2×3＝5」を「2×3＝6」に直すと、後段の採点では学生の誤解が見えなくなる。
OCRは画像から文字を読み取る技術を指す。従来の研究は一行の式を主に扱い、語句の一致を見る評価では、途中式や説明文を含む答案の誤りが残ったかを捉えにくい。教育用途では、その誤り自体が指導に必要な情報となる。
手法
まず、手書き答案の画像をVLM（画像と言葉を扱うモデル）で文字起こしし、学生の誤りも残した人手転記と比べる。LLM（大規模言語モデル）の採点器が両方の転記を、式の特定、条件、前半と後半の計算、最終答案という五項目で採点する。各項目は20点満点で、たとえば学生が誤った最終値を書けば、人手転記のその項目にも誤りが反映される。
次に、モデルの転記の点数が人手転記を上回った項目を過剰修正として扱う。差が1～10点なら人手転記の点数に戻し、10点を超えればその項目を0点にする。各答案の減点後の点数を足し、全答案の人手転記の点数の合計で割った値がPINK点である。誤った最終値を正答に書き換えても、その得点増は忠実な転記として評価されない。
新規性
PINKは、学生の解答が数学的に正しいかという採点結果と、画像に書かれた内容を忠実に転記したかという評価を結び付ける。人手転記より採点点が上がった箇所を過剰修正として検出し、その増加幅に応じて減点する。
著者らは複数行の手書き数学答案にFERMATを転用し、15のVLMを比較した。途中式と説明文を含む解答で、意味を保った表記の違いを扱いつつ、元の誤りを消した転記に罰則を設けた点が提案の中心である。
従来手法との違い
比較対象のBLEUは、転記文と正解文で語句がどれほど重なるかを測る指標である。著者らが示す例では、同じ値を表す「1/2」と「0.5」の表記差を罰する一方、解答の重要部分が抜けても高い点を付ける場合がある。
PINKは五つの採点項目で意味を評価し、学生の答案を正しく書き換えたために上がった点を減らす。FERMATでGPT-4oはBLEUの3位からPINKの6位、Gemini 2.5 Flashは10位から1位になった。この順位差は、同じ15モデルを当該データで評価した結果である。
実験結果
著者らは、609問を基に作られたFERMATの手書き答案2,244件を用い、15のVLMを評価した。少なくとも一項目で過剰修正が生じた答案の割合は、モデル別に42.1～66.2％だった。PINK点はGemini 2.5 Flashが0.935、GPT-4oが0.907と報告されている。
人手評価では、Ovis2 8Bが転記した200件を、数学答案の採点経験がある専門家3人が調べた。OCRの忠実さをよりよく表す点としてPINKが選ばれた割合は55.0％、BLEUは39.5％だった。この結果は一つの転記モデルから選んだ標本に基づき、ほかの言語や答案への適用を示すものではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：学習塾で、記述式の数学答案を採点前に文字起こしするモデルの選定に使う。入力として答案画像、設問、採点基準、計算ミスも残した人手転記、候補モデルの転記をそろえ、出力は候補ごとのPINK点と過剰修正が疑われる採点項目にする。
画像は既存の答案スキャンを使い、追加センサーは設けない想定とする。日本語の説明文を含む答案に合わせて採点基準と人手転記の作成手順を調整し、教員が画像と疑義箇所を確認する。専用の転記ラベルを用意できることが、この応用の前提である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの学年の複数行答案を少量集め、既存スキャン画像、設問、採点基準、誤答を残した人手転記をそろえる。追加センサーやモデルの再学習は前提にせず、日本語の記述に合わせて五項目の採点基準を調整する。人手転記を正解ラベルとして点検する作業も必要になる。
同じ候補モデルの転記をBLEUとPINKで評価し、教員が画像を見て誤答の書き換え件数と見落とし件数を記録する。人手判定との一致割合、誤りが消えた事例、採点基準と転記ラベルを整える作業量を比較し、PINKを選定に使えるか判断する。
限界と課題
著者らは、高いPINK点だけでVLMやOCRモデルの総合的な優秀さは判断できず、転記の忠実さを見る一つの軸だとしている。また、明示的な指示を与えるだけでは過剰修正を容易に解消できないと、予備的な実験から述べている。
編集上の検証事項は、日本語の説明文や異なる学年の答案でも五つの採点項目が適切か、人手転記の誤りが判定にどう影響するかである。過剰修正の検出は採点点の差に基づくため、実際にどの筆跡が読み違えられたかは画像で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
When VLMs 'Fix' Students: Identifying and Penalizing Over-Correction in the Evaluation of Multi-line Handwritten Math OCR
Accurate transcription of handwritten mathematics is crucial for educational AI systems, yet current benchmarks fail to evaluate this capability properly. Most prior studies focus on single-line expressions and rely on lexical metrics such as BLEU, which fail to assess the semantic reasoning across multi-line student solutions. In this paper, we present the first systematic study of multi-line handwritten math Optical Character Recognition (OCR), revealing a critical failure mode of Vision-Language Models (VLMs): over-correction. Instead of faithfully transcribing a student's work, these models often "fix" errors, thereby hiding the very mistakes an educational assessment aims to detect. To address this, we propose PINK (Penalized INK-based score), a semantic evaluation metric that leverages a Large Language Model (LLM) for rubric-based grading and explicitly penalizes over-correction. Our comprehensive evaluation of 15 state-of-the-art VLMs on the FERMAT dataset reveals substantial ranking reversals compared to BLEU: models like GPT-4o are heavily penalized for aggressive over-correction, whereas Gemini 2.5 Flash emerges as the most faithful transcriber. Furthermore, human expert studies show that PINK aligns significantly better with human judgment (55.0% preference over BLEU's 39.5%), providing a more reliable evaluation framework for handwritten math OCR in educational settings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01