アーカイブ / VLM
日本の医療系国家試験11職種で、AIは画像を使って正答しているか
JMed48k
JMed48kの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of JMed48k benchmark. Left: JMed48k aggregates 48,862 official questions from 11 Japanese national healthcare licensing examinations spanning 2005–2025. Middle: Questions with images span all professions and account for 21% of the corpus, with visual content annotated under an 8-type taxonomy. Right: The paired image-removal audit re-evaluates each question with images in JMed48k-Eval by removing all images, revealing four distinct outcomes: text-solvable success, image-enabled correction, image-induced error, and still-unsolved items.
概要
- JMed48kは日本の医療系国家試験11職種を対象とし、48,862問を収録する。うち9,646問が画像を参照し、画像単位の分類記録は20,142件ある。
- 評価用の12,484問のうち画像付きは2,579問。同じ設問を画像あり・なしで解かせ、正誤の変化を4状態で調べる。
- 著者らの対比較では、独自モデル群の画像による正答率の純増分は医師で5.7ポイント、保健師で39.8ポイントだった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、JMed48kの仕組み
- 01公式試験PDF
- 02設問と画像を対応付け
- 03同一問を画像あり・なしで解答
- 04正誤変化を分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
JMed48kは、医療系国家試験の設問文と画像を組み合わせて、視覚言語モデルを評価するためのデータ群である。視覚言語モデルとは、文章と画像をともに入力できるAIを指す。試験には写真、放射線画像、波形、表などを参照する問題がある。
画像付き問題の正答率だけでは、モデルが画像を読んだのか、文章だけで答えられたのか分からない。医師の試験で得た結果を、扱う図版や用語が異なる他職種へそのまま当てはめることもできない。
手法
厚生労働省が公表した問題、図版、正答のPDFから、設問文と選択肢を抽出する。図版は区分や設問番号を手掛かりに対応付け、公式正答は設問IDで結び付ける。抽出結果は原本との手動照合と、欠損や重複などの自動点検を経て、設問ごとの記録になる。画像は写真、放射線画像、表・グラフなど8種類で分類される。
評価では、画像付きの同じ設問を元の画像ありと、画像をすべて外した状態で解かせる。例えば保健師試験の図版付き設問なら、両条件の回答を公式正答と照合し、「両方正答」「画像ありだけ正答」「画像なしだけ正答」「両方誤答」に分ける。画像ありだけ正答した割合から画像なしだけ正答した割合を引くと、正答率の純増分になる。
新規性
JMed48kは、日本の医療系国家試験11職種を2005～2025年にわたって集め、設問中の画像を内容別に分類した評価基盤である。画像付きの設問は9,646問あり、画像単位の分類記録は20,142件に上る。
評価上の特徴は、同じ設問を画像あり・なしの両方で解かせ、正誤の移り変わりを4状態に分ける点にある。画像を添えたときだけ正答した設問と、画像なしでも正答できた設問を区別して観察できる。
従来手法との違い
既存の日本語試験データには、医師を対象とするIgakuQAや、薬剤師を対象とするYakugakuQAがある。著者らが近い先行例とするKokushiMD-10と比べ、JMed48kは対象職種と収録年の範囲を広げている。
評価方法にも違いがある。文章だけの設問と画像付き設問では問題自体が異なるため、正答率の差を画像の効果とは読めない。JMed48kは画像付きの同一設問から画像を外して再評価し、正誤の変化を設問ごとに調べる。
実験結果
著者らによると、全体には2005～2025年の11職種から48,862問を収録し、9,646問が画像を参照する。評価用のJMed48k-Evalは各職種で利用可能な直近5年分から、公式正答が使えない93問を除いた12,484問で、文章のみ9,905問、画像付き2,579問である。21モデルの正答率を調べ、画像入力が可能な20モデルに画像除去の対比較を行った。
文章のみの職種別単純平均正答率はGemini 2.5 Proが95.5%、GPT-5が95.1%。画像付き設問ではそれぞれ79.7%、78.8%だが、異なる設問群のため、この差は画像の悪影響を意味しない。著者らは対比較で、独自モデル群の画像による正答率の純増分を医師で5.7ポイント、保健師で39.8ポイントと報告した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：保健師試験向けの教材作成に使うAIを、画像付き設問で事前評価する。入力には公表済みの設問文、対応画像、公式正答に加え、職種と画像種類のラベルを用意する。出力は候補モデルごとの正誤と、画像の有無で正誤が変わった設問一覧とする。
追加学習用データや専用センサーは前提とせず、各モデルの入力形式に合わせて設問と画像を渡す。誤答や画像なしでも正答する例を人が確認し、教材で扱う図版の選定に役立つかを検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象職種の公表済み設問文、対応画像、公式正答を小規模な評価データとしてそろえ、職種と画像種類のラベルを付ける。追加学習用データと専用センサーは使わず、設問の形式を候補モデルの入力形式に合わせる。同じ設問を画像あり・なしで解かせ、後者を比較基準にする。
両条件の正答率に加え、画像ありだけ正答した件数と、画像なしだけ正答した件数を別々に数える。職種別・画像種類別にも確認し、図版の欠損や回答を採点できない例は記録して原因を調べる。教材への採用判断では、少数の正答例だけでなく誤答の内容も人が確認する。
限界と課題
著者らは、元の公表資料から画像内容を確認できない参照例を「Other/Unclear」に残し、画像種類別の分析から除いている。また、看護師・保健師・助産師の評価対象は、構築時に利用できた2020～2024年の試験である。
編集上の検証事項として、試験問題での正答が実務上の判断にも通用するかは別途確かめる必要がある。画像あり・なしの正誤比較は画像入力の観測上の効果を示すが、個々の回答で何を読み取ったかまでは証明しない。確認できた本文の範囲では、推論条件の詳細と職種別件数の全表は付録を参照する記述にとどまる。
出典
元のタイトル・要旨を確認する（英語）
JMed48k: A Multi-Profession Japanese Medical Licensing Benchmark for Vision-Language Model Evaluation
We introduce JMed48k, a multi-profession Japanese healthcare licensing benchmark for evaluating vision-language models. Built from official PDF materials released by the Japanese Ministry of Health, Labour and Welfare, JMed48k contains 48,862 exam questions and 20,142 images from 11 national licensing examinations between 2005 and 2025, with visual content annotated under an 8-type taxonomy. From this corpus, we derive JMed48k-Eval, a recent five-year evaluation subset with 12,484 scored questions, including 9,905 text-only questions and 2,579 questions with images. We evaluate 21 proprietary, open-source, and medical-specific models, reporting text-only and with-image performance separately. Because these subsets contain different questions, we further introduce a paired image-removal audit that evaluates questions with images before and after removing visual content to explore four answer-transition states. The audit shows that proprietary and open source models gain substantially from images, whereas medical-specific systems show limited observable use of visual evidence, with many correct answers persisting after image removal. Even among proprietary models, the net image-removal effect varies sevenfold across professions, from +5.7 points on Physician questions to +39.8 points on Public Health Nurse questions. We release JMed48k to support reproducible, profession-stratified evaluation of vision-language models in medical licensing settings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01