アーカイブ / LLM
文字の楽譜をLLMは読めるか――ABC記譜法の1,086問で測る理解と回答の正確さ
ABC-Eval
ABC-Evalの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: A conceptual example of input instructions and corresponding LLM output in ABC-Eval benchmark.
概要
- ABC-EvalはABC記譜法の楽譜を使い、LLMの理解と指定形式で答える力を1,086問・10課題で評価する。
- 著者らの7モデルの評価では、基本課題で高得点のモデルもあった一方、誤り検出のMacro-F1は最高27.22点だった。
- 楽譜点検への応用には、自組織の原譜と専門家が付けた正解を使い、見落としと余計な指摘を検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ABC-Evalの仕組み
- 01ABC形式の楽譜
- 02課題と回答形式を提示
- 03LLMが回答
- 04正解と照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ABC-Evalは、文字で書いた楽譜を大規模言語モデル（LLM）がどこまで読めるかを測る評価セットだ。ABC記譜法は、音高や長さなどを文字と記号で表す方式である。音楽について文章で答える力と、楽譜の記号を順に追う力は、別々に確かめる必要がある。
楽譜の整理や点検に使うなら、自然な曲の説明だけでなく、小節の数、順序、誤りの位置を正確に答えられるかが重要になる。ABC-Evalは、それらを課題に分けて調べる。
手法
ABC-Evalは1,086問を10課題に分け、楽譜と指示をモデルへ渡す。例えば小節数の課題では、数値だけを答えさせ、正解と完全に一致した場合に正答とする。ほかに、次の小節を四択から選ぶ課題、並べ替えた小節の順序や誤りを含む小節番号を答える課題がある。
多くの問題はNottinghamとIrishMANのABC楽譜から規則に基づいて作られた。感情、ジャンル、作曲家を選ぶ課題では、演奏情報を記録するMIDIを楽譜データに変換し、さらにABC形式へ変換した。誤り検出には専門家が選んだ22曲を使い、無効な記号や小節の長さの不整合などを挿入した。
新規性
著者らが新規性として挙げるのは、文字で表したABC記譜法の楽譜について、内容の理解と指定どおりに答える力をまとめて測るベンチマークである。基本的な記号の読み取りから、小節の並びや曲全体の特徴の判断までを含む。
四択だけでなく、小節番号や順序を指定形式で返す課題も設けた。これにより、答えの内容に加えて、求められた形式を守れるかも評価する。
従来手法との違い
先行研究として著者らが挙げる音楽の質問応答は音楽知識を、音声を使う評価は聴き取った内容を主に扱う。ABC-Evalは文字の楽譜を直接入力し、記号や小節の並びを問う点が異なる。先行研究との同一条件での性能比較は示されていない。
著者らは7モデルに同じ形式の指示文を使い、役割設定や思考過程を促す指示を加えずに比べた。得点差はこの入力条件での結果であり、指示文を変えた場合の優劣までは示さない。
実験結果
著者らは7モデルを同じ形式の指示文で評価し、生成の設定をtemperature 0、top_p 1とした。表の全課題平均はGPT-5が55.02点、DeepSeek-chatが40.17点。小節数の完全一致率はGPT-5-miniが99.00％、DeepSeek-chatが30.00％で、この課題でも差があった。
誤り検出では、誤り小節の見落としと余計な指摘の両方を反映するMacro-F1を使い、最高値はGemini-proの27.22点だった。著者らの表では指標を百分率の点数で示している。これらはABC-Evalの問題と上記の指示・生成条件で得た結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：楽譜アーカイブの登録前に、ABC形式の原譜から誤りが疑われる小節を探す。原譜をモデルへ入力し、指定形式で小節番号を受け取り、担当者が原譜を照合して修正の要否を決める。出力は訂正結果ではなく、確認箇所の候補とする。
必要な元データは点検対象のABC原譜、正解ラベルは専門家が確認した誤りの位置である。既存モデルを追加学習せずに試す場合、学習用データや音声収集用のセンサーは不要だが、自組織の記譜規則と出力形式への適合を確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自組織のABC原譜を少数選び、専門家が誤りのある小節に正解ラベルを付ける。同じ楽譜を既存LLMと担当者が点検し、目視点検を比較基準として、見落とし数、余計な指摘数、所要時間を記録する。
元データはABC原譜、評価用ラベルは確認済みの誤り位置とする。追加学習を行わない段階では学習用データとセンサーは不要で、現場の記譜規則に合わせて指示文と正解の付け方を調整する。楽譜の長さや誤りの種類ごとに集計し、担当者が確認箇所を絞れるかを判断する。
限界と課題
著者らの評価では、基本的な記法の課題より、小節単位や曲全体の判断で低い得点が見られた。誤り検出の問題は、専門家が選んだ22曲を基に、規則に従って誤りを挿入して作っている。この結果を実際の記入ミス全般にそのまま当てはめることはできない。
編集上の検証事項は、手入力や形式変換で生じた誤り、解釈が分かれる記譜、長い楽譜でも誤りの位置を特定できるかである。業務で使う楽譜については、出典ごとの利用条件も確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
ABC-Eval: Benchmarking Large Language Models on Symbolic Music Understanding and Instruction Following
As large language models continue to develop, the feasibility and significance of text-based symbolic music tasks have become increasingly prominent. While symbolic music has been widely used in generation tasks, LLM capabilities in understanding and reasoning about symbolic music remain largely underexplored. To address this gap, we propose ABC-Eval, the first open-source benchmark dedicated to the understanding and instruction-following capabilities in text-based ABC notation scores. It comprises 1,086 test samples spanning 10 sub-tasks, covering scenarios from basic musical syntax comprehension to complex sequence-level reasoning. Such a diverse scope poses substantial challenges to models' ability to handle symbolic music tasks. We evaluated seven state-of-the-art LLMs on ABC-Eval, and the results reveal notable limitations in existing models' symbolic music processing capabilities. Furthermore, the consistent performance of individual baselines across different sub-tasks supports the reliability of our benchmark.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01