アーカイブ / VLM
文字を画像にしても転写精度は分割方法で変わる：インドネシアの地域文字4種を検証
DualGPT
DualGPTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: General VLMs image transliteration performance averaged across Javanese, Balinese, Sundanese, and Lampung on the NusaAksara evaluation dataset. Llama-3.1-NN-VL-8B-V1 is the Nemotron-Nano variant.
概要
- DualGPTでは文字を画像化しても、併用するテキスト側の分割方法が画像転写の成績に影響した。
- 著者らの単一言語実験では、独自トークナイザーによるchrF++の改善はジャワ語で30.15ポイント、ランプン語で1.8ポイントだった。
- 未知語率が低く分割後の列が短いLlama 2方式より、対象文字向けの独自方式が報告された転写成績で上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DualGPTの仕組み
- 01ラテン字の学習文
- 02現地文字へ逆転写
- 03画像化と文字分割
- 04DualGPTを学習
- 05ラテン字転写を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DualGPTは文字を画像として読み取りながら、テキストも分割して学ぶ。画像化は地域文字を細かく分割する問題への対策として使われるが、テキスト用の分割器を併用すると、その選び方が転写に影響し得る。
著者らは、独自の文字体系を持つインドネシアの地域言語4種でこの影響を調べた。文字画像からラテン字への転写が不正確なら、資料を検索可能にするための下書きにも人手による確認と修正が多く必要になる。
手法
著者らはラテン字の学習文を現地文字に逆転写し、文字画像を描画した。ジャワ語とバリ語では語間を空白で示さない性質に合わせ、文字を連続して描いた。DualGPTをテキスト、画像、両者の対で事前学習し、現地文字の画像からラテン字へ転写するよう追加学習した。
テキスト側にはLlama 2方式と独自方式をそれぞれ用いた。独自方式では現地文字を、文字の形を構成する単位である書記素に分け、ラテン字に戻した後、語をモデル用のIDに対応付ける。例えばジャワ文字の画像を入力すると、対応するラテン字列を出力する。
新規性
著者らが示したのは、文字を画像として扱うDualGPTでも、併用するテキスト用トークナイザーと文字体系の整合性が転写成績に影響するという点だ。画像化すれば分割方法の影響を避けられる、という見方を同じ構成内で検証した。
さらに、未知語率が低く、分割後の列が短いトークナイザーが、転写でも優れるとは限らないと示した。分割の効率を示す数値だけでは選択を判断できない。
従来手法との違い
比較したのは、DualGPTで使われるLlama 2のトークナイザーと、著者らが作った地域文字向けの方式である。トークナイザーは文をモデルが扱う単位に分ける仕組みで、独自方式は現地文字を書記素単位で扱い、ラテン字へ戻して語単位のIDにする。
Llama 2方式は4言語すべてで未知語率が0％で、学習文を分割した後の平均列長も短かった。一方、報告された画像転写の主指標では独自方式が上回った。この比較は、対象の4言語とDualGPTを用いた条件に限られる。
実験結果
著者らはNusaAksaraの画像転写課題で、ジャワ語816件、スンダ語823件、バリ語450件、ランプン語84件を評価した。主指標のchrF++は出力と正解の文字列の近さを測る。単一言語の学習条件で独自方式による改善は、それぞれ30.15、17.40、20.45、1.8ポイントと報告された。
ジャワ語とバリ語をともに事前学習・追加学習に使った条件では、バリ語のchrF++は独自方式69.20、Llama 2方式44.89だった。ただし同条件の独自方式の単語誤り率は108.73％で、単語単位の誤りも残る。各モデルの事前学習と追加学習は1回ずつである。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ジャワ文字で書かれた地域資料を検索用に整理する際、文字画像からラテン字の転写案を作る。入力は資料の文字画像、出力は原画像と照合するための転写文とし、担当者が確認した後に索引へ登録する。
適応には、対象資料に近いジャワ語の学習文、現地文字に直した表記、画像と対応する正解のラテン字転写ラベルが要る。既存の画像を使えるなら追加センサーは不要で、紙資料なら画像を取得する手段を別途決める。この用途での精度向上は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象資料から少量の文字画像を集め、人が確認したラテン字転写を正解ラベルとして付ける。適応用には、同じ言語・文字体系の学習文と、現地文字への逆転写に使う表記も必要だ。既存画像を使う場合は追加センサーを前提とせず、紙資料では撮影や取り込みの方法を決める。
同じ学習文、画像、正解ラベルを使い、Llama 2方式と現地文字向けの分割方式を比較する。資料を学習用と評価用に分け、chrF++と人手の修正箇所を記録する。字体や画像品質ごとに結果を分け、対象資料で実務上扱える修正量か確認する。
限界と課題
著者らが明示する制約は、分析対象が視覚とテキストを併用するDualGPTに限られること、4言語の学習データ量が大きく異なること、主な評価課題が画像からの転写であることだ。意味の理解や要約でも同じ差が出るかは調べられていない。
編集上の検証事項として、実資料の字体や画像品質でも差が続くか、独自方式に必要な学習文と正解ラベルを集められるかを確かめたい。各モデルの事前学習と追加学習は1回ずつのため、報告値だけでは実行ごとのばらつきは分からない。
出典
元のタイトル・要旨を確認する（英語）
Does Visual Rendering Bypass Tokenization? Investigating Script-Tokenizer Misalignment in Pixel-Based Language Models
While pixel-based language modeling aims to bypass the sub-word tokenization bottleneck by rendering text as images, recent multimodal variants such as DualGPT reintroduce text tokenizers to improve autoregressive performance. We investigate a fundamental question, does visual rendering truly decouple a model from tokenization constraints? Focusing on four Indonesian low-resource local languages that have their own non-Latin scripts (i.e., Javanese, Balinese, Sundanese, and Lampungnese), we evaluate the impact of script-tokenizer alignment within the DualGPT architecture. Our results show that, despite visual rendering, reintegrating a text tokenizer into the architecture reintroduces the same issue that pixel-based language modeling aims to resolve, which is the tokenizer misalignment problem. Despite having lower OOV and fertility rates, we show that the Llama 2 tokenizer performs significantly worse than a custom tokenizer, with improvements of up to 30.15 chrF++. Our findings serve as a warning for future multimodal variants, as text tokenizers remain a significant barrier to equitable models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01