アーカイブ / LLM / VLM
珍しい文字をAIにどう渡すか――字形画像・説明文・仮記号を使った言語パズルの比較
Glyph Tokenization with Picture and Description Methods
Glyph Tokenization with Picture and Description Methodsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example of Tokenization of Glyphs
概要
- 著者らは、珍しい文字を字形ごとに仮記号へ置き換え、画像または説明文を添えて言語パズルを評価した。
- 字形画像と生成した説明文の対応付け実験で、平均正解率はGPT-4oが40.0％、Geminiが13.4％、Claude 3.5 Sonnetが31.3％と報告された。
- 元のUnicode文字を使った際の結果はマラヤーラム文字とメロエ文字で異なり、著者らは対象が五問に限られることを制約に挙げた。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Glyph Tokenization with Picture and Description Methodsの仕組み
- 01パズルの字形
- 02字形ごとに分割
- 03仮記号と画像・説明を対応
- 04モデルの回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、珍しい文字の形を言語モデルへどう渡すかを調べる。Unicodeは文字を計算機で共通に扱うための符号体系だが、未登録の文字は通常の文字列として示しにくい。言語パズルでは、字形の違いや語の中での繰り返しを手掛かりにする。
著者らは、画像も扱える言語モデルと、文章による字形説明を使う方法を検討した。入力の作り方によって、モデルがどの手掛かりを使い、どこで誤るかを知ることが、資料の読み取り支援を考える際の出発点になる。
手法
著者らは、隣り合う字形の間に縦の白線を通せるかを目安に、一続きの字形をトークンへ分ける。トークンとは、ここでは一つの視覚的な文字単位を指す。上端や下端の横線が境界をまたぐ字形には例外を設ける。分けた単位を〈token_i〉のような仮記号に置き換え、問題文を作る。
Picture Methodでは、仮記号を付けた字形一覧の画像を問題文に添える。Description Methodでは、字形の見た目や他の字形との関係を記した表を添える。例えば複数の語に同じ仮記号が現れたら、モデルはその繰り返しと画像または説明を照らし合わせ、問題で求められた対応や訳を回答する。
新規性
著者らは、Unicodeに登録されていない文字を含む言語パズルを、字形ごとの仮記号に置き換えて構成した。仮記号と字形画像、または字形の説明文を対応付け、文字列だけでは渡せない見た目の情報をモデルに与える。
Unicodeで表せる文字の問題には元の文字を使う条件も設け、表記方法が解答に与える影響を調べた。提案の中心はパズルを用いた評価方法であり、未知の文字の自動解読法が完成したという主張ではない。
従来手法との違い
基準となる入力は、字形の情報を添えず、仮記号だけで問題文を示す条件である。これに対し、Picture Methodでは仮記号と字形の一覧画像を、Description Methodでは各字形の形や他の字形との関係を記した表を加える。
マラヤーラム文字とメロエ文字の問題では、元のUnicode文字を使う条件も比較した。著者らによると、マラヤーラム文字では元の文字で概ね正答できた一方、メロエ文字では元の文字を使っても難しかった。この差は調べた問題の範囲での観察である。
実験結果
著者らはGPT-4o、Gemini、Claude 3.5 Sonnetを、UKLOのMandombe、Avoiuli、Ditema tsa Dinokoの三問と、NACLOのマラヤーラム文字、UKLOのメロエ文字の二問で調べた。各問で画像、説明文、仮記号のみの条件を試し、後者二問では元のUnicode文字も用いた。
字形画像と生成した説明文を対応付ける実験の平均正解率は、著者らの報告では順に40.0％、13.4％、31.3％だった。Mandombeで説明から画像の字形を逆に対応付ける成功率は、三モデルとも15％未満だった。メロエ文字のUnicode条件では、Claude 3.5 Sonnetが対応付け問題12問中6問に正答した。これらは異なる課題の数値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：地域資料館で、Unicodeに登録されていない文字を含む資料の読みの候補を整理する。資料画像と専門家が確認した字形の切り分け、既知の読みや対訳例を入力し、字形と読みの対応候補を確認用の一覧として出す。
必要な元データは対象資料の画像と対訳例で、候補を評価する正解ラベルは専門家が付ける。撮影またはスキャンによる画像取得手段を用意し、字形の境界や鏡像の扱いを対象資料に合わせて調整する。候補は専門家が検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一種類の文字資料について、画像、専門家が確認した字形の境界、既知の読みや対訳を集める。撮影またはスキャンで画像を取得し、字形を切り分けて仮記号に対応させる。境界と鏡像の扱いは専門家が点検し、対象資料に合わせて調整する。
正解ラベルを付けた問題を一部保留し、仮記号だけの条件を基準に、画像付きと説明文付きの条件を比べる。保留問題での対応付け正答数、境界の修正数、候補を確認する時間を記録する。説明文の部品や向きの誤記も数え、使える範囲を判断する。
限界と課題
著者らが明記した研究上の制約は、対象が五つの言語パズルに限られることと、各モデルに同じ指示文を使ったことである。また、実験では複雑な字形の説明に部品や向きの誤りがあり、画像を用いた推論にも誤りが見られた。
編集上の検証事項は、実資料でも同じ基準で字形を区切れるか、専門家間で正解ラベルが一致するかである。Avoiuliでは鏡像を別の仮記号として扱い、モデルも同一視を推論しなかった。鏡像の扱いが候補の対応付けに及ぼす影響も確認したい。
出典
元のタイトル・要旨を確認する（英語）
Reasoning Over the Glyphs: Evaluation of LLM's Decipherment of Rare Scripts
We explore the capabilities of LVLMs and LLMs in deciphering rare scripts not encoded in Unicode. We introduce a novel approach to construct a multimodal dataset of linguistic puzzles involving such scripts, utilizing a tokenization method for language glyphs. Our methods include the Picture Method for LVLMs and the Description Method for LLMs, enabling these models to tackle these challenges. We conduct experiments using prominent models, GPT-4o, Gemini, and Claude 3.5 Sonnet, on linguistic puzzles. Our findings reveal the strengths and limitations of current AI methods in linguistic decipherment, highlighting the impact of Unicode encoding on model performance and the challenges of modeling visual language tokens through descriptions. Our study advances understanding of AI's potential in linguistic decipherment and underscores the need for further research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01