新着研究 / LLM
語の構造発見と語彙圧縮を分離、LCTが多言語モデルの入力単位を設計
Latent Core Tokenizer
Latent Core Tokenizerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 4: Tokenization examples
概要
- 言語の重みを調整して内部の語構造を学び、その部品から最終的なトークン語彙を作る。
- 104言語と20万語彙で、圧縮効率と形態素境界への一致を既存方式と比較した。
- 四つの下流評価の集約値はBPEより1.48ポイント高いが、最少データ群の改善は保証されない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Latent Core Tokenizerの仕組み
- 01言語別の語頻度
- 02内部の語構造を発見
- 03部品を統合して語彙化
- 04文章を固定IDへ符号化
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LCTは、文章を言語モデルの入力単位へ分けるトークナイザーを作る方法だ。同じ文字列でも細かく分かれる言語では、入力が長くなり、同じ文脈枠に収まる内容が減る。多言語の共有語彙は、言語ごとのデータ量や文字体系の違いに左右される。
頻出文字列をまとめる圧縮だけでは、語幹や接辞などの再利用しやすい構造を保てるとは限らない。本研究は、構造を見つける段階と最終語彙の容量を配る段階を分け、表現の品質を調べる。
手法
まず言語ごとの語頻度を調整し、データの多い言語だけが構造発見を支配しないようにする。最小記述長という、部品を保存する費用と再利用で文章を短くする利益を両立する基準で分割を学ぶ。前後に続く文字の多様さや、接頭辞・語幹・接尾辞らしい並び方も手掛かりにする。
その内部部品を種に、出現する入力単位を最も減らせる隣接組をまとめ、固定サイズの表面語彙を作る。頻出する語全体が一つの入力単位になる場合もある。実行時は既知の語彙で単位数を最小化し、未知文字列はUTF-8のバイト単位で可逆に表せるようにする。
新規性
内部で語を理解する部品と、最終的にモデルへ渡す単位が一致しなくてよいという設計が中心だ。構造を発見してから圧縮するため、頻出語を短くしつつ、再利用しやすい語幹の情報を語彙構築へ生かせる。
言語ごとの重みと構造発見の複雑さを別の調整軸にする。全言語に同じ語彙数を割り当てる方式ではなく、複数言語で使う部品の支持も残して容量を配分する。
従来手法との違い
BPE、Unigram、言語間の配分を意識したParity-Aware BPEと、コーパス、語彙容量、エンコーダー構造を合わせて比較する。単位数の少なさと、意味を持つ語の部品である形態素の境界への一致を別々に評価する。
LCT内では記述長だけを使う軽い方式と、境界や並び方も使う方式を比較した。軽い方式は短い列を作り、複雑な方式は下流精度で強い。圧縮の良さだけではモデル品質の順序を説明できない。
実験結果
著者らは104言語、20万トークンの語彙で、語当たりの単位数とMorphScoreを評価した。四つの多言語課題では、最良のLCT設定の集約精度がBPEより1.48、Unigramより1.83、配分対応BPEより2.00ポイント高かった。
各構成の事前学習は一つの乱数種で、下流の追加学習は五つの種を使う。Belebeleでは事前学習データが最少の四分位群はBPEとほぼ同じで、差はマイナス0.07ポイントだった。語彙の改善とデータ不足の解消は別の問題になる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数言語の問い合わせ分類モデルを新規に学習する際、入力単位の候補として比較する。入力は言語別の業務文と頻度、出力は共有語彙と、その語彙で学習した分類モデルだ。
長い専門語や活用形が多い言語で、入力の分断を減らせるかを検証する。既存モデルの語彙だけを突然交換するのではなく、同じ学習条件で構築したモデル同士を比べる。利用者の多い言語だけに集約結果が偏らないよう言語別の成績を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：使用言語と実際のデータ量を反映するコーパスで、BPEと複数のLCT設定を作る。語彙容量を固定し、入力単位数、未知文字列の可逆性、言語別の分類精度を測る。
構造の複雑な方式と軽い方式を両方試し、語彙の学習時間と実行時の符号化時間も記録する。全体精度だけでなく、データが少ない言語の誤りを確認する。複数の事前学習試行を行い、今回の単一初期条件への依存も調べたい。
限界と課題
著者らは、現行のHugging Face接続がPythonの低速トークナイザーであり、短い入力列が実行時の高速化を直接示すわけではないと述べる。言語配分の平等化も、少量データ言語の成果の平等化を保証しない。
編集上の検証課題は、生成モデルへの適用、専門分野の語彙、符号化処理の最適化だ。部分的な言語均衡が良いという結果も、すべての配分条件の最適点を確定したものではない。導入時は品質、長さ、処理時間を独立に測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Latent Core Tokenizer: Compress, but Meaningfully
Tokenizers are commonly optimized for compression, but a compact vocabulary does not necessarily distribute its capacity evenly across languages. We introduce the Latent Core Tokenizer (LCT), a language-agnostic approach that separates structural discovery from vocabulary construction. LCT uses Minimum Description Length, entropy-based boundary signals, and morphotactic constraints to identify reusable linguistic units before constructing a shared vocabulary. Across 104 languages with a 200K-token vocabulary, LCT achieves lower fertility and higher MorphScore than BPE, Unigram, and parity-aware BPE, while maintaining comparable cross-lingual disparity in tokenization cost. Across four multilingual downstream benchmarks, LCT improves aggregate score by 1.48, 1.83, and 2.00 points over BPE, Unigram, and parity-aware BPE, respectively. Our findings show that compression alone does not predict representation quality and highlight the importance of morphology-driven structural discovery and how frequency is used to allocate the final vocabulary across languages.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-10