新着研究 / LLM
英作文の母語背景をラベル生成より確率比較で推定、候補別の前置きがLLMの分類を改善
L1-Prefix Token Probability Scoring
L1-Prefix Token Probability Scoringの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Accuracy as a function of input length for Llama 3.1 8B and 70B using language-prefix likelihood scoring (solid lines) and direct classification (dashed lines). Panels show results on Write & Improve 2024, TOEFL9, and BULATS-L1.
概要
- 母語候補を示す前置きの下で、同じ英文のトークン確率を比較する。
- Llama 3.1の8B・70Bで、直接ラベルを答える方法を全評価長で上回った。
- 対象は限定した母語と英語学習者の文章で、実行時間や未知の母語は未検証だ。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、L1-Prefix Token Probability Scoringの仕組み
- 01英文と母語候補
- 02候補別の前置き付与
- 03本文トークンの確率集計
- 04最大スコアの候補選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
第二言語の文章には、語順や表現など、第一言語の影響と関連する傾向が残ることがある。母語識別はこの情報から候補言語を推定する研究課題だが、モデルに直接言語名を答えさせると、文章全体を候補ごとに比較したかは分からない。
本研究は、生成された説明やラベルの代わりに、モデルが実際の英文へ付ける確率を使う。同じ文章でも、候補母語を指定した前置きによって予測しやすさが変わる点に着目する。
手法
候補ごとに「第一言語がこの言語の英語学習者が書いた文章」という同じ型の前置きを作り、その後に観測された英文を置く。モデルが各トークン、つまり文章を処理する細かな単位へ与える対数確率を足し、最も高い候補を選ぶ。前置き部分そのものは採点しない。
母語ごとに別のモデルを学習せず、一つの汎用モデルを条件だけ変えて使う。音声の書き起こしには話し言葉であると示す前置きを使う。また地名、国籍、人名、英語以外の語を隠し、明示的な身元の手掛かりや話題だけへの依存を減らす。
新規性
新しい分類器を学習するのではなく、既存の指示調整済みモデルに潜在する条件付き確率を読み出す。答えのラベルを一度生成する方法から、すべての候補の下で観測文章を比較する方法へ変える点が中心だ。
同じモデルでも推定の形式で成績が大きく変わることを、小型と大型、作文と書き起こし、複数の入力長で調べる。モデル規模だけに分類能力を帰属させない検証になっている。
従来手法との違い
基準は、英文と候補一覧を渡して母語ラベルを直接答えさせる分類だ。確率比較はLlama 3.1の8Bと70Bで、評価した三データとすべての文章長において基準を上回った。とくに8Bの改善が大きい。
一部条件では8Bの確率比較が70Bの直接分類に並ぶか上回った。ただし候補ごとに文章を評価するため計算は増え、短いラベルを出す直接分類より速いという実証ではない。
実験結果
著者らの70Bによる全文評価は、TOEFL9で96.0%、Write & Improve 2024で92.0%、BULATS-L1で84.1%の正答率だった。既報の比較値はそれぞれ95.1%、88.9%、83.3%である。
50〜250語と全文を比較し、文章が長くなると概して改善したが、一部の長さでは小さな低下もある。TOEFLの学習データ混入懸念を挙げつつ、モデル公開時に未公開だった他の二データでも同様の傾向を確認している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：言語教材を開発するチームが、自己申告の母語が付いた同意済み作文集合について、モデルの誤り傾向を研究する。出力は個人の属性判定ではなく、母語群と文章長ごとの集計結果にする。
添削で文法や語順を変えた前後のスコアを比べ、教材のどの表現が分類へ影響するかを点検する。これは教育データの分析案であり、論文が特定の文法現象の因果的影響まで証明したわけではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：母語ラベルと習熟度を確認した作文で、話題と書き手を分けた評価集合を作る。直接分類と確率比較に同じ文章を渡し、固有名詞のマスク条件もそろえる。
正答率に加え、言語群ごとの混同行列、短文での低下、候補数と処理時間の関係を測る。最大スコアと次点の差も確認し、差が小さい場合に判定を控える設計が有効かを調べる。
限界と課題
著者らは英語を第二言語とする限定した母語群での結果であり、他の第二言語や候補にない母語への一般化は未確認とする。書き起こしには認識誤りや言いよどみがあり、作文との素の正答率を単純比較できない。
実行時間と資源量は測定していない。編集上の確認課題は、話題や習熟度による偏り、候補外の扱い、スコア差の較正だ。条件付き言語モデルのスコアを、本人の母語である確率や個人識別の確証と読み替えることはできない。
出典
元のタイトル・要旨を確認する（英語）
Inferring L1 Backgrounds from L2 English with LLM Token Probabilities
Native language identification (NLI) infers a non-native speaker's first language (L1) from their second language (L2) production. We investigate a token probability approach that scores each text sample as a continuation of a prompt prefix specifying a candidate L1, then predicts the candidate with the highest score. We evaluate our approach using Llama 3.1 8B and 70B on three datasets: TOEFL9, Write and Improve 2024, and BULATS-L1. We compare its performance with previous prompting-based classification approaches. Token-probability scoring substantially improves on direct classification, particularly with the 8B model, while the 70B model achieves state-of-the-art performance across all datasets. Our results indicate that pretrained LLMs' token probabilities contain information useful for distinguishing L1 backgrounds from L2 English production.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-19