アーカイブ / LLM
韓国語の数学問題を英語で整理して解くUST：入力言語による正答率の差を検証
Understand, Solve, and Translate（UST）
Understand, Solve, and Translate（UST）の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example of TAS process. When presented with a problem in Korean, the model generates Korean answers through the following processes highlighted in yellow: Understanding the Question , Solving the Question , and Translating the Solution into Korean .
概要
- USTは韓国語の数学問題を英語で整理・解答し、解法を韓国語へ戻す三段階を学習させる。
- 著者らのHRM8K評価では、K2Kの平均正答率39.52%に対し、UST学習後は50.43%だった。
- 韓国語の別評価KMMLUでは平均が上がった一方、MGSMのスワヒリ語とタイ語では成績が下がった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Understand, Solve, and Translate（UST）の仕組み
- 01韓国語の問題
- 02英語で条件を整理
- 03英語で解く
- 04韓国語に訳す
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
USTは、韓国語の数学問題を英語で整理して解き、解法を韓国語に戻す学習方法である。同じ問題でも言語によって正答率が違えば、韓国語の利用者はモデルの解答能力を十分に使えない可能性がある。
著者らは韓国語と英語で対応する8,011問のHRM8Kを作り、この差を調べた。韓国語の問題を読ませて考える言語だけを英語にしても差が大きく残ったため、問題文を理解する段階に着目した。
手法
USTの学習例は、韓国語の問題から条件と求めるものを英語で説明し、英語で解き、解法を韓国語に訳す三段階で構成する。例えば文章題なら、数量の関係と質問を英語で整理してから計算し、韓国語の解法と答えを出す。「微調整」は、既存モデルを追加の学習例で目的に合わせて更新することをいう。
著者らは既存の数学問題と英語の解法を基に韓国語の問題文を作り、品質を選別して約13万件の学習例を用意した。Qwen2.5-7Bに三段階を続けて生成するよう学習させ、段階の境界には専用の記号を入れる。利用時は一回の応答で韓国語の解法まで生成し、モデルの構造とパラメータ数は変えない。
新規性
USTは、韓国語の問題を受け取った後、英語で条件と目的を整理する段階を学習させる。続いて英語で解き、その解法を韓国語に訳すまでを一回の応答で生成する。
著者らは、韓英で同じ問題を比べられるHRM8Kを作り、問題を読む言語と考える言語の影響を分析した。その結果を、英語での理解段階を含む学習方法に反映した。
従来手法との違い
著者らはHRM8Kで、韓国語で読み韓国語で考えるK2K、韓国語で読み英語で考えるK2E、英語で読み英語で考えるE2Eを比較した。表2に載るモデル全体では、K2KからK2Eへの平均差は約1ポイント、K2KからE2Eへの平均差は約11ポイントだった。
この条件では、考える言語だけを英語にしても差の多くが残る。USTは韓国語の入力を英語で整理する過程も学習させる。最初から英語の問題文を与えるE2Eとは、入力条件が異なる。
実験結果
著者らのHRM8K評価では、Qwen2.5-7B-Instructの平均正答率はK2Kで39.52%、K2Eで41.29%、E2Eで51.12%だった。USTで学習したモデルは50.43%で、K2Kとの差は10.91ポイント。E2EとK2Kの差11.6ポイントは、E2EとUSTの差では約0.7ポイントになった。
別の韓国語評価KMMLUの平均は40.3%から43.6%へ上がった。一方、多言語の数学評価MGSMでは、スワヒリ語が18.4%から14.8%、タイ語が76.4%から71.6%へ下がった。いずれも著者らの報告値であり、用途全般での改善を示す数字ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：韓国語の数学演習問題から、韓国語の解説案を作る教材制作に使う。入力は韓国語の問題文、出力は韓国語の解法と最終回答とし、担当者が英語で整理された条件、計算、訳語を確認してから採用する。
適応用には対象教材の韓国語問題、照合可能な正答ラベル、英語の解法例、韓国語の解説例が要る。入力は文章テキストで、センサーは不要である。教材の表記に合わせた調整の要否と効果は、実際の問題で確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象教材から韓国語の問題文、正答ラベル、英語の解法例、韓国語の解説例を集め、問題単位で学習用と評価用に分ける。入力は文章テキストとし、センサーは使わない。必要な例でUST方式への適応を試し、既存モデルのK2K指示を比較基準にする。
同じ評価問題で最終回答の正答率を比べ、条件の取り違え、訳抜け、応答が途中で切れる件数も記録する。数値で自動照合できない回答は人が確認する。対象教材での改善と解説の正確さを別々に判断する。
限界と課題
著者らは、HRM8Kの8,011問中15問で韓国語への翻訳が失敗し、いずれも文脈長の制限によるものと報告した。またMGSMでは、学習前と比べてスワヒリ語とタイ語の成績が下がった。韓国語での改善を他言語へそのまま広げて解釈できない。
編集上の検証事項：HRM8Kの既存ベンチマーク由来の問題について、評価対象モデルの学習データとの重複を確認したい。著者らの事前学習データとの照合はKSMを対象とするFineWeb-2での完全一致検索に限られる。証明や数値以外の回答が必要な問題への適用も別途確かめる。
出典
元のタイトル・要旨を確認する（英語）
Understand, Solve and Translate: Bridging the Multilingual Mathematical Reasoning Gap
Large language models (LLMs) demonstrate exceptional performance on complex reasoning tasks. However, despite their strong reasoning capabilities in high-resource languages (e.g., English and Chinese), a significant performance gap persists in other languages. To investigate this gap in Korean, we introduce HRM8K, a benchmark comprising 8,011 English-Korean parallel bilingual math problems. Through systematic analysis of model behaviors, we identify a key finding: these performance disparities stem primarily from difficulties in comprehending non-English inputs, rather than limitations in reasoning capabilities. Based on these findings, we propose UST (Understand, Solve, and Translate), a method that strategically uses English as an anchor for reasoning and solution generation. By fine-tuning the model on 130k synthetically generated data points, UST achieves a 10.91% improvement on the HRM8K benchmark and reduces the multilingual performance gap from 11.6% to 0.7%. Additionally, we show that improvements from UST generalize effectively to different Korean domains, demonstrating that capabilities acquired from machine-verifiable content can be generalized to other areas. We publicly release the benchmark, training dataset, and models.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01