アーカイブ / Generative AI
訳文を見る前に原文を処理する二段階デコーダーで、多言語翻訳を改善
Two-stage Decoder-only（TDO）とInstruction-level Contrastive Learning（InstruCL）
概要
- TDOは訳文の単語を前段から除き、訳先言語の指定と原文から中間表現を作る。
- InstruCLは訳先言語を示す指示の表現を対照学習し、ゼロショット翻訳の改善を狙う。
- TED-19で初期状態から学習したゼロショット方向の平均BLEUは、追加要素のないTDOが13.56、比較対象のエンコーダー・デコーダーが12.32だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Two-stage Decoder-only（TDO）とInstruction-level Contrastive Learning（InstruCL）の仕組み
- 01訳先タグと原文
- 02訳文なしで前段処理
- 03訳文を合わせて後段処理
- 04訳文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TDOは、一つのモデルで複数の言語方向を扱う多言語機械翻訳の方法である。デコーダーは、文脈を使って訳文の次の単語を順に予測する部分を指す。著者らは、原文と訳文を同じデコーダーで処理する構成に、訳先言語への移行が弱いという課題を見いだした。
焦点はゼロショット翻訳、つまり学習中に直接の対訳を見ていない言語の組み合わせの翻訳だ。英語との対訳はあっても、ほかの言語同士の対訳がない場合を考えるうえで重要になる。
手法
学習には、訳先言語を示すタグ、原文、正解の訳文を一組にした対訳文を使う。TDOの前段はタグと原文だけから内部表現を作り、後段はその表現と直前までの訳文を使って次の単語を予測する。例えば、訳先をフランス語に指定した日本語文から、フランス語訳を順に生成する。
InstruCLは対照学習、つまり関連する内部表現を近づけ、異なるものを離す学習法である。正解の訳文を同じ言語へ訳す仮の例を作り、元の例と訳先タグの表現を近づける。訳先言語または意味が異なる例は比較相手とし、通常の訳文予測の学習目標と併用する。
新規性
TDOはデコーダーの前段から訳文の単語を除き、訳先言語の指定と原文だけで中間表現を作る。後段で訳文の単語を合わせることで、原文の表現を訳先言語へ寄せることを狙う。
InstruCLは、訳先言語を示す指示の内部表現を対照学習する。著者らは、後段でも訳先言語の特徴を保つための学習目標として提案した。
従来手法との違い
比較対象は、原文を処理するエンコーダーと訳文を作るデコーダーを分けた構成、および単一のデコーダーで両方を処理する構成である。著者らの予備分析では、通常の単一デコーダーが作る原文の内部表現には、訳先言語の特徴が十分に現れなかった。
TDOでは前段が訳文を見ずに原文を処理し、後段が訳文の生成を担う。実験では注意機構の方式、適応用の層、InstruCLの有無も比較している。
実験結果
著者らは英語との対訳を学習・検証に使い、TED-19の19言語・650万例とOPUS-100の95言語・9200万例で評価した。両データで初期状態から学習し、TED-19では事前学習済みモデルの追加学習も試した。生成時のビーム幅は4で、訳文の自動評価にはSacreBLEU、chrF++、BERTScore、COMETを用いた。
TED-19で初期状態から学習した場合、ゼロショット方向の平均BLEUはエンコーダー・デコーダーが12.32、追加要素のないTDOが13.56だったと著者らは報告する。訳先言語を外した割合は同じ順に3.82％、3.54％だった。これらは当該データと設定での結果であり、業務文書の精度は示していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内手順書を日本語からフランス語へ訳す試験を想定する。入力は日本語の文と訳先言語の指定、出力は担当者が確認するフランス語訳とする。センサー入力は不要である。
学習には英語・日本語間と英語・フランス語間の対訳文、各文の訳先言語を示すラベルが必要になる。社内用語への適応には対象分野の対訳文を用意して追加学習し、訳語を人が確認する。この用途での改善は未検証の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語・日本語間と英語・フランス語間の対訳文を集め、訳先言語と翻訳方向のラベルを付ける。同じ学習・評価用の分割で、通常のエンコーダー・デコーダー、単一デコーダー、TDOを比較する。入力は文と訳先タグで、センサーは使わない。
対象分野の対訳文を用意して追加学習した後、日本語からフランス語への未学習方向を別に評価する。BLEU、chrF++、訳先言語を外す割合を測り、担当者が専門用語と手順の意味を確認する。直接学習した言語方向の得点も併記する。
限界と課題
著者らは、初期状態からの学習でInstruCLがゼロショット翻訳を改善する一方、教師あり翻訳の性能が下がる場合を報告した。適応用の層を加えると、その低下は抑えられたという。ゼロショット方向の得点だけでは採用を判断できない。
編集上の検証事項は、対象分野の専門用語、訳先言語の取り違え、手順の意味の保持である。確認できた本文の範囲では、付録にある学習設定の詳細や個別の誤訳例までは確認できない。
出典
元のタイトル・要旨を確認する（英語）
Improving Language Transfer Capability of Decoder-only Architecture in Multilingual Neural Machine Translation
Existing multilingual neural machine translation (MNMT) approaches mainly focus on improving models with the encoder-decoder architecture to translate multiple languages. However, decoder-only architecture has been explored less in MNMT due to its underperformance when trained on parallel data solely. In this work, we attribute the issue of the decoder-only architecture to its lack of language transfer capability. Specifically, the decoder-only architecture is insufficient in encoding source tokens with the target language features. We propose dividing the decoding process into two stages so that target tokens are explicitly excluded in the first stage to implicitly boost the transfer capability across languages. Additionally, we impose contrastive learning on translation instructions, resulting in improved performance in zero-shot translation. We conduct experiments on TED-19 and OPUS-100 datasets, considering both training from scratch and fine-tuning scenarios. Experimental results show that, compared to the encoder-decoder architecture, our methods not only perform competitively in supervised translations but also achieve improvements of up to 3.39 BLEU, 6.99 chrF++, 3.22 BERTScore, and 4.81 COMET in zero-shot translations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01