アーカイブ / LLM
Transformerは翻訳文の語をどう選ぶのか――注意機構だけで組む翻訳モデル
Transformer
Transformerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The Transformer - model architecture.
概要
- 自己注意で文中の語同士を参照し、位置情報で語順を補う。
- 著者らはWMT 2014で英独BLEU 28.4、英仏BLEU 41.0を本文で報告した。
- 実務翻訳では専門用語、数値、否定条件を人が確認する工程が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Transformerの仕組み
- 01原文の語列
- 02位置と関係を計算
- 03訳語を順に選択
- 04翻訳文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Transformerは、入力文のどの語が訳文の各語に関係するかを計算し、翻訳文を作るモデルだ。機械翻訳では語順や離れた語の関係を保ちながら、長い文を処理する必要がある。
当時の主流だった再帰型のモデルは語を順番に処理するため、学習時に同じ文の計算を並列化しにくい。著者らは、語同士の関係を直接計算する注意機構を中心に据えた。
手法
原文と生成済みの訳文を数値の列へ変え、各語の順番を表す位置情報を加える。エンコーダーと呼ぶ入力側では、自己注意が各語と原文中のほかの語の関係を計算する。関係の強さに応じて情報を混ぜる処理を複数組並べたものがマルチヘッド注意で、異なる位置や関係を同時に参照する設計である。
デコーダーと呼ぶ出力側は、すでに作った訳語と入力側の結果を参照し、次の訳語を一つずつ選ぶ。たとえば英文の一語を訳す際、直前の日本語だけでなく、対応しそうな原文の語にも重みを置く。まだ生成していない未来の訳語は見えないようにし、学習中に正解を先読みしない。
新規性
著者らは、入力を読む部分と訳文を作る部分の双方を注意機構と各位置に適用する計算で構成した。従来のように前の時点の内部状態を順に引き継ぐ層や、近隣の語を一定幅で処理する畳み込み層を使わない系列変換モデルを提示した。
語順を位置情報で補い、複数の注意を並列に計算する設計により、入力中の離れた語も直接参照できる。著者らが訴える利点は、翻訳品質に加えて学習時の並列計算のしやすさである。
従来手法との違い
従来の再帰型モデルは、前の語を処理してから次へ進む計算が中心で、同じ文の位置ごとの処理を並べにくい。畳み込み型モデルは位置を並列に処理できるが、離れた語を結ぶには複数の層が必要になる場合がある。
Transformerの自己注意は、一つの系列内で各語がほかの語を参照する仕組みだ。著者らの表では各層の逐次操作は一定回数だが、全位置を比べる計算量は文の長さの二乗に依存する。この条件も速度を考える際に残る。
実験結果
著者らはWMT 2014の英独約450万文対、英仏約3600万文対で翻訳を評価した。本文の表では大きいモデルが英独でBLEU 28.4、英仏で41.0を得た。BLEUは機械訳と参照訳の語句の一致を集計する指標で、英独では既報の最良結果を2点超上回ったと報告する。
大きいモデルの学習は8基のP100 GPUで3.5日だった。英語の構文解析にも適用し、WSJのみの学習ではF1 91.3、追加データを使う設定では92.7を報告する。入力内の要旨には英仏41.8とあるが、確認できた本文の表と説明は41.0で一致するため、その値を記した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語で届く保守手順を日本語の担当者が確認する前段階として、機械翻訳の下訳を作る。入力は段落ごとの英文、出力は対応する訳文と原文の段落番号にする。
担当者は安全に関わる数値や条件、部品名を原文と照らし、承認した訳だけを手順書に反映する。論文の実験は英語からドイツ語・フランス語への翻訳なので、英日翻訳への適用と品質は編集上の提案として扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず保守手順から短い段落を選び、承認済みの日本語訳と専門用語の対応表を用意する。現在の翻訳手順で作る下訳を基準に、Transformerを用いる候補の訳と同じ原文で比較する。
数値・単位・否定条件の保持、用語の統一、担当者による修正件数と修正時間を測る。段落の長さ別にも集計し、意味が変わる誤訳は一致度の平均に埋めずに個別に記録する。公開課題のBLEUをそのまま導入基準にしない。
限界と課題
本文では、自己注意は長い系列になると各位置の組を比べる負担が増えるため、近隣だけを参照する案を今後の課題としている。また訳文は前に出した語を使って次の語を生成するため、出力側には順番に進む計算が残る。
編集上の確認事項は、英日翻訳での専門用語、長文、数値と否定表現の誤訳である。示されたBLEUは公開翻訳課題での一致度を測った値で、保守文書を安全に使えるかを直接示すものではない。
出典
元のタイトル・要旨を確認する（英語）
Attention Is All You Need
The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29