アーカイブ / LLM / RAG
新約聖書で学習したダオ語翻訳を創世記へ適用する：検索例文の量と選び方を検証
Hybrid NMT–LLM Post-Editing
Hybrid NMT–LLM Post-Editingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Hybrid Post-Editing Architecture. The workflow integrates two parallel streams. Center: The NLLB model, fine-tuned on the In-Domain (NT) corpus, generates an initial Translated Source Text (draft). Left: A Retrieval-Augmented Generation (RAG) module queries the combined corpus (Grammar Book + NT) to extract relevant examples for the Few-shot Prompt . Bottom: The LLM Post-Editor (Gemini) synthesizes the NMT draft, the original source, and the retrieved context to produce the final Post-edited Translation . Legend: Orange: Core objects (data and models) | | Green: Processing steps | | Red: Intermediate outputs | | Purple: Prompt configuration | | Gray: Final output.
概要
- 新約聖書の対訳で追加学習した機械翻訳モデルは、創世記の評価で27.11 chrF++だった。
- 単語単位で検索した対訳例と辞書を使う最終構成は、創世記で35.21 chrF++、19.88 spBLEUを記録した。
- 著者らの比較では、検索方法の違いより参照する対訳例の量が後編集の性能に強く関係した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Hybrid NMT–LLM Post-Editingの仕組み
- 01創世記の英語原文
- 02下訳と関連例を用意
- 03言語モデルで後編集
- 04ダオ語の修正訳
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
新約聖書の対訳で学習した機械翻訳を旧約聖書に使うと、語彙や文体の違いによって訳文の評価値が下がる。研究対象のダオ語では利用できるデジタル資料が乏しく、翻訳先の領域で十分な対訳を追加することも難しい。
著者らは英語原文の分析で、学習用の新約聖書にない語の割合が、新約の検証用では8.1％、旧約の評価用では25.9％だったと報告する。既存の対訳と文法資料を、未知の表現を含む翻訳にどう役立てるかが課題となる。
手法
まず、新約聖書の英語・ダオ語対訳で神経機械翻訳モデルを追加学習し、創世記の英語原文から下訳を作る。並行して、英語側の文全体または各単語を手掛かりに、新約聖書と文法書から関連する対訳例を探す。文法書から抽出した英語・ダオ語の辞書項目も参照情報として用意する。
原文、下訳、検索した対訳例や辞書項目を大規模言語モデルに渡し、下訳に必要な修正を加えさせる。外部資料を検索して出力時に参照する仕組みを検索拡張生成（RAG）という。例えば下訳に原文にない人物名が入った場合、原文と参照情報を照らして修正する。対訳例と辞書の量や組み合わせは実験設定によって変えている。
新規性
著者らの中心的な検証は、下訳の後編集に使う対訳例について、検索方法と例文の量のどちらが性能に強く関係するかを切り分けた点にある。文全体の類似度で選ぶ方法と、原文の各単語を手掛かりに選ぶ方法を比較した。
この実験条件では、例文を増やす効果が検索方法の違いより大きかった。単語単位の検索が最高のchrF++を得たものの、最良の文単位の方法との差は0.30点だった。
従来手法との違い
基準は、新約聖書の対訳だけで追加学習した機械翻訳モデルの創世記での出力である。著者らは、文法書の対訳も追加学習する方法、言語モデルによる直接翻訳、検索を使わない後編集、固定の５例を与える後編集とも比べた。
提案手法では入力ごとに関連する対訳例や辞書項目を選び、下訳の修正に使う。対訳例の検索では文単位と単語単位を比較したが、最良の設定同士を比べる際は、参照例文の量も異なることに注意が要る。
実験結果
著者らは新約聖書の対訳7,644節の95％を学習、５％を検証に使い、旧約聖書の創世記の最初の500節を評価した。chrF++は文字列の部分的な一致、spBLEUは細かく分けた語の一致を測る指標で、いずれも参照訳との一致度を示す。
機械翻訳だけのchrF++は新約の検証で36.17、創世記で27.11だった。創世記では、単語単位で検索した対訳例だけを使う後編集が35.28 chrF++、対訳例と辞書を併用した最終構成が35.21 chrF++、19.88 spBLEUと著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：旧版と新版がある技術マニュアルの翻訳確認に使う。入力は新版の原文、旧版の文ごとに対応付けた原文と訳文、訳語を対応付けた用語集とする。文章を扱う想定で、センサーは不要である。
旧版の対訳で翻訳モデルを対象の言語と文体に適応させ、新版の下訳を作る。関連する旧版の対訳と用語を添えて後編集し、原文・下訳・修正訳を翻訳担当者に渡す。品質向上は検証すべき仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：新版マニュアルの一章に対象を絞る。学習用には旧版の原文と訳文を文ごとに対応付けた対訳を、参照用には訳語の対応を示す用語集を準備し、評価用には新版の人手訳を別に確保する。文の対応と用語の誤りを点検してから、翻訳モデルを適応させる。
同じ新版原文について、下訳のみ、下訳と検索した対訳例、下訳と対訳例・用語集を比べる。人手訳との一致に加え、原文にない情報、用語の誤り、担当者の修正件数を記録する。例文数を変えたときの品質と処理時間も測る。
限界と課題
著者らが明記する限界は、英語からダオ語への一組の翻訳と、新約聖書から旧約聖書への移行だけを試した点である。対訳例と辞書の併用ではspBLEUが最高だった一方、chrF++は対訳例だけを使った場合よりわずかに低かった。
編集上の検証事項として、別の言語や文体でも同じ傾向が出るか、人が読んで意味が正しいかを確かめたい。例文を増やした場合の効果と、入力文量や処理時間の負担も対象業務ごとに測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Context Volume Drives Performance: Tackling Domain Shift in Extremely Low-Resource Translation via RAG
Neural Machine Translation (NMT) models for low-resource languages suffer significant performance degradation under domain shift. We quantify this challenge using Dhao, an indigenous language of Eastern Indonesia with no digital footprint beyond the New Testament (NT). When applied to the unseen Old Testament (OT), a standard NMT model fine-tuned on the NT drops from an in-domain score of 36.17 chrF++ to 27.11 chrF++. To recover this loss, we introduce a hybrid framework where a fine-tuned NMT model generates an initial draft, which is then refined by a Large Language Model (LLM) using Retrieval-Augmented Generation (RAG). The final system achieves 35.21 chrF++ (+8.10 recovery), effectively matching the original in-domain quality. Our analysis reveals that this performance is driven primarily by the number of retrieved examples rather than the choice of retrieval algorithm. Qualitative analysis confirms the LLM acts as a robust "safety net," repairing severe failures in zero-shot domains.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01