表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

危機時の少数言語翻訳をどう育てるか:対訳収集とNLLB追加学習の検証

adaptMLLM

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

adaptMLLMの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Community corpus development using custom GPTs from a range of foundation models.

出典:adaptMLLM / arXiv ↗

概要

  • 著者らは、危機の初期に翻訳と対訳収集を始め、集まったデータで翻訳モデルを追加学習する手順を提示した。
  • 既存のCOVID関連データで評価した追加学習済みNLLBのBLEUは、英語・アイルランド語と英語・マラーティー語の四方向で共有タスク上位システムを上回った。
  • 評価指標によって順位は変わり、事前学習データと評価文の重複を確認しにくい点も著者らが挙げる制約である。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、adaptMLLMの仕組み

左から右へ読む
  1. 01COVID関連の対訳
  2. 02NLLBを追加学習
  3. 03新しい原文を翻訳
  4. 04対象言語の訳文

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

危機時の案内では、必要な情報を早く届けるとともに、新しい用語を正確に訳す必要がある。機械翻訳は文を別の言語へ自動変換する技術だが、翻訳に使える対訳が少ない言語では、危機に固有の表現を学習させにくい。

著者らはCOVID関連の文を題材に、英語とアイルランド語、英語とマラーティー語を扱った。発生直後に使う翻訳手段から、対訳を集めた後に作る専用モデルまでを一つの手順として検討している。

手法

著者らの構想では、危機の初期にcustom GPTを設け、言語の専門家らが原文と確認済みの訳文を入力する。会話履歴などから対訳を集め、重複を除いて学習用・調整確認用・評価用に分ける。調整確認用は学習中の設定確認に、評価用は最後の性能確認に使う。

実験では、この地域参加型の収集過程とは別に、LoResMT2021のCOVID関連対訳を使い、adaptMLLMで事前学習済みのNLLBを追加学習した。これは既存モデルを特定の翻訳課題に合わせて調整する操作である。例えば、英語の案内文と確認済みのアイルランド語訳の組で学習し、新しい英語文からアイルランド語の翻訳案を出す。

新規性

著者らは、危機の初期にcustom GPTで翻訳を支援しながら対訳を集め、データの蓄積に応じて翻訳モデルを追加学習する段階的な手順を提示した。対訳とは、原文とそれに対応する訳文の組である。

実験では、COVID関連の既存データを用い、adaptMLLMで追加学習したNLLBを英語とアイルランド語、英語とマラーティー語の双方向で評価した。地域の協力者から集めた対訳で同じ結果を得た、という実証ではない。

従来手法との違い

著者らは、追加学習前のNLLB、GPT-4の通常利用とcustom GPT-4、追加学習したGPT-3.5、LoResMT2021共有タスクの各方向の上位システムを比較した。NLLBは多言語翻訳向けの事前学習モデルである。

追加学習したNLLBのBLEUは、対象とした四方向でこれらの比較対象を上回った。ただし指標によって順位は異なる。アイルランド語→英語では、誤り率を表すTERと文字列の一致をみるChrF3で、GPT-4系が追加学習したNLLBより良い値を示した。

実験結果

著者らはLoResMT2021のCOVID関連データで四方向を評価した。学習用対訳は英語・アイルランド語が13,171組、英語・マラーティー語が20,933組。BLEUは参照訳との一致を測る指標で、ここでは大文字と小文字を区別せず、文集合全体で計算している。

追加学習したNLLBのBLEUは英語→アイルランド語41.2、逆方向75.1、英語→マラーティー語26.4、逆方向52.6だった。対応する共有タスク上位システムは順に36.0、34.6、24.2、31.3。英語→アイルランド語のChrF3はNLLBが0.48、共有タスク上位システムが0.60で、BLEUと同じ順位にはならない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:自治体の感染症案内を英語から地域で使う言語へ訳す。入力は公開前の原文、専門家が確認した訳文との対、用語の確認結果とし、出力は担当者が照合できる翻訳案とする。文書を扱うためセンサー入力は想定しない。

対象言語の協力者と翻訳担当者が対訳を蓄積し、初期の案は人が確認する。学習用の対訳が増えた段階で対象言語向けにモデルを追加学習し、公開前に再確認する。必要な対訳量や収集期間は、この実験結果だけでは決められない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象言語を一つ選び、実際の案内に近い原文と専門家が確認した訳文を対にして集める。危機用語の確認結果も記録し、学習用と評価用を分けて文の重複を点検する。入力は文書と正解訳で、センサーは使わない。

まず追加学習前のNLLBを基準とし、同じ学習用対訳で調整したモデルに同一の評価文を訳させる。BLEU、TER、ChrF3に加え、対象言語の確認者が重大な誤訳の件数と修正時間を記録する。TERは参照訳に近づけるための編集量を表し、低いほど良い。

限界と課題

著者らは、NLLBやGPT-4の事前学習データの内訳が分からず、評価文などとの重複を特定して除くことが難しいと述べる。また、危機固有の対訳を集め、その品質を確保することも課題として挙げている。

編集上の検証事項は、対象地域の言い回しや新しい用語が正しく伝わるか、確認作業に何時間かかるかである。英語→アイルランド語のChrF3は追加学習したNLLBが0.48、共有タスク上位システムが0.60で、本文の改善を述べる記述と整合しない。この指標については表の値を優先して読む必要がある。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Leveraging LLMs for MT in Crisis Scenarios: a blueprint for low-resource languages

In an evolving landscape of crisis communication, the need for robust and adaptable Machine Translation (MT) systems is more pressing than ever, particularly for low-resource languages. This study presents a comprehensive exploration of leveraging Large Language Models (LLMs) and Multilingual LLMs (MLLMs) to enhance MT capabilities in such scenarios. By focusing on the unique challenges posed by crisis situations where speed, accuracy, and the ability to handle a wide range of languages are paramount, this research outlines a novel approach that combines the cutting-edge capabilities of LLMs with fine-tuning techniques and community-driven corpus development strategies. At the core of this study is the development and empirical evaluation of MT systems tailored for two low-resource language pairs, illustrating the process from initial model selection and fine-tuning through to deployment. Bespoke systems are developed and modelled on the recent Covid-19 pandemic. The research highlights the importance of community involvement in creating highly specialised, crisis-specific datasets and compares custom GPTs with NLLB-adapted MLLM models. It identifies fine-tuned MLLM models as offering superior performance compared with their LLM counterparts. A scalable and replicable model for rapid MT system development in crisis scenarios is outlined. Our approach enhances the field of humanitarian technology by offering a blueprint for developing multilingual communication systems during emergencies.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01