表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

少数の対応例から多言語の文章を復元するLAGO――言語間の近さを使う攻撃

LAGO

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

LAGOの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 2: Illustration of LAGO vs. ALGEN  ( Chen et al., 2025b ) . Top : ALGEN treats each language independently. Bottom : LAGO leverages language similarity by introducing edge constraints in a joint distributed optimization framework.

出典:LAGO / arXiv ↗

概要

  • LAGOは言語間の近さをグラフで表し、少数の原文・ベクトル対応例から復元用の変換行列を共同で学ぶ。
  • 表1の英語からフランス語への条件では、対応例10件のRouge-LはALGENの10.07に対し、LAGOの全変動方式で10.87だった。
  • 実務でのリスク評価には、対象文書とモデルを使い、復元文の一致度に加えて機密情報の再現を確認する必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、LAGOの仕組み

左から右へ読む
  1. 01原文と二種のベクトル
  2. 02言語グラフ作成
  3. 03変換行列を共同学習
  4. 04ベクトルから文章生成

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

LAGOは、文章を表す埋め込みベクトルから元の文章を推測する攻撃を、多言語かつ少数の対応例で行う方法である。検索などで使うベクトルから内容を復元できれば、原文を保存・共有していない場合にも情報管理上の問題になる。

専門分野やデータの少ない言語では、原文とベクトルの組を十分に集められないことがある。そこで著者らは、ある言語で学習した復元用の文章生成器を別の言語へ転用する際、言語間の近さが役立つかを調べた。

手法

LAGOは、同じ原文から得た攻撃対象側と攻撃側の埋め込みベクトルを、言語ごとの対応例として使う。語彙上または文法上の距離が設定値より小さい言語同士を結び、言語を点、つながりを線とするグラフを作る。本文では距離の候補としてASJPとLang2vecを扱う。

次に、対象側のベクトルを文章生成器用のベクトルへ写す変換行列を各言語で学ぶ。近い言語の行列の差に上限を設けるか、差に罰則を加え、変換後のベクトルから文章を生成する。例えば英語で学習した生成器でフランス語の文を復元する際、フランス語の少数の対応例と、グラフでつながる言語の行列を学習に使う。

新規性

LAGOの新規性として著者らが挙げるのは、言語間の語彙・文法上の近さをグラフに表し、近い言語の変換行列を共同で学ぶ点である。対応例が少ない言語の学習に、つながる言語の情報を反映させる。

行列間の差に上限を設ける方式と、差に罰則を与える方式を示した。制約を緩めると、各言語を独立に扱うALGENに相当すると著者らは説明する。

従来手法との違い

比較対象のALGENは、攻撃対象のベクトルを文章生成器が受け取るベクトルへ写す変換行列を、言語ごとに求める。文章生成器を転用するが、言語間の近さは行列の学習に明示的に使わない。

LAGOはこの学習に、近い言語の行列を結び付ける条件を加える。実験ではALGENに加え、行列の大きさに罰則を設けたALGENとも比較した。優劣を判断できる範囲は、本文で示された言語、モデル、対応例数などの条件に限られる。

実験結果

著者らは、英語のmMarcoで調整した文章生成器を使い、英語など七言語間の転用を検証した。対象の埋め込みモデルはmT5、E5、ada-2で、指標は変換後のベクトル間のコサイン類似度と、復元文と原文の語句の並びを比べるRouge-Lである。

表1の英語からフランス語への条件では、行列学習用の対応例が10件のとき、Rouge-LはALGENが10.07、LAGOの全変動方式が10.87だった。300件ではALGENが10.22、LAGOの不等式制約方式が12.31だった。フランス語の評価文の出所や分割の詳細は、確認できた本文の範囲では分からない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:多言語の社内文書を検索用の埋め込みベクトルに変える環境で、保存ベクトルから原文がどの程度推測されるかを調べる。埋め込みとは文章を表す数値列であり、入力には評価用原文と、同じ文から検索側・攻撃側のモデルで作った二種類のベクトルを使う。

原文を対応付けのラベルとして少数用意し、言語間の距離を選び、元言語で学習した文章生成器を対象言語へ適応させる。出力は復元文で、原文との一致や機密語の再現を人が確認する。センサー入力は使わない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象とする複数言語の文書から、原文をラベルとする少数の対応例を言語ごとに用意する。同じ文について検索側と攻撃側の埋め込みを作り、言語間の距離からグラフを組む。元言語で学習した文章生成器を用意し、二方式の変換行列を学習する。センサーは不要である。

比較基準は、同じ対応例と生成器を使い、言語ごとに行列を独立に求めるALGENとする。学習に使わない原文でRouge-Lとコサイン類似度を測り、対応例数ごとの差を記録する。機密語の再現も原文と照合し、グラフの設定を変えた結果を確認する。

限界と課題

確認できた本文の範囲では、著者らがLAGO固有の失敗条件を体系的に整理した記述はない。著者らは言語の組み合わせによる差について、文章生成器の学習品質と、言語グラフ上の距離が関係し得ると考察している。

編集上の検証事項は、業務文書でも同じ傾向が出るか、言語間の距離と接続の設定で結果がどう変わるか、復元された機密情報の影響をどう判定するかである。語句の重なりを測るRouge-Lだけでは、情報漏えいの影響は判断できない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

LAGO: Few-shot Crosslingual Embedding Inversion Attacks via Language Similarity-Aware Graph Optimization

We propose LAGO - Language Similarity-Aware Graph Optimization - a novel approach for few-shot cross-lingual embedding inversion attacks, addressing critical privacy vulnerabilities in multilingual NLP systems. Unlike prior work in embedding inversion attacks that treat languages independently, LAGO explicitly models linguistic relationships through a graph-based constrained distributed optimization framework. By integrating syntactic and lexical similarity as edge constraints, our method enables collaborative parameter learning across related languages. Theoretically, we show this formulation generalizes prior approaches, such as ALGEN, which emerges as a special case when similarity constraints are relaxed. Our framework uniquely combines Frobenius-norm regularization with linear inequality or total variation constraints, ensuring robust alignment of cross-lingual embedding spaces even with extremely limited data (as few as 10 samples per language). Extensive experiments across multiple languages and embedding models demonstrate that LAGO substantially improves the transferability of attacks with 10-20% increase in Rouge-L score over baselines. This work establishes language similarity as a critical factor in inversion attack transferability, urging renewed focus on language-aware privacy-preserving multilingual embeddings.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01