表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

ロシア語の難読化を含む要求・応答を判定する小型ガードモデル――評価データの重複と誤検知も確認

HiveTraceGuard-Pro

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理

概要

  • Qwen3-0.6Bを調整し、ロシア語・英語の要求と応答を安全・危険の二値で判定する。
  • 著者らの35モデル比較で19群の集約値は0.7432。公開16群だけでは他の4モデルが上回る。
  • ロシア語の注入評価集合には学習データとの重複があり、留保集合では無害な応答の誤検知が目立つ。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、HiveTraceGuard-Proの仕組み

左から右へ読む
  1. 01判定対象の発話
  2. 02役割付き入力
  3. 03判定語の採点
  4. 04安全・危険の出力

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

HiveTraceGuard-Proは、言語モデルに届く要求や生成済みの応答を、安全・危険に分ける小型モデルだ。元の指示を上書きしようとする「プロンプト注入」や、有害な依頼の言い換えを対象にする。

ロシア語の攻撃では、文字の置換、キーボード配列のずらし、記号の挿入などで表記が変わる。著者らは、従来の報告にはこうした入力の評価が少なく、同じ話題の無害な文章を誤って遮断しないかも重要だと位置付けた。

手法

Qwen3-0.6Bを基盤に、LoRAという少数の追加パラメータを学習する方法でロシア語・英語の判定向けに調整した。対話中の最後の対象発話を選び、要求なら回答生成前、応答なら配信前に判定する設計だ。安全・危険を表す二つの語の出力スコアを比べ、理由や危険分類を付けずに一つの判定を返す。

例えば文字置換を含むロシア語の質問も、対象発話として入力する。学習には有害文と、可能な場合は同じ話題の無害文を使い、双方に8種類の表記変更を加えた。危険と判定された後に遮断、拒否、書き直しのどれを行うかは、周辺のアプリが決める。

新規性

著者らの工夫は、有害な例に、可能な範囲で同じ話題の無害な例を対応させ、両方に8種類の表記変更を加えて学習した点にある。話題が同じでも判定を分けられるかを測る構成だ。

ロシア語と英語の要求・応答を、一つのモデルと共通の二値判定規則で扱う。安全・危険の語を生成して判定する方式自体は、著者らも既存の手法としている。

従来手法との違い

追加学習前のQwen3-0.6Bを用いた比較では、ロシア語robustness-testの要求側で有害文の見逃し率が0.93、本モデルでは0.114だった。ただし指示文や判定設定も変わるため、差を追加学習だけの効果とは特定できない。

同じ評価実行での19群の集約値は、本モデルが0.7432、他の0.6Bモデル2種が0.7200と0.7118。Qwen3Guard-Gen-0.6Bとの比較では、Aegis-2.0の要求・応答とToxicChatでは本モデルの値が低い。

実験結果

著者らは35モデルを19評価群で比較し、本モデルの集約値を0.7432と報告した。上位2モデルは0.7641と0.7552で、公開16群だけで集計すると本モデルは0.7153となり、他の4モデルが上回った。

15モデル比較では、著者らが作成したロシア語集合で通常表記のcombined-F1が0.88、プロンプト注入の再現率が0.999、同じ実行での処理時間の中央値が14.3ミリ秒だった。ただし注入集合には少なくとも27.1%の学習データ重複がある。別の留保集合では無害な応答71件中40件を危険と判定した。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:ロシア語と英語を扱う社内問い合わせ窓口で、利用者の質問を回答生成前に、生成した返答を配信前に判定する。入力は各発話の本文、出力は安全・危険の判定とし、危険判定を担当者の確認につなぐ。

公開された重みを試すだけなら追加の訓練データは要らない。業務向けに調整する場合は実際の質問と返答を集め、発話の役割と安全・危険のラベルを付ける。専用センサーは想定せず、返答をアシスタント発話として渡す経路を確認する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:まず追加学習せず、実際のロシア語・英語の質問と生成応答を発話の役割別に集め、人手で安全・危険の正解ラベルを付ける。入力はテキストなので専用センサーは想定しない。元の文章と文字置換した文章を分けて記録する。

現行の判定手順を基準に、同じ評価データで有害文の見逃し率、無害文の誤検知率、処理時間を比べる。業務データで調整するなら、訓練用と評価用の重複を除き、要求と応答の役割ごとの入力形式を確かめてから再測定する。

限界と課題

著者らは、ロシア語のプロンプト注入評価集合の少なくとも27.1%が学習コーパスと重複すると報告する。この集合の再現率を、独立した未知例での成績として扱えない。報告された応答評価は、返答を単独の利用者発話として渡す方式による。

編集上の検証事項として、開発後まで留保した集合では無害な返答71件中40件を危険と判定した点が重要だ。実際のアシスタント発話を渡す経路、長い対話履歴、公開済み重みに合わせて変化する攻撃での判定は、別途確かめる必要がある。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

HiveTraceGuard-Pro: A Compact Generative Guardrail for Prompt Injection, Jailbreaks, and Adversarial Obfuscation

Production LLMs must handle inputs that attempt to override system instructions, bypass safety policies or elicit harmful responses. A common mitigation is a separate guardrail model. Existing reports, however, provide little evidence on Russian prompt injection or Russian surface obfuscation. We present HiveTraceGuard-Pro, a 0.6B generative guardrail LoRA-tuned from Qwen3-0.6B. It is trained on Russian and English and uses one binary scoring rule (safe/unsafe) for the final target turn. Its training corpus pairs harmful examples, where a counterpart exists, with benign examples from the same domain and applies eight obfuscation transforms to both labels. In one harness, we compare HiveTraceGuard-Pro with thirty-four other guards on nineteen benchmark groups, sixteen of which are public. Its aggregate key is 0.7432, behind 0.7641 and 0.7552 for the two higher-scoring guards. Over the sixteen public groups alone, its key is 0.7153 and four of the thirty-four other suite guards score higher. In a fifteen-model comparison, HiveTraceGuard-Pro has the highest clean Russian robustness combined-F1 (0.88) and Russian prompt-injection recall (0.999). Both results use Russian sets assembled by our team, and at least 27.1% of the prompt-injection set overlaps the training corpus. Its 14.3 ms median latency is the lowest among those fifteen models in that run. Across the suite, FPR is 0.268 and FNR is 0.156. All reported response results use a legacy standalone-reply serialization rather than the natural assistant-role path of the shipped chat template. We release the merged weights on Hugging Face under Apache-2.0. The corpus, evaluation sets and evaluation code remain internal.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01