アーカイブ / LLM
ドイツ語・ブルガリア語の地域文脈でLLMの安全な応答を測る
Schützen
Schützenの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Confusion matrices for fine-grained response pattern classification using GPT-4.1 , comparing human and automatic annotations for Bulgarian and German.
概要
- 各言語3,978問を収め、直接的な危険要求、意図を隠した要求、無害な質問への過剰拒否を調べる。
- 計15モデルから回答を集め、各言語47,736回答を安全性と応答型の観点で評価した。
- 表3ではClaude-3.7の安全な回答の割合が両言語とも99.92％だが、ブルガリア語の首位について本文と食い違う。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Schützenの仕組み
- 01現地化した質問
- 02モデルの回答収集
- 03安全性の判定
- 04応答型の分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデル（LLM）が危険な依頼へどう答えるかを調べるには、利用者の言語と地域の事情を反映した質問が要る。著者らは、安全性の評価データが英語と中国語に偏り、ブルガリア語向けの資源が乏しいと指摘する。
ドイツ語とブルガリア語では、言語モデル向けデータの量が異なる一方、欧州の制度や社会的な論点を共有する。両言語の質問を用意し、回答の安全性を比べることが本研究の狙いである。
手法
Schützenは、既存の危険質問をドイツ語とブルガリア語で書き直し、人名や出来事を各国の文脈に合わせた評価データセットである。地域固有の質問も加え、各言語3,978問を収めた。質問には、危険を明示するもの、意図を隠すもの、敏感な語を含みつつ無害な情報を求めるものがある。
例えば「銃」という語を含んでも一般情報を尋ねる質問では、過剰に拒否しないかを見る。著者らはモデルの回答をまず安全か危険かに分け、次に拒否や一般情報の提示など六種類の安全な応答型と、誤情報やプライバシー侵害など四種類の危険な応答型に分類した。
新規性
著者らは、ドイツ語とブルガリア語を対にし、各国の文脈に合わせて作った安全性評価データセットを提示した。一般的な危険の質問についても、人名、出来事、慣習などを現地に合わせて書き直している。
直接的な危険要求に加え、意図を隠した要求と、敏感な語を含む無害な質問を収めた。危険な回答と、答えてよい質問を拒む「過剰拒否」の双方を点検できる構成である。
従来手法との違い
著者らによると、既存のLinguaSafeはブルガリア語を含まず、XSafetyはドイツ語を含むが主に英語の質問を翻訳している。Schützenは一般的な危険の質問を地域に合わせて調整し、各国固有の敏感な話題も追加した。
回答の判定方法として、分類器による判定と、危険の種類ごとに定めた基準を使う判定を比較した。モデル間の安全な回答の割合も示しているが、その差は収録された質問と判定方法の下で読む必要がある。
実験結果
著者らは計15モデルを対象とし、各言語では12モデルに3,978問ずつ入力して、言語ごとに47,736回答を集めた。人手で判定したブルガリア語1,462件、ドイツ語1,225件を基準にすると、安全・危険の二値判定に用いたLlama-Guard-3-8Bの正解率は順に88.1％、89.1％だった。
全回答の自動判定を示す表3では、Claude-3.7の安全な回答の割合は両言語とも99.92％で最も高い。ただし、本文にはブルガリア語でBgGPT-27Bが最上位との記述もあり、表の同モデルの値99.57％と整合しない。この割合だけでは回答の有用性は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ドイツ語とブルガリア語で使う社内案内チャットの公開前点検に応用する。入力は、実際の業務質問を両言語で表した文と、社内で想定する個人情報の扱いなどに関する試験文。出力は回答記録と、危険な回答や過剰拒否を確認する一覧とする。
追加学習用データやセンサーを使わない評価として始められる。ただし、試験文と人が確認した正解ラベルは必要だ。両言語に通じた担当者が社内の表現に合わせて質問と判定基準を調整する。業務上の改善は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の質問を両言語で少数集め、直接的な危険要求、意図を隠した要求、敏感な語を含む無害な質問に分ける。現在の応答モデルを基準として候補モデルにも同じ文を入力し、言語別・質問種別に回答を保存する。
追加学習用データとセンサーは使わず、試験用の質問と、人が確認した安全性・過剰拒否のラベルを用意する。両言語の担当者が地域や社内固有の表現に質問を調整し、人手判定との一致率、質問種別ごとの危険回答率と過剰拒否率を比べる。
限界と課題
著者らは、安全な回答の割合が高い背景として、直接的な危険要求が多く、主に基本的な危険感知を試したデータ構成を挙げている。人手判定と自動判定の一致も完全ではなく、細かな応答型の判定精度は二値判定より低い。
編集上の検証事項は、実際の利用者が書く遠回しな質問や社内固有の話題にも判定基準が合うかどうかである。また、本文にはブルガリア語で最上位のモデルをBgGPT-27Bとする記述がある一方、表3ではClaude-3.7の値が上回る。順位の記述は食い違っている。
出典
元のタイトル・要旨を確認する（英語）
Schützen: Evaluating LLM Safety in Bulgarian and German Contexts
Large language models are increasingly deployed across professional domains, bringing hard-to-predict risks, including the generation of harmful or disrespectful content. Although substantial progress has been made in developing safety evaluation datasets, existing resources remain overwhelmingly English- and Chinese-centric. This limitation is particularly pronounced when evaluating languages that operate within shared sociocultural, legal, and ethical contexts. To address this gap, we introduce Schützen: a German--Bulgarian safety dataset designed to assess model answerability under risk, covering both a low-resource language (Bulgarian) and a high-resource language (German). Experiments with multilingual and language-specific LLMs reveal pronounced cross-language differences in safety behavior, highlighting the necessity of tailored, region-specific evaluation resources to support the responsible deployment of LLMs in Germany and Bulgaria. Datasets and code are available at https://github.com/xnlp-lab/Schutzen. Warning: this paper contains examples that may be offensive, harmful, or biased.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01