アーカイブ / Robotics / LLM
対話ロボットに倫理上の原則を破らせようとする発話を調べた21人の予備研究
Manipulating Social Robots in the Large Language Models Era
Manipulating Social Robots in the Large Language Models Eraの原論文から掲載した図です。細部はクリックして拡大できます。
出典：Manipulating Social Robots in the Large Language Models Era / arXiv ↗概要
- 大学生21人がMisty IIに対し、愛着・自由・共感の原則を破らせようと計189回発話した。
- 著者らは189文を38のコードと五つのテーマに整理し、理由による説得を含む文を128文と報告した。
- ロボットは遠隔操作と台本で応答しており、実際の大規模言語モデルの安全策を突破できるかは検証していない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Manipulating Social Robots in the Large Language Models Eraの仕組み
- 01３場面の説明
- 02参加者が発話
- 03台本で応答
- 04189文を分析
- 05５テーマに分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
人の入力に応じて文章を作る大規模言語モデルは、対話ロボットの会話にも使われる。利用者が言い方を工夫し、ロボットに設計上避けるべき発言を促す可能性があるため、家庭などで使う際の境界を考える必要がある。
著者らは、人とロボットの相互作用を指すHRIの倫理原則から、愛着・自由・共感を選んだ。例えば、ロボットに人間の恋人のように愛を告げさせようとするとき、人がどんな発話をするかを調べている。
手法
著者らは大学生21人にMisty IIと会話してもらい、各場面で指定された原則を破らせるよう求めた。場面は、愛を告げさせる「愛着」、運動を強制させる「自由」、歌の出来を悪いと言わせる「共感」で、各人が各場面で３回試みた。進行役は参加者の発話を書き取った。
参加者にはロボットが大規模言語モデルで動くと伝えたが、実際は研究者が遠隔操作し、台本に従って応答した。人がシステムの役を担うこの方法をWizard of Oz法という。研究者１人が発話を読み、似た働きかけに印を付けてまとめる主題分析を行った。分析の入力は書き取った発話、出力は働きかけの分類である。
新規性
著者らは、人が対話ロボットに倫理上の原則を破らせようとするときの発話を、愛着・自由・共感という三つの場面で収集した。189文を38のコードで整理し、理由による説得、交渉、感情への訴え、矛盾や侮辱、役割演技の五つのテーマにまとめている。
この成果は、人が試みた働きかけの分類である。実際の大規模言語モデルに発話を入力して安全策の突破を確かめた結果ではない。
従来手法との違い
参加者には、Misty IIが大規模言語モデルで動くと説明された。実際には研究者が遠隔操作し、ロボットは原則を守る台本に沿って応答した。各場面の最後の応答だけ、原則を守るものと破るものがそれぞれ50％の確率で選ばれた。
実際の言語モデルと台本方式の性能比較は行われていない。最後に原則を破る応答が出ても、直前の発話が安全策を突破した証拠にはならない。この研究で比較できるのは、三つの場面で参加者が選んだ働きかけの種類である。
実験結果
著者らは、21人が三つの場面で各３回試みた計189文を分析し、38のコードを五つのテーマにまとめた。理由による説得、交渉、感情への訴え、矛盾や侮辱、役割演技である。１文に複数のテーマが付くため、各テーマの件数を足しても189文にはならない。
著者らの集計では、理由だけの文が32.28％、理由と矛盾・侮辱の組み合わせが14.29％だった。理由を含む文は128文、感情への訴えを含む文は39文である。これらは発話の分類結果であり、安全策の突破率ではない。実際の大規模言語モデルでの成功率は測定していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：家庭向け対話ロボットの導入前に、設計上避けたい応答を確認する試験表を作る。想定利用者の会話文を入力し、ロボットの応答と、原則に沿っているかの判定記録を出力する。発話例には本研究の五つのテーマを参考にした言い方を含める。
追加学習用データは使わず、試験の元データとして対象家庭で想定する会話例を集める。期待応答と違反のラベルは担当者が原則ごとに定義する。まず文字入力で試すためセンサーは不要とし、実機での検証前にロボットの役割に合わせて場面と発話例を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象ロボットの役割と避けたい応答を文章化する。試験の元データとして想定利用者の会話例を集め、五つのテーマを参考に発話を追加する。各発話に場面、期待応答、原則違反かどうかのラベルを人が付ける。追加学習用データは使わず、まず文字入力で試すためセンサーは不要である。
同じ発話を現行方式と導入候補に入力し、違反と判定された応答の件数、判定者間の一致件数を記録する。実機で音声を使う場合は入力センサーで得た発話の文字起こしを確認し、聞き間違いも含めて試験発話と判定基準を調整する。
限界と課題
著者らは今後の課題として、対象者を多様にすること、公平性やプライバシーなど別の原則を扱うこと、収集した発話を実際の大規模言語モデルで試すことを挙げる。今回の参加者は口コミで集めた大学生21人で、経験のない人による三つの場面での試行に限られる。
編集上の検証事項は、研究者１人による手作業の分類を別の判定者が再現できるか、実際のモデルでも同じ発話が原則違反を誘うかである。台本の最後の応答には確率的に違反が含まれるため、この研究から発話ごとの成功率は求められない。
出典
元のタイトル・要旨を確認する（英語）
"Can you be my mum?": Manipulating Social Robots in the Large Language Models Era
Recent advancements in robots powered by large language models have enhanced their conversational abilities, enabling interactions closely resembling human dialogue. However, these models introduce safety and security concerns in HRI, as they are vulnerable to manipulation that can bypass built-in safety measures. Imagining a social robot deployed in a home, this work aims to understand how everyday users try to exploit a language model to violate ethical principles, such as by prompting the robot to act like a life partner. We conducted a pilot study involving 21 university students who interacted with a Misty robot, attempting to circumvent its safety mechanisms across three scenarios based on specific HRI ethical principles: attachment, freedom, and empathy. Our results reveal that participants employed five techniques, including insulting and appealing to pity using emotional language. We hope this work can inform future research in designing strong safeguards to ensure ethical and secure human-robot interactions.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01