アーカイブ / LLM / AI Agent
AIは少数の例から未知の規則を作れるか:常識を測る課題設計の提案
Axiomatic Litmus Test for Common Sense
概要
- 既知の規則と課題の基本条件から導けない規則を要する課題を作り、少数例から解けるかを調べるテストを提案する。
- ARC型の格子課題への適用を論じ、ARCの訓練課題400件とテスト課題400件に言及するが、提案したテストの実測成績は示していない。
- 実務で試す際は、課題が既知の規則でも解けないか、正答時の規則説明が出力と整合するかを別途確認する必要がある。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Axiomatic Litmus Test for Common Senseの仕組み
- 01既知規則と環境条件
- 02未知規則の課題作成
- 03少数例と最終入力
- 04新規則の推定
- 05出力格子
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この論文は、AIが見慣れない規則に対応できるかを測る課題を提案する。正答しても、学習済みの解き方を組み合わせただけなのか、その場で新しい規則を考えたのかは分かりにくい。
著者は、この違いを調べることがAIの「常識」を評価する手掛かりになると考える。もっともらしい誤答や説明への懸念も動機に挙げるが、提案した課題によって安全性が改善したという実測結果は示していない。
手法
まず、評価対象が使える既知の変換規則と、課題の基本条件を定める。著者は、事前に認める基礎的な知識を「最小限の事前知識」と呼ぶ。次に、既知の規則と基本条件からは導けない規則を要する課題を設計し、大量の追加学習を認めず、限られた例や合否の手掛かりを与える。
格子を変換するARC型の例では、変換前後の格子を2~3組見せ、最後の入力格子に対応する出力を求める。対象は例に共通する規則を推定し、最後の格子に適用する。「対角的」とは、列挙した規則の外に課題を置くという著者の設計上の考え方であり、正答だけで規則の発見が証明されるわけではない。
新規性
著者の提案は、評価対象の既知の規則と課題の基本条件を先に定め、その組み合わせからは導けない規則を必要とする課題を作る点にある。著者はこれを「対角的」な課題設計と呼ぶ。
少数の例だけで解けた場合に、新しい概念を作った可能性を調べる枠組みである。ただし、既知の規則の外にあることや、正答の理由まで確定できる手順は示されていない。
従来手法との違い
著者が対比するのは、学習済みの変換規則を組み合わせて解く方法である。提案する課題では、列挙した既知の規則だけでは答えを導けないよう設計し、少数の例を見た後の解答を調べる。
確認できた本文の範囲では、既存方式と提案方式の比較実験はない。両者の正答率や費用の差を示した研究ではなく、未知の規則を扱う力をどう試すかという評価設計の提案である。
実験結果
確認できた本文の範囲では、提案したテストの実施結果や正答率は示されていない。著者は適用先として、格子の変換を扱うARCを挙げ、その構成を訓練課題400件、テスト課題400件と記している。
本文にある「2~3組の例と最後の入力」は、未知の規則を試すための想定手順である。新たに作成した課題の件数、対象モデル、採点方法、比較対象ごとの成績は示されていないため、この提案の判定力を数値で評価することはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内の図表変換AIを対象に、新しい表示規則を少数例から読み取れるか試す。入力は、社内の図表を模した格子の変換前後の例と、最後に変換する格子とする。出力は変換後の格子と、用いた規則の説明である。
課題作成には、元となる図表データ、正解の変換結果、既存システムが扱う規則の一覧が必要となる。正解格子をラベルとして用い、追加センサーは想定しない。実務形式に合わせて規則と例を作り直す必要があり、成績が実業務の精度を保証するものではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:まず社内の格子状の図表データから、入力と正解の出力をそろえ、既存システムが扱う変換規則を一覧にする。その規則で解ける課題を比較基準とし、一覧にない規則を使う候補課題を別に作る。
各候補では少数の例を示し、最後の出力が正解格子と一致する割合、規則の説明と出力の整合、分からない場合の申告を記録する。正解格子をラベルとし、追加センサーは想定しない。課題を実務形式に調整した後、別の既知規則でも解けないか人手で点検する。
限界と課題
著者は、大規模言語モデルが学習で得た知識を網羅的に列挙しにくく、課題の規則が本当にその外にあると保証するのは難しいと述べる。また、正答時に新しい規則をどう推定したかの確認も未解決の課題として挙げる。
編集上の検証事項として、候補課題が既存課題と重複しないか、別の単純な規則でも解けないかを調べたい。誤答にもっともらしい説明が添えられても、それだけで意図的な欺きとは判定できない。
出典
元のタイトル・要旨を確認する(英語)
Towards A Litmus Test for Common Sense
This paper is the second in a planned series aimed at envisioning a path to safe and beneficial artificial intelligence. Building on the conceptual insights of "Common Sense Is All You Need," we propose a more formal litmus test for common sense, adopting an axiomatic approach that combines minimal prior knowledge (MPK) constraints with diagonal or Godel-style arguments to create tasks beyond the agent's known concept set. We discuss how this approach applies to the Abstraction and Reasoning Corpus (ARC), acknowledging training/test data constraints, physical or virtual embodiment, and large language models (LLMs). We also integrate observations regarding emergent deceptive hallucinations, in which more capable AI systems may intentionally fabricate plausible yet misleading outputs to disguise knowledge gaps. The overarching theme is that scaling AI without ensuring common sense risks intensifying such deceptive tendencies, thereby undermining safety and trust. Aligning with the broader goal of developing beneficial AI without causing harm, our axiomatic litmus test not only diagnoses whether an AI can handle truly novel concepts but also provides a stepping stone toward an ethical, reliable foundation for future safe, beneficial, and aligned artificial intelligence.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




