制度を明示するかで変わる、LLMの道徳的判断の言語差
- ９言語、６つのLLM、事前登録された二つの研究で、制度が関わる道徳的判断の言語差を調べた。
- 制度的な状況を明示した第１研究では、言語間の判断差は増えず、言語共同体間の制度上の違いにも対応しなかった。
- 制度を明示しない曖昧な事例では対照事例より言語間の差が増えたが、確認できた本文には効果量などの数値がない。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
文書画像を単語の索引で探すV-SPLADE、検索時の質問モデル処理を省く
- ページ画像を単語ごとの疎な重みに変え、転置索引と質問語の重み表で検索する。
- 著者らの6ベンチマーク平均NDCG@5はquality設定で60.1、同規模のBiModernVBERTは46.3だった。
- 画像説明文は学習時の手掛かりに使い、検索時の説明文生成と質問のニューラル処理は行わない。
画像の見間違いと根拠のない断定を分けて測る視覚言語モデル評価法
- CoSimUEは、共起による思い込み、視覚的な類似による取り違え、証拠不足での断定を分けて評価する。
- 著者らは画像1,012枚と質問1,124件を用い、追加学習のない条件で複数モデルを比較した。
- 例示された2モデルでは、画像対の正答率と不確実性スコアで順位が異なった。
生成中の回答から報酬モデルを更新するSAVE：設問ごとの期待得点を基準に選別
- SAVEは、生成中の回答の得点を設問ごとの期待得点と比べ、報酬モデルの更新に使う。
- 著者の６指標評価では、Qwen3-4B-Instruct-2507とGRPOを使う条件の平均が、初期モデルの76.0から77.3になった。
- 社内規程への応用には、選好ラベル付き回答対での初期学習と、規程本文に照らした独立評価が必要である。
同じ問題の解答長の偏りを抑え、LLMの強化学習を速めるDARTS
- DARTSは同じ問題から余分に解答を生成し、短い解答を主に選びながら長い解答も少数残して学習する。
- 過去の解答長のばらつきに応じて、問題ごとの候補生成数を配分する。
- 著者らは学習全体で最大1.77倍の高速化とモデル性能の維持を報告するが、確認できた本文には個別条件の結果表がない。
非公開の選好比較から合成データを作り、言語モデルの調整に使うDPPrefSyn
- 非公開の質問・二回答・選好ラベルから集団別の好みを学び、公開質問を使って合成比較データを作る。
- 著者らはAnthropic-HHで、ε=2の合成データによるPythia-2.8BのGPT-4o勝率を56.48%と報告する。
- 公開質問の適合性と、集団の件数分布がプライバシー保証にどう含まれるかの確認が導入時の論点となる。
予測市場の結果判定、３モデルの独立投票は討論を上回るか
- KalshiBench v2の解決済み設問1,189件で、確信度を加味した独立投票の精度は83.43％。最良の単一モデルDeepSeekを1.01ポイント上回ったと著者は報告した。
- 他モデルの理由を読んで再判定する討論方式の精度は約76％で、著者の比較では各単一モデルより低かった。
- 全員一致かつ高確信度の設問に自動判定を限ると、全体の47％を対象に97.87％の精度だった。
同じアルゴリズム課題を言語別に解き、LLMの能力差を調べるXLGoBench
- 同じ基礎課題を異なる言語で提示し、客観的な正誤判定でLLMの言語間の能力差を調べる。
- 著者らは複数の最先端モデルで持続的な成績差を報告するが、確認できた本文には対象言語や成績の数値がない。
- 対象課題で成績差があれば能力差の手掛かりになる一方、差がなくても他の課題での能力差は否定できない。
質問ごとにLLMを選ぶOrcaRouter：全候補の事前評価と選択後の評価をつなぐ
- 質問の語句や意味を数値化し、候補LLMごとの予測に基づいて一つを選ぶ。
- 事前学習では全候補の評価を使い、運用中は選んだ候補の評価だけで更新できる。
- 著者らの提出版はRouterArenaでArenaスコア72.08、正答率75.54％、費用は1,000件当たり1.00米ドルだった。
社内文書を使う調査エージェントは、外部検索語から何を漏らすか
- 外部検索語を積み重ねると、社内文書の情報を推測できる場合がある。
- MosaicLeaksは社内文書と公開文書をつなぐ1,001件の連鎖課題で、回答の正しさと検索語からの漏えいを測る。
- 著者らの評価では、Qwen3-4B-InstructにPA-DRを適用すると、連鎖課題の成功率は48.7％から58.7％へ、回答または完全情報の漏えいは34.0％から9.9％へ変わった。
作業を小さな動作に分けて学ぶと、少数の実演から新しい組み合わせを実行できるか
- 同じ実演を基本動作ごとに分けて学習すると、既知の動作を組み合わせる未学習課題で少数実演からの成功率が上がった。
- REASSEMBLEで実演3件を渡した成功率は、分割学習が0.62～0.66、平坦学習が0.31～0.34だった。
- 実験はシミュレーションであり、学習にない種類の基本動作を要する課題では利点が見られなかった。
ツール応答の何番目に攻撃文が入るか――ReActエージェントの誘導リスクを測る
- 20場面の試験で、GPT-4o-miniへの攻撃成功は１番目のツール応答で60％、２番目で20％、３番目で10％だった。
- ４・５番目の０％には、通常の作業列が３手順で攻撃文に届きにくいという条件が関わる。
- 文面による成功率の差は見られたが、各条件20件では統計的に有意とは言えなかった。