推薦モデルの改良部品を蓄積して再利用するEvoSkillRec
- 推薦モデルを、入出力の型と実装を持つ再利用可能な部品に分解する。
- 既存部品の組み替えと、言語モデルによる新部品の提案を併用する。
- 著者らは推薦の複数課題で有効性を報告し、品質と計算効率を同時に扱う評価も行った。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
誤答を褒める判定器に、監査の正解情報で対処する
- 判定器が誤答を受け入れると、報酬の上昇と正答率の低下が同時に起こり得る。
- 通常のRLVRで見える情報だけでは、誤受理の検出や特定を一般には保証できない。
- 著者らは、部分的な正誤監査を使う補正で誤受理の減少と正しさの向上を報告した。
長い文脈の参照先を代表キーで選ぶSANTA++
- 代表キーでKVキャッシュの読み取り先を選び、選んだチーム内は正確に計算する。
- LongBench v2では、密な注意計算の点数の99.07%を、16.68%の論理的KV読み取り量で保った。
- 演算子の速度測定では1.69倍だったが、準備処理は測定に含まれない。
道具の組み方から動かし方まで探すロボット向け設計法HOT
- HOTは道具の構造探索に、シミュレーションで確認した作業進捗を反映する。
- 四課題で約1万〜1.2万候補を評価し、最大約5,578万通りの空間から成功構造を見つけた。
- 著者らは、改良した道具を3D印刷し、実ロボットで四課題を達成したと報告する。
画像補正の操作量をまとめて生成するFlowTool
- 画像と文章の指示から、編集ツール用の数値パラメータを直接生成する。
- 著者らは四つの評価群で、参照画像を用いる評価の優位性を報告した。
- 比較対象に対し、推論遅延は少なくとも50倍削減、必要メモリは約半分と報告している。
短い行動履歴から次の商品を予測する――畳み込みを組み直したNextConvRec
- 商品遷移とセッション間の関係を前処理し、畳み込みで次の商品候補を順位付けする。
- 著者らは四データセットで平均約1.73％の性能改善と、平均16.7％の推論時間短縮を報告した。
- SportsのHR@20では比較方式を下回り、導入時は閲覧列の長さや対象商品に分けた検証が必要。
モデルの正答だけを再現しても説明は足りない――回路評価に誤答の一致率を加える
- 回路の説明力を見るには、モデルの正答だけでなく、同じ誤答を再現する割合を測る。
- GPT-2 smallのIOIでは、正答例の一致率97.3〜99.5％に対し、誤答例は11.4〜41.7％だった。
- 省いた注意ヘッドの追加で誤答再現は改善したが、誤答一致だけで仕組みの説明が完成するわけではない。
巨大な内部値はなぜ残り続けるのか――Transformerの「読まないが書き込む」経路を調べる
- 巨大活性が残る仕組みとして、入力では読み取りが弱く、出力では書き込みが続く非対称性を報告した。
- 四つのモデルで分析し、学習途中では読み取りの弱さがFFNの増幅特徴より先に現れた。
- 一つの読み取り経路を制約しても巨大活性は残り、圧縮への有効性は別途検証が必要。
森林内を飛ぶドローンの自己位置推定をどう比べるか――実飛行データセットForVis
- ForVisは森林での12飛行について、二種類のカメラの映像と慣性データを収録した。
- 七方式を計504回評価し、利用可能な軌跡はOAK-D Pro Wideで244／252回、D435iで228／252回だった。
- 樹冠下は高精度な基準軌跡が得られず、帰着位置のずれを代理指標とするため、誤差の解釈に注意が必要。
カメラを動かしても被写体が動く動画へ――場面ごとのトークンを学習するDynaTokens
- 場面ごとの追加トークンを少数の見本軌跡から学び、基盤モデルの重みは固定する。
- 著者らの評価では、動きに関する指標が既存モデルや複数の適応手法を上回り、カメラ制御指標はおおむね維持された。
- 導入時は未知のカメラ軌跡で、動作と視点制御を別々に検証する必要がある。
文書画像を再処理せず、検索質問だけを小さなモデルへ蒸留する
- 教師のページ索引を維持し、質問を処理する部分だけ１億4,900万パラメータの学生に置き換える。
- ５種類の教師でViDoReの検索得点をおよそ95％維持し、質問符号化は最大約26倍速かった。
- 学習時にページ画像を読まず、比較対象のスコア蒸留より保存済み教師データの読み出し量を12.6倍減らした。
エージェントの手順書を必要時だけ読むと、トークンと手順選択はどう変わるか
- スキルの名前と説明を先に示し、選んだスキルの本文だけを後から読む方式を検証した。
- 手順数50、Qwen3-14Bでは平均トークン数が81.7％減り、確認コードを含む正答率も上昇した。
- 追加のモデル呼び出しで遅くなる例があり、モデルと手順数によって正答率が下がる条件もあった。