言い換えや条件変更でも指示を守れるか――IFEval++が測る回答の一貫性
- IFEval++はIFEvalの541問を各十問に拡張し、全問合格の組の割合をreliable@10で測る。
- 著者らが評価した46モデルのうち、GPT-5は元のIFEvalで95.9%、IFEval++のreliable@10で78.4%だった。
- 追加条件を付ける方式では追加した条件自体は採点しないため、業務への応用時は何を合格条件にするか確認が必要である。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
SCI：検索語と候補の表現をそろえ、索引の作り方も変える密検索手法
- SCIは検索語と候補を二つのエンコーダーに入れ替えて入力し、適合候補と不適合候補の関係を保つよう学習する。
- 索引の粗い分類には検索語側で変換した候補を使い、細かな表現には候補側の変換結果を使う。
- 著者らは公開データと電子商取引データでの改善を報告するが、確認できた本文から測定値や比較対象ごとの差は確認できない。
動画の動きを手掛かりに、将来映像とロボットの行動を予測するMotus
- 三つの専門器をつなぎ、入力条件に応じて行動列や将来映像を予測する。
- 光フローから潜在行動を学び、操作信号のない動画も事前学習に使う。
- RoboTwin 2.0の50課題で、著者らが報告した変動場面の平均成功率は87.02％だった。
取引データを絞り込み、類似事例と照らして不正リスクを判定する
- 重要項目を選び、分類値と数値の近さから判定済みの取引を検索して言語モデルに示す。
- 著者らの評価では、４データセットで直接判定よりF1とMCCが改善したが、専門分類器が強い設定も残った。
- 導入時は判定指標に加え、検索事例の妥当性と説明文を担当者が検証できるかを測る。
資料の抽出から文書作成までを画面上で組み立てるDocuCraft
- DocuCraftは、資料の抽出や要約などの操作を画面上でつなぎ、中間結果を確認しながら文書を作る仕組みである。
- 著者らは文書作成ツールの設計を五つの観点で整理し、複数形式の資料を扱う利用シナリオを示した。
- 確認できた本文には、DocuCraftの作業時間や正確さを既存手法と比べた数値はない。
文章で構成を考え、局所的な形状を組み立てるCoRe3D
- CoRe3Dは、文章で物体の構成を計画し、位置情報付きの局所的な3D符号を順に生成する。
- 学習では生成形状と複数視点の画像を四種類の評価器で採点し、文章と形状の生成を共同で調整する。
- 著者らのObjaverse説明文評価では、BLEU-1が24.02で、ShapeLLM-Omniの18.92を上回った。
行動の時刻差と順序を使い、次の項目を予測するFuXi-γ
- FuXi-γは行動の時刻差を連続的な重みに変え、項目の順序情報と合わせて次の項目を予測する。
- 著者らは4データセットで評価し、産業用音楽データでHR@10が25.06％、NDCG@10が42.86％向上したと報告する。
- 著者らは学習速度が最大4.74倍、推論速度が最大6.18倍と報告するが、提示範囲では各最大値の測定条件を確認できない。
複数ベクトル・属性フィルター・疎ベクトル検索は、どの条件で安定するか
- 著者らは、強い単一ベクトル安定性などの条件下で、複数ベクトル検索のChamfer距離が安定することを証明した。
- 属性フィルターの十分大きな罰則と、疎ベクトルの重要成分の集中・重なりについても、安定性の十分条件を示した。
- 合成データのHNSW・IVF比較では、不安定なデータで高次元になるほどrecall@10が低下したと著者らは報告する。
1億4000万枚の銀河画像を文章で探すAION-Search
- AION-Searchは、自動生成した銀河画像の説明文で学習し、文章から画像を検索する。
- 著者らのLegacy Survey画像での評価では、渦巻銀河・合体・重力レンズのnDCG@10が、それぞれ比較した類似画像検索の最良値を上回った。
- 確認済み重力レンズを含むHSC画像の実験では、上位1000件を再順位付けすると、上位100件に入るレンズが7件から13件になった。
画像理解用の特徴から文章に沿った画像を作るSVG-T2I
- DINOv3の画像理解向け特徴を生成先に使い、文章から画像を作る。
- 著者らのDPG-Bench総合値は85.78。GenEval総合値は要旨・表と本文で食い違う。
- 著者らは顔、指、画像内の文字の描写と、解像度による特徴の変動を課題として報告した。
LLMの先読み生成はどこまで速くなるか：候補数と出力のばらつきから理論上限を調べる
- 理論上、受け入れられる確率が高い節を選ぶ候補木は、決定的な候補選択法の中で最適となる。
- 所定の仮定下では、検証１回で進めるトークン数の期待値の上限は、並列処理数に対して対数的に増える。
- 著者らはLlamaで理論予測と実システムの性能の相関を報告するが、確認できた本文に実験の測定値や設定の内訳はない。
原子力をめぐる新聞報道の話題をBERTopicで年代別にたどる
- 著者らは、1955～2018年の原子力関連の新聞記事・広告14万8千件超を対象にBERTopicを適用した。
- 記事を意味に基づく数値表現に変えて話題を抽出し、発行年に沿った分布の変化を調べる。
- 確認できた表にはLDAの評価値があるが、BERTopicとの性能差を数値で確かめるための対応する結果は含まれていない。