ウェブ操作AIの電力量を測る――Mind2Webで成功率と併せて比較
- 著者らは、Mind2WebでウェブエージェントのGPU電力量を測り、報告済みの操作成功率と併せて比較した。
- H100-NVLでの総電力量はAutoWebGLMが0.33±0.01 kWh、Synatraが3.31±0.04 kWhで、報告済み平均SSRはそれぞれ53.53、15.85だった。
- 独自モデル使用のLASERには推計を用いた。実測可能なMindActでも推計と実測に大きな差があり、推計値の扱いには注意が要る。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
画像分類・顔認識・類似画像検索を一つの設定方式で扱うDORAEMON
- 画像分類、顔認識、類似画像検索の学習手順をYAML形式の設定で扱い、timm経由で1,000種類以上の事前学習済み画像モデルを選べる。
- 著者らは3つのデータセットで参照結果に並ぶか上回ったと報告するが、確認できた本文には個別の結果値と学習条件がない。
- 部品画像検索に試すなら、画像・品番ラベル・撮影条件をそろえ、既存の確認方法と同じ試験画像で候補の的中割合と所要時間を比べる。
物体表面の目標位置を予測し、動作計画につなぐロボット操作手法
- ForeGenは作業ごとの一つの実演目標を、物体や配置が異なる模擬場面へ展開する。
- ForeFormerは点群と作業指示から対象物の各点の目標位置を予測し、動作計画が実行を担う。
- 著者らは21の実機課題で平均成功率79.28％を報告する。
カメラとLiDARの劣化で3D物体検出はどう変わるか――BEVFusionを使った評価
- 著者らは学習済みBEVFusionの推論入力に模擬劣化を加え、カメラのみ、LiDARのみ、融合入力の3D物体検出を比較した。
- nuScenesで、カメラのみのmAPは清浄時35.6から中程度の遮蔽時20.9へ、LiDARのみでは点の90％間引きにより64.7から34.1へ低下した。
- 融合入力のmAPは清浄時68.5、カメラ遮蔽時65.7、LiDARの90％間引き時50.1で、この条件ではLiDAR劣化の影響が大きかった。
PIMの電圧低下を重みのビット構成と実行時制御から抑えるAIM
- AIMは量子化済みの重みからHRを求め、入力で変動するビット切り替わり率Rtogの理論上限として使う。
- LHRとWDSによる重みの調整、HRに基づくタスク配置、IR-Boosterによる電圧と周波数の選択を組み合わせる。
- 著者らは7nm、256-TOPSのPIMチップ設計のレイアウト後シミュレーションで、IRドロップを最大69.2%低減したと報告している。
人にどの回答ペアを比べてもらうか――予測の不確実性を使うBayesian RLHF
- 報酬モデルの最終層から予測の不確実性を見積もり、次に比較判断を求める回答ペアを選ぶ。
- 言語モデル実験では、比較判断1400件で学習した報酬モデルの平均最終テスト正解率が提案法で0.597、通常のRLHFで0.561だった。
- 著者らは、代理注釈者を用いた予測精度中心の評価を限界とし、人間の評価者と方策更新を含む検証を今後の課題とする。
可視光と赤外線の歩行動画を、輪郭と外観の特徴で照合する
- DinoGRLは、可視光と赤外線の歩行動画から輪郭に基づく歩行特徴と外観特徴を抽出し、組み合わせて人物を照合する。
- 著者らはHITSZ-VCMの6フレーム比較で、赤外線から可視光へのR@1を72.5、mAPを61.1と報告した。
- 導入検証には両方式の動画と本人識別ラベルを用意し、同条件の外観特徴のみの照合と順位精度を比較する必要がある。
話題の代表語から見出しを選ぶ：ConceptNetで候補を広げるGEL
- GELは話題の代表語をまとめて数値化し、ConceptNetで得た関連概念を含む候補からラベルを選ぶ。
- Topic_Bhatiaでの最高BERT F1はGELと、グラフを使わないDSLがともに0.955だった。
- 実務では日本語や社内固有語の扱いと、担当者が採用できるラベルになるかをDSLとの比較で確かめる。
検索文の小さな変更で動画の順位はどう動くか：CLIPの脆さを測る
- 190件の英語検索文と約100万区間の代表画像を使い、７モデルの検索順位の変化を調べた。
- 名詞・キーワードへの縮約や言い換えは順位を大きく動かし、句読点などの編集は脆さ指数で目立った。
- FARE2-H14とEVA02-L14は全体として比較的安定していたが、構文変更や言い換えへの感度は残った。
LLMの最終応答から安全判断を模倣するGRA：評価結果と導入時の確認点
- GRAは対象LLMの最終応答を手掛かりに代理モデルを学習し、出力差の大きい質問を改変して学習データに加える。
- 著者らは商用3システムと二つの攻撃データセットで評価し、規則一致率が0.92を超え、API費用が85ドル未満だったと報告する。
- 自社での検証には、許可された応答記録と担当者の判定ラベルを用意し、単純なデータ抽出法と判断一致率、誤拒否数、照会費用を比べる。
ポーランドの公的調達審査官試験で検証したLLMの判決文作成と自動採点
- 著者らは、過去5回分の知識問題250問と事案5件で処理手順を整え、3種類のLLMを資格試験の課題で検証した。
- 著者らによれば、知識問題の成績は良好だったが、筆記実技で合格基準に達したモデルはなかった。
- LLMによる自動採点は、公式試験委員会の判断としばしば異なった。
LLMが重視するAIの価値は、ソフトウェア要件の順位にも表れるか
- 23のLLMを予備調査し、15を価値判断の三課題に、うち八つを要件順位付けにも用いた。
- 八つのLLMが選んだ上位五つの価値はAI実務者側と一致したが、表明した価値と要件順位には食い違いもあった。
- 要件順位は人間の要件順位と直接比較されていないため、導入時には関係者の判断を基準に検証する必要がある。