例を添えた指示で回答はどう変わるか：知識問題となぞなぞで異なる結果
- 著者はGPT-OSS:20bのガイドなし条件と５種類のICL条件を、14問・各10回、計840回で比較した。
- 一般知識ではガイド付き条件の完全正解率を91～99％と報告する一方、条件を変えたなぞなぞの結果はガイドの種類で異なった。
- なぞなぞには件数と報告率の不一致がある。幾何１問で有意差が確認されなかったのは回答時間についてである。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
文章の修正意図を分類するため、学習するLLMの層を動的に選ぶ
- IR-Tuningは、修正前後の文から意図を分類するため、勾配に応じてLLMの更新層を選び直す。
- 著者らのArgRevision評価では、Llama3.1-8Bのマクロ平均F1はIR-Tuningが50.15、ISTが42.16、全層LoRAが50.56だった。
- 同モデルのITERATER評価ではIR-TuningのF1はISTを下回り、導入先の文書とラベルで再検証が必要である。
外骨格のスクワット制御で、NMPCの学習済み近似器にPI制御を組み合わせる
- NMPCを近似するDNNの出力にPI制御器の出力を組み合わせ、外骨格のスクワット動作に適用した。
- 著者らは、DNNにとって未学習の条件で、NMPC-DNN単独より追従誤差が低いと報告した。
- 検討したケースで人の関節トルクRMSが減少し、提案方式の計算コストはNMPC比で99.93％低かったと報告した。
英語の質問で多言語文書を探し、出典付き報告書を作る――HLTCOEのNeuCLIR 2024実験
- TDは翻訳文書、GDは検索対象から生成した質問、MTDは複数言語の翻訳データを検索モデルの学習に使う。
- 英語質問による中国語ニュース検索では、順位統合とmT5・GPT-4oの再順位付けを使う提出のnDCG@20が0.664だった。
- 報告書作成では要約型と事実抽出型を試し、後者はまとめた事実に元文書のIDを引用として付けた。
線虫の体中央の軌跡から行動状態を抽出し、移動の再現性を比べる
- 体中央の座標列から速さ、曲がり方、過去の動きを計算し、教師なしで５つの行動状態を作る。
- 著者らの移動モデル比較では、模擬100個体と1000個体の両条件で、自動分類の平均二乗変位の平均対数尤度が原子的分類を上回った。
- 自動分類で後退は独立した状態にならず、密集映像での追跡精度は確認できた本文の範囲では示されていない。
AI開発の記録を認証審査の根拠につなぐCERTAINの構想
- CERTAINは、AIの開発記録、データの来歴、認証基準の照合を結ぶ構想を示す。
- 初期の語彙案は作成済みで、基盤の試作部品とRegOps手順は開発中。七つの実証は今後の検証対象である。
- 完了した比較実験の指標や測定値は示されておらず、審査時間の短縮や判定精度は評価できない。
超解像モデルを画像の難しさと局所的な誤りで比べる
- HFIは低解像度画像の細かな変化から復元の難しさを推定し、RIEIは輪郭と質感を区別する。
- 画像を４群に分けて平均PSNRを比べ、PSNR99で正解画像との差が大きい上位１％の画素を調べる。
- BSD100とUrban100を合わせたESRGAN+の評価では、全体平均PSNRが24.079 dB、難しい輪郭画像群が22.254 dBだった。
参照画像と変更指示で探す画像検索を、目標の説明文と候補の一括比較で改善
- 参照画像と変更文の検索用特徴量に、生成した目標画像の説明文を加えて一次検索する。
- 上位候補を番号と枠付きの格子画像にまとめ、モデルが一度に比較して順位を付け直す。
- 著者は四つの画像検索ベンチマークで評価したと述べるが、確認できた本文から改善幅の数値は確認できない。
新しい語義の用例から定義を作る：公開重み言語モデルの3言語での評価
- 分類済みの新しい語義の用例から定義を生成し、用例ごとの候補から語義を代表する一文を選ぶ。
- 著者らはAXOLOTL’24の3言語で、参加者の最良生成方式を上回る自動評価結果を報告した。
- 評価は語義と用例が与えられる条件に限られ、語義の発見から辞書登録までの運用には別途検証が必要。
映画推薦の会話で次の応答方針を学ぶRSO
- RSOは、会話の応答方針を選ぶPlannerと、その方針に沿って返答を作るActorを分ける。
- 好みの推定と作品情報の検索を返答に利用し、Plannerを方針ラベルと評価点で学習する。
- 英語の映画推薦対話データ二種を用いるが、確認できた本文の範囲では評価指標と結果の数値を確認できない。
RH5の懸垂動作に向け、減速比と制御を共同で探すEA-CoRL
- EA-CoRLは、RH5の脚・肩・肘・手首の減速比係数と懸垂用の制御方策を共同で探索する。
- 新しい候補群で方策を追加学習し、報酬が最良記録を更新した場合に方策を次の探索へ引き継ぐ。
- 著者らはPT-FTとシミュレーションで比較したが、確認できた本文の範囲では性能差の数値表や実機評価の詳細は確認できない。
学習途中の方策から未探索の候補を探すExploRLer
- ExploRLerは反復末に保存した方策の周囲から候補を作り、環境で試して学習の再開点を選ぶ。
- 著者らの４シードの比較では、Hopperの最大平均リターンがPPOの2233.97±934.81に対し、ExploRLer-Pで3318.46±82.62だった。
- 候補生成に追加の勾配計算は要らないが、候補の試行は必要であり、導入時には総試行回数と実行時間も測る。