次の単語とともに内部状態を引き継ぐ言語モデルLIFT
- 次の単語の候補分布を状態として引き継ぎ、深い層の情報を後続の計算へ戻す。
- 教師が事前に作った状態で並列学習し、生成時にはモデル自身の状態を使う。
- 10億規模の言語モデル評価では、同じ学習単語数のTransformerよりパープレキシティが低かった。
RESEARCH BRIEFS
論文をさくっと読む
掲載済みの論文解説から、研究の要点を短く紹介します。
人の実演動画からロボットが学ぶ内容を明確にするSimpleICL
- 実演動画から従うべき内容を、動作、順序、対象物、扱い方の四つに定義した。
- 七つの未学習シミュレーション課題で平均成功率65.9％、比較対象のFast-WAMは24.6％だった。
- 現場検証では、配置変更と似た対象物を含め、失敗の種類を分けて測る必要がある。
複数の写真から粗い立体像を組み立てて答える画像言語モデル
- 少数の要約トークンから粗い三次元場面を復元する学習を、複数画像への質問回答と同時に行う。
- 七つの評価群で検証され、SQA3Dなどで既存手法を上回ったが、ScanQAの厳密一致率ではRoss3Dを下回った。
- 現場利用では視点の不足や遮蔽による物体の取り違えを、画像枚数を変えて検証したい。
感情を「共通の変化」と「感情ごとの差」に分けて音声を制御する
- 感情ベクトルを共通成分と感情固有の残差に分け、既存の音声合成モデルを再学習せずに調整する。
- IEMOCAPでは二つの音声合成モデルで、CoCoEmoより感情の順位相関と主要感情の一致率が高かった。
- 導入時は感情の伝達だけでなく、自然さ、明瞭さ、話者らしさを同条件で測る必要がある。
検索例をプロンプトに添え、追加学習なしで文書検索の表現を作る
- 少数の質問・文書例を共通の文脈として与え、追加学習なしで密検索用の数値表現を作る。
- 著者らのBEIR 10データ集合では、Qwen3.5-9Bの平均Recall@100が例なしの0.522から0.558へ上がった。
- 学習済みのQwen3-Embedding-8Bの平均0.645には届かず、対象文書での検証が必要である。
LLMの記憶を16語ごとに圧縮し、生成中の丸め誤差を抑える
- 生成中の再帰状態を毎語ではなく一定の語数ごとに圧縮し、区間内の更新を高精度で保持する。
- 著者らの12組のモデルと課題の評価では、8ビット設定の平均精度75.5％が32ビット基準と同じだった。
- 一部モデルの速度測定には8層版が使われており、その結果だけで全体モデルの回答品質は判断できない。
LLMの繰り返し更新する記憶を、誤差の残りやすさに応じて圧縮する
- 再帰状態の誤差の大きさ、残りやすさ、出力への影響に応じて保存精度を変える。
- 著者らの長い生成7課題では、6ビット設定の平均正答率が両対象モデルで32ビット基準に近かった。
- Qwenの特定の配信条件では、全体メモリを419.73GiBから131.18GiBへ削減した。
失敗地点で短い動作を試し、ロボットの作業方策を更新する
- 失敗しそうな地点で学習済みの短い動作を試し、成功した修正区間で作業方策を再学習する。
- 著者らの引き出し作業では、初期の成功0／20回から、1回目の更新後に補助なしで7／20回成功した。
- 初期実演、短い動作の準備、場面のリセットには人手が残る。
指定した点から3D形状を隙間なく部品に分ける「Point2Part」
- 画像またはメッシュ上で部品ごとに3Dの点を指定し、物体全体を部品へ共同で割り当てる。
- 著者らの評価では、PartObjaverse-Tinyの面分割mIoUは69.80、メッシュ入力の部品間貫入率は0.06％だった。
- 生成される全体形状の忠実さは、基盤の3D生成モデルの復元精度にも左右される。
手書き文字は画素の変化に表れる――画像復元型の事前学習が文字認識に効く理由
- 手書き文字の判別に必要な情報は、画素の変動が大きい方向に集中すると著者らは報告する。
- 同条件で比べた六手法のうち、画素復元型の事前学習が六つのベンチマークで最も低い文字誤り率を示した。
- 実画像で事前学習したMAEの固定画像解析器は平均CER 5.5％、言語モデルをつないで全体を追加学習すると4.5％だった。
分子式から合成計画へ一足飛びに進めない理由――中間表現で調べる逆合成
- 逆合成を分子対応、反応対応、PDDL生成、計画実行に分けて失敗箇所を調べる。
- 著者らの評価では、SMILESからPDDLを直接作る条件で全モデルの計画解決率が0だった。
- 構造化した中間表現を用いる条件では、一部のモデルで解決率1.0が報告された。
文章を生成せず評判を数値化――Jevの選択・判定を組み合わせた感情分析
- Jevの点数、選択確率、二択判定を組み合わせ、文章生成なしで三つの観点別感情分析課題を解く。
- 基盤モデルは更新せず、CPUで学習した488個の係数で判定を注釈基準に合わせる。
- 著者らは十コーパスの数値予測でRMSE 1.0645、二つの抽出課題でcontinuous F1 52.09と44.06を報告した。