新着研究 / LLM
変更例を見ながら複数箇所を穴埋めする拡散言語モデル、出力長の予測に課題
Multi-Target Few-Shot Prompting
概要
- 編集例と前後の文脈を同じ入力に置き、複数の欠けた領域を拡散言語モデルで埋める。
- 例を見せた場合と隠した場合の生成確率の比から、例に支持された候補を選びやすくする。
- 例示は有効だが追加誘導の効果は課題依存で、未知の出力長やコード実行の検証が残る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-Target Few-Shot Promptingの仕組み
- 01変更例と対象箇所
- 02穴埋め長を割当
- 03候補文を生成
- 04例の支持で再選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
同じAPI変更や書式変更を複数箇所へ適用するには、編集前後の例だけで意図を伝えたい場合がある。通常の左から右へ生成する言語モデルで途中の箇所を直すと、右側の文脈を参照させるために入力の並べ替えなどが必要になる。
本研究は複数箇所の穴埋めを一つの共有入力上で行う。入力の見えている部分を固定したまま、前後の情報と変更例を利用することで、例の形式を別の箇所にも適用できるかを検証する。
手法
拡散言語モデルは、隠された語を周囲の見える語から反復して復元するモデルである。各編集箇所に必要な数のマスクを用意し、一語ずつ埋める。ある箇所で決まった語は、別の箇所を埋める際にも参照できる。例えば命名を変更した例を残し、複数の変数名を同じ規則で書き換える。
追加の誘導では、完成候補が出る確率を、例示出力が見える場合と隠れる場合で計算する。その比が大きい候補は、例の影響で支持が増えたと解釈し、複数候補から再選択する重みを高くする。一語ずつ生成する制約により候補全体の確率を計算でき、生成モデルの再学習なしで誘導する。
新規性
例示と複数の編集対象を共有する入力を定式化し、生成された語同士が後続の穴埋めの文脈になる仕組みを使う。単に複数の質問をまとめて回答させる方式とは、元の位置で編集する点が異なる。
さらに例の有無による確率の比を候補選択の報酬へ変換する。例に従った候補を増やす仕組みだが、この報酬の高さ自体が正答を保証するわけではない。
従来手法との違い
LLaDA-1.5など三つの拡散言語モデルで、例示数、同時に埋める対象数、追加誘導の有無を変える。単一対象には自己回帰型Qwen3-8Bも用いるが、主実験の拡散モデルには正しい出力長を与える条件がある。
同じ候補集合を誘導の有無で再評価するため、候補を多く作った効果と選択の効果を分けられる。実用条件として、正解の長さを与えず別の予測器で割り当てる場合も比較した。
実験結果
著者らは感情コード、リスト変換、人工言語変換、監督名抽出の四課題を評価した。LLaDAでは例を1件から16件へ増やすと、単一対象の感情課題の正答率が14.0％から76.5％へ向上した。例4件での追加誘導は同課題を14.4ポイント改善した。
一方、学習した長さ予測を使うと、リスト変換の対象別正答率は正解長条件の35〜48％にとどまった。Java編集127課題の評価はLLM判定であり、生成コードは実行していない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案として、社内ライブラリのAPI移行を開発者が一例だけ承認し、類似する呼び出し箇所の修正候補をまとめて作る。入力は旧コード、承認済み変更、関数定義と周囲の文脈で、出力は指定範囲の差分とする。
開発者は複数箇所の引数や変数の整合を確認し、候補をテストへ渡す。生成器の見本への忠実さを補助する用途と位置づけ、意味的な正しさは通常のレビューと実行検証で判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案では、過去に完了したAPI移行から少数の例を取り、変更済みの一箇所を見本、残りを評価対象にする。単独編集と複数箇所編集、誘導なしと誘導ありを比較する。
全箇所が正しい割合と箇所別の正答率を分け、コンパイル、既存テスト、変更範囲外の保持、所要時間を測る。正解の出力長を使う条件と予測長の条件も分け、実運用の精度低下を把握する。
限界と課題
著者らは長さ割り当ての精度を主要な残課題としている。追加誘導は対象数が増えると効果が不安定で、別課題では悪化もある。例を多く見せる効果を、誘導が常に有効という主張へ広げない必要がある。
編集上の検証課題は、実行可能なコードの正しさと候補生成費用である。一語ずつの生成と複数候補の採点を使うため、拡散モデルの並列生成による速度向上をそのまま期待できない。
出典
元のタイトル・要旨を確認する（英語）
Multi-Target Few-Shot Prompting with Diffusion Language Models
Few-shot prompting is useful when instructions and rewards are hard to specify. One such application is editing by example, where a demonstrated formatting change or API migration may need to be applied across multiple sites. However, such edits often depend on both left and right context, making generation with causal autoregressive models awkward. We therefore introduce multi-target few-shot prompting with diffusion language models, where examples guide the infilling of multiple masked regions within a shared canvas. To address the known challenge of reliably following demonstrations in few-shot prompting, we further leverage selective masking of the canvas to derive a likelihood-ratio reward that favors example-supported infills. Across few-shot prompting benchmarks and software refactoring case studies, we find that demonstrations improve infilling accuracy, with example guidance yielding further gains in several settings.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-18