アーカイブ / LLM
「先に」「もし」を守る指示追従へ：LsrIFの構造別報酬設計
LsrIF
LsrIFの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Essentially, the complex instruction is the logical composition of constraints.
概要
- LsrIFは複数条件の指示を並列・順序・条件分岐として整理し、その構造に応じた報酬で言語モデルを訓練する。
- 著者らの評価では、Qwen2.5-1.5B-InstructのIFEval Pr.(L)がBaseの43.6から68.8になった。
- 70B以上のモデルは未評価で、訓練データは主に英語。日本語業務への適用には別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LsrIFの仕組み
- 01元の指示
- 02条件を構造化
- 03回答を条件別に判定
- 04構造別報酬で学習
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LsrIFは、複数の条件を含む指示の論理関係に従うよう言語モデルを訓練する。実務では「短く答え、根拠も示す」という並列条件に加え、「確認してから回答する」という順序や「該当時だけ案内する」という分岐がある。
著者らによると、条件を単に結合した訓練データや、各条件の達成点の平均では、こうした関係を十分に表せない。前段を飛ばした回答や不要な枝への回答にも点が付くと、指示の意味と学習に使う点数がずれる。
手法
LsrIFはまず、既存データから集めた指示を基に、GPT-4.1で複数条件の指示を作る。LsrInstructという訓練データでは、条件を同時に満たす「並列」、前段の完了に後段が依存する「順序」、条件に応じて進む先が変わる「分岐」に整理する。
次に回答が各条件を満たすかを判定する。形式などの明確な条件はプログラムで、判断を要する条件は学習した報酬モデルで採点する。「先に概要を書き、次に英訳する」では概要の失敗に応じて後段の点数を減らし、「コードがあれば説明し、なければ要約する」では該当する枝だけを採点する。その点数を使って回答モデルを更新する。
新規性
著者らの新規性の主張は、指示に含まれる条件の関係を訓練データと報酬計算の両方に反映した点にある。個々の条件を満たしたかに加え、実行順序や分岐の適否を学習信号に組み込む。
並列条件は点数を平均し、順序条件は前段の失敗に応じて後段の点数を減らす。条件分岐では選ばれた枝だけを評価する。
従来手法との違い
比較対象のBaseは追加学習前のモデル、SFTはGPT-4.1で生成したデータの正解例を学ぶ教師あり微調整である。論文が挙げる従来の報酬計算は、各条件の点数を一律に平均する方式だ。
LsrIFは順序と分岐に応じて点数のまとめ方を変える。Distill-Qwen-7Bで構造別の報酬計算を外した要素除去実験では、掲載された指標の成績が下がった。差はこのモデルと評価課題に限って解釈する必要がある。
実験結果
著者らは1.5B～14Bのモデルを指示追従課題で評価した。Qwen2.5-1.5B-Instructでは、領域内のIFEvalのPr.(L)がBaseの43.6からLsrIFの68.8、CFBenchのISRが22.0から28.0になった。数値はいずれも掲載表の同一モデル内の比較である。
領域外ではQwen2.5-7B-InstructのWritingBenchのAvg.が57.2から63.2、MultiChallengeのOverallが15.2から18.7になった。Distill-Qwen-7Bで構造別報酬を外すと、IFEvalのPr.(L)は71.5から68.6、CFBenchのISRは47.0から42.0に下がったと著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内問い合わせに対し、回答順序と条件分岐を守る返信案を作る。問い合わせ文と承認済みの回答規則を入力し、製品を特定してから、契約条件に該当する場合だけ手続きを案内する。出力は担当者が確認する文章とする。
適用には、実際の問い合わせ文、規則に沿った回答例、各条件の達成状況と適用すべき分岐のラベルが必要だ。入力がテキストなら追加センサーは要らない。社内規則を指示文と判定基準に置き換える作業も必要で、効果は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少量の社内問い合わせ文を集め、並列・順序・分岐を含む指示と担当者が確認した回答例を用意する。各条件の達成、分岐条件の成否、正しい回答先をラベル化し、社内規則に合わせて判定基準を作る。テキスト入力なら追加センサーは不要だ。
同じ基礎モデルのBaseを比較対象として小規模に試す。条件ごとの達成率、前段の失敗後に誤って続行した割合、分岐選択の正答率を測り、担当者が返信案の内容も確認する。論文の改善幅を社内業務での予測値には使わない。
限界と課題
著者らは計算上の制約から70B以上のモデルを評価しておらず、訓練データは主に英語だと述べる。CFBenchの結果から他言語への広がりに言及する一方、多言語の指示データを用いた体系的な検証を今後の課題としている。
編集上の検証事項は、日本語の業務文で条件判定と回答順序が保たれるかである。また、概要には入れ子構造の記述があるが、実験節は訓練データを入れ子なしと説明する。入れ子を訓練したとは扱わず、適用範囲を確認したい。
出典
元のタイトル・要旨を確認する（英語）
LsrIF: Enhancing Logic-Structured Instruction Following of Large Language Models
Instruction following is critical for large language models, yet real-world instructions often involve multiple constraints with logical structures, such as parallel composition, sequential dependencies, and conditional branching. Existing methods typically construct data by simply combining constraints and aggregate rewards by averaging individual constraint scores during training, overlooking logical dependencies and introducing noisy signals. We propose LsrIF, a training framework for logic-structured instruction following. LsrIF constructs data by organizing atomic constraints into parallel, sequential, conditional, and nested structures, and applies structure-aware reward aggregation aligned with their execution semantics: averaging rewards for parallel constraints, decaying later rewards after early failures in sequential structures, and rewarding only active branches in conditional structures. Experiments show that LsrIF improves instruction following in both in-domain and out-of-domain settings while also benefiting logic reasoning. Further analysis indicates that logic-structured training increases attention to constraint-related tokens and logical connectors, suggesting improved modeling of instruction logic. We will release our data and code for future research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01