アーカイブ / LLM
コード支援の対話を評価課題に変えるConv-to-Bench：利用者の追加条件を要件表に反映
Conv-to-Bench
Conv-to-Benchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the framework. The diagram illustrates the proposed multi-stage process for transforming raw, multi-turn conversational data into structured (instruction, requirement checklist) evaluation pairs. In the user messages, text highlighted in blue corresponds to extracted instructions, while text highlighted in red represents user feedback.
概要
- 複数回のコード支援対話から、追加条件を統合した依頼文と二択で判定できる要件表を作る。
- 著者らは387件の依頼文と2,851件の要件を生成し、BigCodeBench-Fullによるモデル順位との相関を調べた。
- Gemini-2.5-Flashによる採点と人手判定の照合488件で、Cohenのκは0.705だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Conv-to-Benchの仕組み
- 01複数回の対話
- 02コード対話の選別
- 03指示の統合
- 04反応と要件の抽出
- 05依頼文と要件表
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Conv-to-Benchは、コード支援の対話をモデル評価に使える課題へ変換する。専門家が評価課題を一件ずつ作る方法には、依頼の作成と確認に手間がかかる。一方、実際の対話では最初の依頼の後に条件の追加や修正が続く。
冒頭の依頼だけを評価に使うと、後から明確になった条件を見落としうる。この研究は、対話全体から利用者の意図を整理し、候補モデルの回答を確かめる要件として記録できるかを調べた。
手法
まず対話を話題ごとにまとめ、コード関連語による候補選びと、言語モデルによる個別判定で対象を絞る。大規模言語モデル（LLM）は、後から加わった条件も含めて一つの依頼文に統合し、曖昧な依頼やログにない外部ファイルに依存する依頼を除く。例えば「CSVを読む関数」に後から「空行を無視する」と加われば、両方を含む依頼文にする。
次に、利用者が回答の成否を明示した発言を見分け、統合した指示と反応から、一項目ずつ「はい／いいえ」で判定できる要件表を作る。単なる会話の続きや沈黙は肯定的な反応に数えず、各要件に根拠の出所を付ける。採点では要件の判定を依頼ごとに平均し、さらに依頼間で平均する。
新規性
著者らが提案するのは、複数回の対話で積み重なった指示を一つにまとめ、出所を追跡できる二択の評価要件へ変換する方法である。各要件に、統合した指示と利用者の反応のどちらを根拠にしたかを付ける。
この区別を使い、指示由来の要件だけの場合と、反応由来の要件も含める場合を比較できる。反応を加えるほど評価が良くなるとは前提せず、その効果を検証対象にしている。
従来手法との違い
主な比較基準は、専門家が作成したコード生成課題BigCodeBenchでのモデル順位である。Conv-to-Benchで作った別の課題による順位との相関を測っており、同じ問題に対する個々の回答の正誤を照合した値ではない。
内部比較では、対話全体から統合した指示に由来する要件だけを使う構成と、利用者の反応に由来する要件も加える構成を比べた。Arena-Hard-Autoのコード関連150問に合わせた比較手順も記されているが、確認できた本文の範囲では結果の数値は示されていない。
実験結果
著者らはLMSYS-Chat-1MとWildChatの計200万対話を対象に、英語で有害性の印がない対話からコード関連の候補を選んだ。各データ源から500件ずつ抽出し、分野判定後の545件から387件の依頼文と計2,851件の要件を作った。
著者らの報告では、Gemini-2.5-Flashによる採点順位とBigCodeBench-Fullの全1,140問のInstruct方式による順位のSpearman相関は、指示由来の要件だけでも反応由来を含めても1.000だった。これはモデル順位の一致度である。採点モデルごとに488件の人手判定と照合した結果、Gemini-2.5-FlashのCohenのκ（偶然の一致を補正する指標）は0.705だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内のコード支援チャットから、候補モデルを比較する評価票を作る。入力は利用者と助手の対話ログ、出力は追加条件を統合した依頼文と、回答ごとに成否を判定する要件表とする。
必要な元データは利用を認められたコード関連の対話ログで、追加学習用データは想定しない。人手による成否ラベルは採点の照合に用い、センサーは不要だ。日本語の社内用語に合わせた選別と要件の確認が必要であり、この用途での有効性は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められたコード支援の対話ログを少数集め、分野の選別、指示の統合、要件表の作成を試す。対話の冒頭の依頼だけで作った評価票を比較基準にし、後から追加された条件を各評価票が何件拾うかを人手で数える。
必要な元データは対話ログと候補モデルの回答で、追加学習用データやセンサーは想定しない。検証用には人が各要件の根拠と回答の成否をラベル付けする。日本語の言い換えや社内用語に合わせて選別条件を調整し、要件の出所の正確さと採点者間の一致率を測る。
限界と課題
著者らの結果では、利用者の反応に由来する要件は256件で、指示由来の2,595件より少ない。人手判定との一致も採点モデルによって異なり、Deepseek-Coder-33B-InstructのCohenのκは0.464だった。著者らは、その後の分析をGeminiとGPTの採点結果に絞っている。
編集上の検証事項は、日本語の対話でも指示と評価的な反応を正しく区別できるか、各要件の出所が元の発言と合うかである。要件表の採点だけでコードの実行時の正しさまで確認できるかも、導入先で別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Conv-to-Bench: Evaluating Language Models Via User-Assistant Dialogues In Code Tasks
The rapid advancement of Large Language Models (LLMs) has outpaced the scalability of traditional evaluation benchmarks, which remain heavily dependent on labor-intensive expert curation. We address this bottleneck with Conv-to-Bench, a multi-stage framework that automatically transforms authentic multi-turn user-assistant dialogues into structured, verifiable requirement checklists. By leveraging the "instructional evolution" found in real-world conversational logs, our approach deconstructs fragmented user intent into consolidated instructions and binary evaluation criteria. Applied to the programming domain, Conv-to-Bench produces evaluation sets that demonstrate near-perfect alignment with human-authored standards like BigCodeBench, achieving Spearman correlations of up to $ρ$ = 1.000 with significantly lower computational overhead. Validation of the LLM-as-a-judge framework further confirms its reliability, with the primary evaluator achieving substantial agreement with human-verified ground truth ($κ$ = 0.705). Our comprehensive ablation studies reveal that while multi-turn interactions capture the iterative evolution of user intent, instruction-centric extraction provides a more robust foundation. Ultimately, Conv-to-Bench provides a scalable, cost-effective paradigm for maintaining high-fidelity evaluation standards as user-centric AI applications continue to diversify.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01