アーカイブ / LLM / AI Agent
不具合箇所を絞り、修正案を選ぶAgentlessの実務上の見どころ
Agentless
Agentlessの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Table 1: Results on SWE-bench Lite. Note: indicates approaches that are closed-source (i.e., source code is not released). '-' indicates that the relevant information to compute this has not been released.
概要
- Agentlessは、編集箇所の特定から差分案の生成・選別までを固定した手順で進める。
- 確認できた本文の版では、SWE-bench Liteの300件中82件、27.33％を解決し、平均推論費用は1件0.34米ドルだった。
- 入力要旨には異なる版の数値があるため、成績を引用するときは版と評価条件をそろえる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Agentlessの仕組み
- 01課題票とコード
- 02編集箇所の特定
- 03差分案の生成
- 04修正候補
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデルを使う開発エージェントは、コードを読み、コマンドを実行し、結果を見て次の行動を決める。不具合修正では便利だが、手順が長くなると、どの判断で誤ったか追いにくい。対象のファイルや関数を絞ること自体も難しい。
Agentlessは、言語モデルを使いながら、作業の順番をあらかじめ決める発想である。現場にとっては、修正率と費用に加え、候補がどの根拠から選ばれたかを確認できるかが重要になる。
手法
まず課題票とリポジトリの構成を入力し、疑わしいファイルを選ぶ。次に、クラス名や関数名を並べた骨格情報から関連箇所を選び、その中のコードを見て編集位置を絞る。例えば特定の関数で境界値を誤処理する不具合なら、ファイル一覧から関数へ、最後に該当行へと対象を狭める。
続いてモデルが、元の断片を探して置き換える形式の差分案を複数作る。構文エラーや既存テストで失敗する案を除き、残りを表面的な空白などの差をならして、多く出た案を選ぶ。出力は提出する修正差分である。言語モデルが自律的に次のツール操作を決める工程は含まれない。
新規性
Agentlessは、言語モデルに次の行動やツール操作を任せる代わりに、場所の特定と修正という固定した流れに仕事を分ける。ファイル、クラス・関数、編集箇所へと絞り、複数の差分案を既存テストと多数決で選ぶ。
個々の技法は既存のものだと著者らも述べる。新しさは、それらを組み合わせた簡潔な手順が、当時の公開された開発エージェントに対する強い比較基準になった点にある。
従来手法との違い
自律型の開発エージェントは、ツールでファイルやテスト結果を見ながら次の行動を決める。Agentlessは手順を固定し、モデルには各段階の候補選びと修正案作成をさせる。実行の流れが追いやすい構成である。
著者らは13のエージェント方式と、関連ファイルを検索して一度にパッチを作る単純なRAG方式を比較した。ただし、比較表には非公開方式も含まれ、使用モデルや費用が異なる。全方式が同じ条件で走った厳密な速度・費用比較として読むべきではない。
実験結果
確認できた本文の版では、著者らはPythonの実課題300件からなるSWE-bench Liteで評価し、Agentlessが82件、27.33％を解決、平均推論費用を1件0.34米ドルと報告する。単一案では70件、複数案と多数決では78件、既存テストによる選別を加えると82件だった。
本文の比較表では非公開方式に33.00％の成績があり、全方式中の最高値ではない。入力要旨には96件、32.00％、0.70米ドルという別の数値があるため、ここでは確認できた本文の版の条件と数値を採用する。版をまたいで成績を混ぜない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：保守対象のPython製品で、再現条件がある小さな不具合の修正候補を作る。入力は課題票と対象リポジトリ、出力は疑わしい編集箇所、複数の差分案、既存テストを通った候補とする。
開発者は候補が課題票の意図に合うかを確認し、必要な追加テストを作ってから採用する。モデルの多数決は修正の正しさを保証しないため、人が差分を読める大きさの課題から試す。論文の結果をそのまま製品の修正率とはみなさない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：解決済みの小規模な不具合を選び、課題票だけで修正できる条件を整える。現在の開発支援手順を比較基準として、同じ課題でAgentless型の箇所特定と複数案生成を試す。
正しいファイル・関数を見つけた割合、既存テスト通過率、追加テストでの解決率、開発者の確認時間、1件当たりの費用を記録する。既存テストが薄い課題は別に集計し、多数決が誤った案を選ぶ事例をレビューする。
限界と課題
著者らは、SWE-bench Liteに正解パッチが課題文に含まれる例や、重要情報が不足・誤誘導される例があると報告する。また、非公開の比較方式では修正までの過程を検証できない場合があると記す。
編集上の確認事項は、自社の課題票でも編集箇所を十分に絞れるか、既存テストが誤修正を落とせるか、複数案の生成費用が許容範囲かである。入力の要旨と確認できた本文では成績の版が異なるため、数値は本文の版に限定して扱う。
出典
元のタイトル・要旨を確認する（英語）
Agentless: Demystifying LLM-based Software Engineering Agents
Recent advancements in large language models (LLMs) have significantly advanced the automation of software development tasks, including code synthesis, program repair, and test generation. More recently, researchers and industry practitioners have developed various autonomous LLM agents to perform end-to-end software development tasks. These agents are equipped with the ability to use tools, run commands, observe feedback from the environment, and plan for future actions. However, the complexity of these agent-based approaches, together with the limited abilities of current LLMs, raises the following question: Do we really have to employ complex autonomous software agents? To attempt to answer this question, we build Agentless -- an agentless approach to automatically solve software development problems. Compared to the verbose and complex setup of agent-based approaches, Agentless employs a simplistic three-phase process of localization, repair, and patch validation, without letting the LLM decide future actions or operate with complex tools. Our results on the popular SWE-bench Lite benchmark show that surprisingly the simplistic Agentless is able to achieve both the highest performance (32.00%, 96 correct fixes) and low cost ($0.70) compared with all existing open-source software agents! Furthermore, we manually classified the problems in SWE-bench Lite and found problems with exact ground truth patch or insufficient/misleading issue descriptions. As such, we construct SWE-bench Lite-S by excluding such problematic issues to perform more rigorous evaluation and comparison. Our work highlights the current overlooked potential of a simple, interpretable technique in autonomous software development. We hope Agentless will help reset the baseline, starting point, and horizon for autonomous software agents, and inspire future work along this crucial direction.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29