アーカイブ / LLM / AI Agent
未知の言語の文書を調べ、コードを実行して学ぶILA-agent
ILA-agent
ILA-agentの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of ILA-agent and Cangjie-bench.
概要
- ILA-agentは公式文書の探索とコードの実行確認を繰り返し、未知の言語で解答を作る。
- Cangjie-benchはコード生成155問、翻訳165問、修復32問で構成される。
- Qwen3-MaxでのACCは、3課題すべてで同じモデルの反復検索RAGを上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ILA-agentの仕組み
- 01Javaコードと公式文書
- 02文書と型情報を調査
- 03試作コードを実行
- 04公開テストで確認
- 05Cangjie解答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ILA-agentは、モデルが詳しく知らないプログラミング言語のコードを、作業中に公式文書を調べ、実行結果を確かめながら書く方法だ。新しい言語では学習済みのコードが少なく、覚えている知識だけでは構文や標準機能を扱いにくい。
専用の追加学習には対象言語のコード集が要るが、新しい言語では十分に集まらないことがある。文書検索は知識を補える一方、読んだ説明を正しくコードに使えたかは検索だけでは分からない。そこで実行環境からの反応を作業に取り込む。
手法
ILA-agentは課題を受けると、公式文書の目次と章を閲覧し、意味の近い説明を検索する。Cangjie向けのTypeLookupは、型名を入力すると、その型の構成要素を含む関連文書を返す。例えばJavaの関数をCangjieに訳す場合、必要な型と標準機能を調べて候補コードを組み立てる。
Executeはコード片を動かし、その結果を返す。モデルは結果を見て解釈やコードを修正し、完成候補をSubmitで公開テストにかける。全件通過するか、実験で定めたやり取りの上限に達するまで、調査と確認を繰り返す。公開テストは作業中の手掛かりで、最終評価にはモデルから見えない非公開テストを使う。
新規性
ILA-agentは、未知のプログラミング言語の公式文書を探す操作と、試作コードを実行して確かめる操作を、課題の途中でモデルが選べるようにした枠組みである。文書の章立てをたどる方法も備え、適切な検索語をまだ知らない段階から調査できる。
著者らはCangjie向けに、型名から説明文書を引くTypeLookupを追加した。さらに、コード生成・翻訳・修復を含むCangjie-benchを作り、作業中に言語知識を得る能力を評価した。
従来手法との違い
比較対象のRAG（検索拡張生成）は、検索した文書をモデルに渡して解答を作る方式である。論文は一度だけ検索する方式と、検索を繰り返せる方式を用意した。ILA-agentは文書検索に加え、章立ての閲覧とコードの実行確認を行える。
Cangjie専用データで調整したモデルも比較対象だが、基盤モデルや学習手順が異なる。したがって、その数値差を文書探索と実行確認だけの効果とは読めない。同じ基盤モデルを使ったRAGとの比較が、作業方式の違いを確かめる材料となる。
実験結果
著者らはCangjie-benchのコード生成155問、Javaからの翻訳165問、プログラム修復32問で評価した。ACCは最終解答が非公開テストを全件通過した割合、CRは最終解答がエラーなくコンパイルできた割合を表す。ILA-agentは各問最大15回のやり取りに制限された。
Qwen3-Maxでは、ILA-agentのACCは生成73.55％、翻訳72.12％、修復81.25％。同じモデルの反復検索RAGは順に52.90％、40.61％、68.75％だった。著者らはDeepSeek-V3.2とClaude-Sonnet-4.5でも比較している。これらは同ベンチマークでの結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：Javaで書かれた小さな関数をCangjieへ移す作業を想定する。入力はJavaコード、Cangjieの公式文書、コードを動かす環境、期待する動作を示すテスト。出力は移植後の候補コードと、参照した文書や実行結果の記録とする。
担当者がテストの期待出力を正解ラベルとして用意し、文書を章ごとに検索可能にして型名の索引を作る。モデルの追加学習用コード集や物理センサーは使わず、実行結果を見て候補を直す。実務での有効性は、この用途で別途確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：移植対象のJava関数を少数選び、入力コード、Cangjie公式文書、実行環境をそろえる。担当者が公開テストと、評価時だけ使う非公開テストの入力・期待出力を正解ラベルとして用意する。文書を章ごとに検索可能にし、型名の索引を対象環境に合わせて作る。
同じモデルと課題で、文書を繰り返し検索するRAGを比較基準にする。最終コードの非公開テスト全件通過率とコンパイル通過率、やり取り回数を記録する。追加学習用のコード集や物理センサーはこの検証では使わない。
限界と課題
著者らは複数の基盤モデルで改善を報告する一方、なお性能差が残ると述べる。実験では各問のやり取りを最大15回に制限した。作業中に見える公開テストを全件通過すると処理は終了するが、最終的な正しさはモデルに見せない非公開テストで判定する。
編集上の検証事項：示された結果はCangjie-benchの課題に基づく。別の言語や実務のコードでも同じ成績になるかは未確認である。導入先では、公式文書を検索しやすく整えられるか、型索引と実行環境を用意できるか、公開テストが必要な動作を覆うかを確かめたい。
出典
元のタイトル・要旨を確認する（英語）
Bridging the Knowledge Void: Inference-time Acquisition of Unfamiliar Programming Languages for Coding Tasks
The proficiency of Large Language Models (LLMs) in coding tasks is often a reflection of their extensive pre-training corpora, which typically collapses when confronted with previously unfamiliar programming languages. Departing from data-intensive finetuning, we investigate the paradigm of Inference-time Language Acquisition (ILA), where an LLM masters an unfamiliar language through dynamic interaction with limited external resources. In this paper, we propose ILA-agent, a general ILA framework that equips LLMs with a set of behavioral primitives. By modeling essential human-like behaviors as a suite of tools, ILA-agent enables LLMs to incrementally explore, apply, and verify language knowledge through structured interactions with the official documentation and execution environment. To provide a rigorous evaluation in a low-resource setting, we construct Cangjie-bench, a multi-task benchmark based on the novel statically-typed language Cangjie. We instantiate ILA-agent for Cangjie and evaluate its performance across code generation, translation, and program repair tasks. Results using diverse LLMs demonstrate that ILA-agent significantly outperforms retrieval-augmented baselines. Further analysis of agent trajectories characterizes the emergent behavior patterns while highlighting persisting performance gaps.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01