アーカイブ / LLM
16語を4組に分けるパズルで検証した、候補生成と規則検査を組み合わせる指示設計
Method Actors
Method Actorsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Proportion of Good and Bad Guesses Submitted
概要
- Method Actorsは、4語組の候補生成と選別を分け、改訂版では候補の重なりを規則で検査する。
- 著者のConnections 100問の実験で、GPT-4oの全問正解率は基本方式27％、Actor-2で86％だった。
- o1-previewの複数回呼び出しでは、基本方式とMethod Actors方式の全問正解率は100％と99％、誤答なしの割合は76％と87％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Method Actorsの仕組み
- 0116語の盤面
- 02型別に候補生成
- 03候補を抽出・選別
- 04重複を規則検査
- 054語組を提出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Connectionsは、16語を共通点のある4語ずつの4組に分ける言葉のパズルである。一つの語に複数の意味があり、正解に見える別の組も作れるため、候補を思いつくだけでは解けない。
著者はこの課題で、LLM（大量の文章を基に応答を作る言語モデル）への指示文と、複数回の応答をつなぐ手順を検討した。候補を作る作業と、提出してよい候補を選ぶ作業の違いを調べられる。
手法
Method Actorsは、複雑な回答の前に準備となる応答を作り、次の応答に渡す設計である。ConnectionsのActor方式では、過去の正解から作った型を使い、現在の16語から4語組の候補を複数生成する。例えば「互いに類義語となる語」という型を当てはめ、候補とその理由を抽出して、提出候補を選ぶ。
改訂版Actor-2では、選んだ候補を蓄積し、語が重ならない二つの候補があるかをプログラムの規則で調べてから提出する。同じ候補が3回選ばれた場合にも提出する。誤答を2回以上提出した後は、すでに正解した語を候補作成時に紛れ込ませ、それを含む候補を退ける検査も行う。
新規性
Method Actorsは、LLMを役者、指示文を台本や合図、応答を演技として捉える設計上の考え方である。著者はこの考え方を、候補を作る準備、候補を選ぶ複数の応答、LLM以外による検査に具体化した。
改訂版のActor-2は、選んだ候補をすぐに提出せず、語が重ならない候補の組をプログラムの規則で探す。候補の良し悪しを見分ける段階が弱いという著者の観察を、提出手順の変更につなげた。
従来手法との違い
GPT-4oの比較対象は、4語組を一つずつ作る基本方式と、段階的に考えるよう指示を加えた方式である。著者は、例や手順を増やした別の方式も試しており、これらの方式では主に指示文を変えた。
Actor方式では、複数回の呼び出しで候補を広げ、抽出・選別してから提出する。Actor-2ではさらに規則による検査を加えるため、結果を役割指定の文言だけの効果とは解釈できない。
実験結果
著者は、New York TimesのConnectionsの100問（問題番号331～430）を使った。GPT-4oで全4組を正解した割合は、基本方式27％、段階的に考える方式41％、Actor方式78％、Actor-2が86％だった。誤答なしで解いた割合は、同じ順に12％、20％、41％、50％である。
o1-previewでは、一度の応答で全組を答える方式の全問正解率は79％、誤答なしは72％だった。1組ずつ複数回呼び出す基本方式はそれぞれ100％と76％、Method Actors方式は99％と87％だった。一度の応答と複数回の呼び出しは条件が異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内問い合わせ16件を、内容の近い4件ずつの4組に仮分類する。入力は個人情報を除いた問い合わせ文、出力は各組の候補と共通する話題の説明とし、担当者が確定する。
必要な元データは過去の問い合わせ文と担当者が確定した分類ラベルで、型の例を業務に合わせて作る。候補生成、比較、同じ問い合わせが複数組に入っていないかの検査を順に行う。画像・音声センサーは使わず、この用途での効果は未検証の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：担当者が4組への分類と理由を確定した、過去の問い合わせ16件単位の問題を用意する。元の問い合わせ文、正解ラベル、話題の型の例が必要で、追加学習用のデータやセンサーは想定しない。
同じ問題群で、一段階の指示、段階的に考える指示、候補生成と規則検査を組み合わせた手順を比較する。4組すべてを正しく作れた割合、誤分類数、担当者の修正時間、呼び出し回数を記録する。業務の分類基準に合わせて型と検査規則を調整し、最終判断は担当者が行う。
限界と課題
著者はActor方式の応答を調べ、候補の生成よりも良い候補と悪い候補の判別に弱点があったと報告する。また、別の課題でもMethod Actorsが有効かどうかは、今後調べる余地があるとしている。
編集上の検証事項は、候補生成に伴う呼び出し回数、問題ごとの結果のばらつき、正解が一意でない業務分類の判定基準である。Connectionsの100問で得た割合から、問い合わせ分類の精度や運用費用を直接見積もることはできない。
出典
元のタイトル・要旨を確認する（英語）
LLMs as Method Actors: A Model for Prompt Engineering and Architecture
We introduce "Method Actors" as a mental model for guiding LLM prompt engineering and prompt architecture. Under this mental model, LLMs should be thought of as actors; prompts as scripts and cues; and LLM responses as performances. We apply this mental model to the task of improving LLM performance at playing Connections, a New York Times word puzzle game that prior research identified as a challenging benchmark for evaluating LLM reasoning. Our experiments with GPT-4o show that a "Method Actors" approach can significantly improve LLM performance over both a vanilla and "Chain of Thoughts" approach. A vanilla approach solves 27% of Connections puzzles in our dataset and a "Chain of Thoughts" approach solves 41% of puzzles, whereas our strongest "Method Actor" approach solves 86% of puzzles. We also test OpenAI's newest model designed specifically for complex reasoning tasks, o1-preview. When asked to solve a puzzle all at once, o1-preview solves 79% of Connections puzzles in our dataset, and when allowed to build puzzle solutions one guess at a time over multiple API calls, o1-preview solves 100% of the puzzles. Incorporating a "Method Actor" prompt architecture increases the percentage of puzzles that o1-preview solves perfectly from 76% to 87%.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01