アーカイブ / LLM
短い指示と回答から長文用の学習例を作るFlora
Flora
Floraの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Average scores across long and short context tasks, normalized by the highest score on each task. The scores on LongBench v2 Bai et al. (2024b) are evaluated in the zero-shot + CoT setting. Our Flora-enhanced models achieve state-of-the-art (SOTA) performances on all long and short context tasks, compared to other models of similar parameter scales.
概要
- Floraは正答付きの短い指示を分類・連結し、全体向けの指示を加えて長文用の学習例を作る。
- 著者らのLongBench v1平均スコアは、Llama-3-8B-Instruct-8kの38.93%からFlora-80k追加学習後に50.73%となった。
- 製品FAQで試すには正答付きの元データが必要で、長文と短文の回答を実データで別々に評価する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Floraの仕組み
- 01短い指示と回答
- 02数学・コード等に分類
- 03設問と全体指示を構成
- 04長文の学習例
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
長い会話履歴や複数文書を扱うとき、言語モデルには離れた箇所の情報を見つけて使う力が要る。しかし、長文の学習例は集めにくく、作成に人手や別の言語モデルを使う方法には費用やデータの長さ、多様性の制約がある。
長文向けの追加学習によって、短い質問への応答力が下がることも課題だ。Floraは既存の短い指示と正答を材料に、長文を使う学習課題を構成する。
手法
Floraは短い指示と回答の組を数学、コード、一般知識に分類し、複数組をつないで長い入力を作る。そこへ全体向けの指示を加え、元の回答や設問番号から学習時の正答を組み立てる。例えば、複数の設問を並べ、示した回答に対応する設問番号を答えさせる。
独自の四方式とMosaic-IT由来の三方式を使う。独自方式には、例を見て別の設問に答える課題や、回答のない設問だけに答える課題もある。作った例は、指示に沿う回答を学ばせる「指示チューニング」に使う。長さは文章を区切る単位であるトークン数で調整し、2千トークン未満の学習例には元の短いデータを使う。
新規性
Floraの新規性として著者らが主張するのは、既存の短い指示と回答を再構成し、人手や別の言語モデルで新たな正答を作らずに長文用の学習例を生成できる点だ。入力と出力の長さも調整する。
単なる連結に加え、例を参照した回答、設問の位置に基づく回答、未回答の設問への回答、回答に対応する設問番号の特定を学習課題にしている。
従来手法との違い
比較対象のMosaic-ITも短い指示を複数まとめ、全体への指示を加える。著者らによれば、同手法は入力と出力の長さを制御しにくく、複数文書からの検索や質問回答に特化した設計もない。Floraは連結後の内容を使う課題を明示する。
実験では、同じ基盤モデルをLongAlpaca-12kやLongAlign-10kで追加学習した条件とも比較した。結果の差は、掲載された評価課題と学習条件の範囲で読む必要がある。
実験結果
著者らはLlama-3-8B-InstructとQwQ-32Bを追加学習し、長文能力をLongBench v1・v2とNeedle-In-A-HayStackで評価した。短文能力にはMMLU-Pro、GPQA、IFEval、HumanEval、MATHの五課題を用いた。
表3のLongBench v1平均スコアは、Llama-3-8B-Instruct-8kの38.93%に対しFlora-80kで追加学習した条件が50.73%。QwQ-32B-128kは66.23%、Flora-128kで追加学習した条件は70.07%だった。いずれも著者らの評価値であり、QwQの結果は推論モードでの自己評価に限られる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。製品FAQをまとめて参照する回答支援に試す。入力は製品分野ごとに整理した承認済みFAQと利用者の質問、出力はFAQ中の情報に基づく回答とし、担当者が元項目を確認してから提示する。
学習には、質問と正答の組、製品分野の分類が必要で、センサーは使わない。既存FAQを分類してFlora式の学習例に変換し、実際の文書の並び方や質問表現に合わせて調整する。業務での効果は検証すべき仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。正答付きの短い社内FAQを集め、質問、回答、製品分野を整理する。回答を学習時の正答ラベルとし、センサーは使わない。分野別にFAQを連結した学習例を作り、実際に参照する文書の長さと質問形式に合わせて調整する。
学習に使わないFAQと利用者の質問を評価用に分ける。同じ基盤モデルの追加学習前後を比べ、長文からの回答正答率、短い単独質問の正答率、元項目を担当者が特定できる割合を測る。文書の長さ別にも記録する。
限界と課題
著者らは、長文性能の向上には短文性能のわずかな低下が伴うと述べる。また、任意の長さの学習例を構成できるという主張は、どの長さの入力も実運用で処理できることを示すものではない。
編集上の検証事項として、短い設問を連結した文章が実際のFAQの参照関係をどこまで表すか、元の正答に誤りがある場合に回答へどう影響するかを調べたい。対象業務では長文と短文の結果を分けて測る。
出典
元のタイトル・要旨を確認する（英語）
Flora: Effortless Context Construction to Arbitrary Length and Scale
Effectively handling long contexts is challenging for Large Language Models (LLMs) due to the rarity of long texts, high computational demands, and substantial forgetting of short-context abilities. Recent approaches have attempted to construct long contexts for instruction tuning, but these methods often require LLMs or human interventions, which are both costly and limited in length and diversity. Also, the drop in short-context performances of present long-context LLMs remains significant. In this paper, we introduce Flora, an effortless (human/LLM-free) long-context construction strategy. Flora can markedly enhance the long-context performance of LLMs by arbitrarily assembling short instructions based on categories and instructing LLMs to generate responses based on long-context meta-instructions. This enables Flora to produce contexts of arbitrary length and scale with rich diversity, while only slightly compromising short-context performance. Experiments on Llama3-8B-Instruct and QwQ-32B show that LLMs enhanced by Flora excel in three long-context benchmarks while maintaining strong performances in short-context tasks. Our data-construction code is available at \href{https://github.com/txchen-USTC/Flora}{https://github.com/txchen-USTC/Flora}.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01