アーカイブ / LLM
Qwen 2.5からRWKV系モデルへ知識を移すARWKVの手順と検証課題
ARWKV
ARWKVの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: replace self-attention by RWKV-7 time mixing module
概要
- 著者らは、Qwen 2.5から知識を移し、RWKV-7の注意機構を使うARWKVを提案する。
- 示された手順には自己注意の置換、知識蒸留、SFT・DPOが含まれるが、学習データや評価条件の詳細は確認できない。
- 16基のGPUで8時間という報告は、RWKV-6に基づく別モデルQRWK 32Bについてのもの。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ARWKVの仕組み
- 01Qwen 2.5
- 02自己注意を置換
- 03知識蒸留
- 04SFT・DPO
- 05ARWKV
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ARWKVは、Transformer系のQwen 2.5から知識を移し、RWKV-7の注意機構を使う言語モデルを作る研究である。著者らは、従来の関連研究が主に処理の効率化へ向かってきたと位置づけ、モデルの表現力や状態追跡に着目する。
実務では、回答の内容に加え、長い入力や対話を扱う際の処理時間も導入判断に関わる。ただし、確認できた本文の範囲では、ARWKVがこれらをどの程度両立するか判断できない。
手法
著者らが示す手順は、Qwen 2.5を知識の移転元とし、自己注意をTime Mixingに置き換えてから、知識蒸留を行うというものだ。Time Mixingは、時系列の情報を混ぜるRWKV側の機構を指す。知識蒸留は、元のモデルが持つ知識を別のモデルへ移す学習で、出力としてRWKV-7の注意機構を使う言語モデルを得る構想である。
たとえば質問文を入力して回答文を出す用途なら、元モデルの知識を移した後、候補モデルにも質問への回答を生成させる。章立てには、教師あり微調整（SFT）と、回答の好みを使った最適化（DPO）も続く段階として載る。ただし、各段階で使う文章やラベルの具体的な作成方法は確認できない。別に述べられるQRWK 32BはRWKV-6に基づくモデルである。
新規性
著者らの提案は、Qwen 2.5から知識を移し、RWKV-7の注意機構を使う言語モデルを作ることにある。学習済みモデルの知識を引き継ぐ「知識蒸留」を、モデルの構造変更と組み合わせる。
著者らは、会話などで必要な情報を内部状態に保つ「状態追跡」でTransformerを上回ると述べる。ただし、確認できた本文の範囲では、その主張を確かめる評価条件や数値は示されていない。
従来手法との違い
移転元のQwen 2.5はTransformer系のモデルである。Transformerの自己注意は入力内の語同士の関係を計算し、RNN（再帰型ニューラルネットワーク）は処理した情報を内部状態として次へ渡す。ARWKVでは自己注意をTime Mixingに置き換える。
著者らは従来のTransformerや線形RNNにも言及するが、確認できた本文の範囲では、ARWKVとの比較表は確認できない。「Qwen 2.5の性能を維持」という報告は、RWKV-6に基づく別のQRWK 32Bについての記述である。
実験結果
著者らは、RWKV-6に基づくQRWK 32Bについて、16基のAMD MI300X GPUを使って知識処理の全工程を8時間で終え、Qwen 2.5の性能を維持したと述べる。この所要時間と性能の記述は、RWKV-7に基づくARWKVの測定結果ではない。
確認できた本文の範囲では、評価課題、データセット、性能指標、比較条件の具体的な記載は確認できない。そのため「性能を維持」や「Transformerを超える状態追跡」を数値で比較することはできない。ARWKVについても、同じ条件で測った結果を確認する必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書に関する質問への回答案を作る用途で試す。入力は利用できる社内文書と質問、出力は回答案とする。回答に参照文書を添えるなら、文書を検索して出典を結び付ける仕組みを別途用意する。
学習には移転元の言語モデルと、利用許可を確認した業務分野の文章が必要になる。質問・回答例や参照文書のラベルを使う場合は社内で作成し、用語への適応方法も決める。想定する入力は文章であり、追加センサーは使わない。この用途での効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用できる社内文書を集め、業務上の質問・正解回答・根拠となる文書のラベルを少数作る。知識移転元の言語モデルを定め、対象用語への適応方法を記録してRWKV系の候補モデルを用意する。入力は文章と質問に限り、追加センサーは使わない。
同じ質問を移転元モデルと候補モデルに与え、正答率、根拠文書の一致率、長い対話での情報保持、処理時間を測る。学習に使った例と評価用の例を分け、測定条件もそろえる。これは導入前の試験計画であり、論文が報告した評価結果ではない。
限界と課題
著者らは本研究を継続中と明記している。状態追跡でTransformerを上回るという主張と、QRWK 32BがQwen 2.5の性能を維持したという報告は、対象モデルが異なるため分けて扱う必要がある。
編集上の検証事項は、それぞれの評価課題、データセット、指標、比較条件を確認することだ。ARWKVの学習データやラベルの作り方、SFT・DPOの具体的な条件も、確認できた本文の範囲では分からない。実務への適用には、対象業務の文章で正確さと処理時間を測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
ARWKV: Pretrain is not what we need, an RNN-Attention-Based Language Model Born from Transformer
As is known, hybrid quadratic and subquadratic attention models in multi-head architectures have surpassed both Transformer and Linear RNN models , with these works primarily focusing on reducing KV complexity and improving efficiency. For further research on expressiveness, we introduce our series of models distilled from Qwen 2.5, based on pure native RWKV-7 attention, which aims to make RNN more expressive and demonstrates state tracking ability beyond transformers. We work with QRWK 32B based on RWKV-6 architecture, another approach that reduces the entire knowledge processing time to just 8 hours using 16 AMD MI300X GPUs while maintaining Qwen 2.5's performance. In fact, the distillation process can utilize any LLM, not just Qwen, and enables knowledge transfer from larger LLMs to smaller ones with more fewer tokens. We will explain the detailed process and share our insights on building more powerful foundation models. Please note that this is an ongoing work that will be updated continuously. The model checkpoints and source code are available at \href{https://github.com/yynil/RWKVInside}{https://github.com/yynil/RWKVInside}, \href{https://huggingface.co/RWKV-Red-Team/ARWKV-7B-Preview-0.1}{https://huggingface.co/RWKV-Red-Team/ARWKV-7B-Preview-0.1}.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01