アーカイブ / VLM / Generative AI
Janus-Pro：画像の読解と文章からの画像生成を、用途別の画像処理経路で扱う
Janus-Pro
Janus-Proの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Comparison of text-to-image generation between Janus-Pro and its predecessor, Janus. Janus-Pro delivers more stable outputs for short prompts, with improved visual quality, richer details, and the ability to generate simple text. The image resolution is 384 × 384 384\times 384 . Best viewed on screen.
概要
- 画像理解と画像生成で別々の画像符号化経路を使い、共通モデルで回答文や画像を順に予測する。
- 著者らの評価では、Janus-Pro-7BはMMBenchで79.2、GenEval総合値で0.80を記録した。
- 384×384画素の制約が細部の読解と生成に影響するため、製品用途では印字や仕様の照合が必要となる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Janus-Proの仕組み
- 01写真と質問・文章指示
- 02用途別に画像を符号化
- 03共通モデルが順次予測
- 04回答文・生成画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Janus-Proは、画像を見て質問に答える作業と、文章の指示から画像を作る作業を一つのモデルで扱う。画像の意味を読み取る処理と、画像の見た目を組み立てる処理では必要な情報が異なり、同じ画像変換経路を使うと性能上の衝突が生じうる。
前身Janusは経路を分けたが、著者らは学習データとモデル規模が限られ、短い指示からの画像生成が不安定だったと述べる。実務で両機能を使うには、質問への回答だけでなく、指示に沿う画像を安定して得られるかも確かめる必要がある。
手法
写真について答える場合は、SigLIPという画像用の符号器で意味に関わる特徴を取り出し、接続用のネットワークを介して共通の言語モデルへ渡す。画像生成の学習では、VQトークナイザーで画像を離散的な番号の列に変える。これは画像を有限個の候補に対応する番号で表す仕組みで、生成した番号列は画像に復元される。
共通モデルは、回答の単語や画像の番号を一つずつ予測する。例えば製品写真と「本体の色は何か」という質問には回答文を、色と構図を記した文章には画像を出す。学習では、最初に分類名からの画像生成を長く行い、次に詳しい文章と画像の対応を学ぶ。最終段階では画像理解・文章・画像生成データの比率を5：1：4にした。
新規性
Janus-Proは、画像理解と画像生成で視覚情報の変換経路を分ける前身Janusの構造を引き継ぐ。著者らが変更したのは、主に学習手順、データ量、モデル規模である。
第1段階の学習を長くし、第2段階からImageNetの分類名による画像生成学習を外した。画像理解用に約9,000万件、画像生成用に約7,200万件のデータを追加し、7Bモデルも用意した。
従来手法との違い
前身Janusは画像理解と生成の経路を分けていたが、著者らは短い指示による画像生成と品質の安定性に課題があったと述べる。Janus-Proはこの構造を保ち、学習データの配分を変えた。
Janusでは第2段階の画像生成学習手順の66.67％を、ImageNetの分類名から画像を作る学習に充てていた。Janus-Proではそのデータを第1段階でより長く使い、第2段階は詳しい文章に対応する画像生成データで学習する。
実験結果
著者らは画像理解をMMBenchなど、文章からの画像生成をGenEvalとDPG-Benchで評価した。Janus-Pro-7BのMMBench得点は79.2で、前身Janusの69.4を上回った。GenEvalの総合値は0.80で、Janusの0.61、Stable Diffusion 3 Mediumの0.74と比較されている。
DPG-Benchは長く詳しい指示文1,065件で構成され、著者らの報告では総合得点がJanus-Pro-7Bで84.19、Janusで79.68だった。評価時の画像は384×384画素に調整されている。これらは指定された評価課題での結果であり、製品写真の照合やカタログ制作を測った数値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。製造業の製品カタログ制作で、既存の製品写真と仕様文を入力し、写真への質問の回答と、未撮影ページの構図を検討するラフ画像を得る。担当者が実物との一致を確認してから制作指示に使う。
最初は追加学習を行わず、製品名と構図を指示文に記す。必要な元データは既存写真と仕様文で、新しいセンサーは使わない。検証には色、部品数、配置の正解ラベルを人手で付ける。対象製品への追加学習が必要かは、この試行後に判断する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。少数の既存製品写真、仕様文、ラフ画像用の指示文をそろえる。最初は追加学習用データを使わず、新たなセンサーも設けない。担当者が色・部品数・配置の正解ラベルを付け、質問への回答と生成画像を照合する。
基準は現在の人手による確認・ラフ制作工程とし、同じ対象について属性の一致件数、事実と異なる描写の件数、確認時間を記録する。まず指示文を調整し、必要なら製品写真と仕様文の対を追加学習用データとして整備する。印字と細部は人が拡大して確認する。
限界と課題
著者らが報告する制約は、画像理解の入力が384×384画素に限られ、OCR（画像内の文字を読み取る作業）など細部を扱う課題に影響することだ。画像生成でも、低解像度と画像の符号化・復元に伴う損失により、小さな顔などの細部が不足しうる。
編集上の検証事項は、製品の印字や形状を読み取れるか、生成画像に実物と異なる部品や仕様が混ざらないかである。掲載された評価得点から、製品カタログでの正確さや人による確認時間は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling
In this work, we introduce Janus-Pro, an advanced version of the previous work Janus. Specifically, Janus-Pro incorporates (1) an optimized training strategy, (2) expanded training data, and (3) scaling to larger model size. With these improvements, Janus-Pro achieves significant advancements in both multimodal understanding and text-to-image instruction-following capabilities, while also enhancing the stability of text-to-image generation. We hope this work will inspire further exploration in the field. Code and models are publicly available.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01