アーカイブ / Generative AI / Computer Vision / LLM
文章から動かせる2Dキャラクターを作るTextoon：部品の生成とLive2Dへの配置
Textoon
Textoonの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Examples of animatable 2D cartoon characters generated by Textoon.
概要
- 文章から部品の指定を抽出し、輪郭を制御して画像を生成した後、部品層へ配置する。
- 著者らは1分以内の生成と、部品指定抽出の正解率90％超を報告する。評価データや測定条件の詳細は確認できない。
- 細かな意匠の文章指定と、元のLive2Dモデルの層配置による部品形状の制約を、著者らは限界として挙げる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Textoonの仕組み
- 01外見の文章
- 02部品指定を抽出
- 03輪郭付き画像生成
- 04層の抽出と補完
- 05Live2Dモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Textoonは、文章で指定した外見から動かせる2Dキャラクターを作る方法である。Live2Dは、絵を部品ごとの層に分け、各層の点を動かして立体的な動きを表す技術を指す。
Live2Dの制作では、絵の層分けと、部品を変形用の点に結び付ける作業が必要になる。著者らは、この作業に時間がかかり、既存モデルの外見変更も難しいと説明する。文章から別の外観を作れれば、試作の手間を減らせる可能性がある。
手法
まず文章から前髪、目の色、服、靴などの指定を取り出す。著者らは文章と部品指定の対応例を64万組作り、言語モデルQwen2.5-1.5Bを調整した。例えば「青い目で長い髪の人物」を、目や髪の部品に対する指定へ分ける。既存Live2Dモデルの部品配置で輪郭を制御し、画像生成モデルSDXLで色や模様を描く。
必要なら、利用者が絵の一部に線と文章を加えて再編集する。完成画像からは、輪郭制御に使った型をマスクとして部品の画素を抜き出す。マスクは取り出す範囲を示す印である。頭に隠れた後ろ髪などは、見える部分の画素で埋めてから画像補完し、各層へ配置する。口にはARKitの表情表現に対応する変形を設定する。
新規性
著者らは、文章からLive2Dキャラクターを手作業の部品結び付けなしで生成する方法として、Textoonを提案する。部品の指定を読み取り、既存モデルの形を利用して外観を生成する。
生成した絵を部品ごとの層に戻し、隠れた部分を補完して動かせるモデルにする点も、一連の手順に含まれる。口にはARKitの表情表現に対応する変形を加えている。
従来手法との違い
従来のLive2D制作では、絵を部品の層に分け、変形を制御する点に結び付ける作業が必要になる。著者らによると、既存モデルの外観変更にも手間がかかる。Textoonは既存モデルの層と制御情報を利用し、文章から新しい外観を作る。
口の動きについて、著者らは一般的なLive2Dモデルで使う開口と口形の二つのパラメータを挙げる。提案法はARKitに対応する口の変形を加えるが、同じ条件で比較した数値は確認できた本文の範囲では示されていない。
実験結果
著者らは、単文から動かせるLive2Dキャラクターを1分以内に生成できると報告し、生成例を図で示す。文章から部品指定を抽出する段階では、正解率90％超と記す。処理速度はRTX 4090と4GBのメモリを用いた条件でミリ秒単位としている。
確認できた本文の範囲では、正解率を測った評価用データの件数や分割、比較対象、生成時間の測定条件は明示されていない。見た目の多様さ、動き、口の同期についても、数値による比較結果は確認できず、図による例示が中心である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：配信画面に置く案内役の試作に使う。担当者が髪型、目の色、服を文章で指定し、生成されたLive2Dモデルの見た目と動きを確認する。意図と違う箇所は絵に線を描き、文章を添えて再編集する。
必要な元データは、部品の層と変形情報を持つ既存のLive2Dモデルである。文章から部品を抽出する学習を再現するなら、文章と部品指定の対応例が要る。部品名がそのラベルに当たり、用途固有の語は対応付けを確かめる。文章による外観試作にセンサーは使わない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：部品の層と変形情報を持つ既存Live2Dモデルを一つ選び、使える髪、服、靴の種類を確認する。外見を指定する文章を少数用意し、各文章の期待する部品名を正解ラベルとして記録する。抽出の調整を再現する場合は文章と部品指定の対応例が必要で、用途固有の語に合わせて追加を検討する。
同じ文章を使った手作業の外観変更を基準に、部品指定の一致数、層の欠け、再編集回数、完成までの時間を測る。文章による外観試作に追加センサーは要らない。口の動きまで評価する場合は、その駆動入力を別途定め、同じ入力で変形を見比べる。
限界と課題
著者らは、文章では複雑で微妙な意匠を伝えにくく、細部を狙い通りに生成することが難しいと述べる。また、出力は元のLive2Dモデルの部品層の配置に制約され、作れる部品の形にも限りがある。
編集上の検証事項は、必要な髪型や装飾が選んだ層構造に収まるか、隠れた部分の補完に欠けが出ないか、何回の再編集で使える状態になるかである。1分以内という所要時間も、文章の内容と修正の有無をそろえて測り直す必要がある。
出典
元のタイトル・要旨を確認する（英語）
Textoon: Generating Vivid 2D Cartoon Characters from Text Descriptions
The 2D cartoon style is a prominent art form in digital character creation, particularly popular among younger audiences. While advancements in digital human technology have spurred extensive research into photorealistic digital humans and 3D characters, interactive 2D cartoon characters have received comparatively less attention. Unlike 3D counterparts, which require sophisticated construction and resource-intensive rendering, Live2D, a widely-used format for 2D cartoon characters, offers a more efficient alternative, which allows to animate 2D characters in a manner that simulates 3D movement without the necessity of building a complete 3D model. Furthermore, Live2D employs lightweight HTML5 (H5) rendering, improving both accessibility and efficiency. In this technical report, we introduce Textoon, an innovative method for generating diverse 2D cartoon characters in the Live2D format based on text descriptions. The Textoon leverages cutting-edge language and vision models to comprehend textual intentions and generate 2D appearance, capable of creating a wide variety of stunning and interactive 2D characters within one minute. The project homepage is https://human3daigc.github.io/Textoon_webpage/.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01