AnimeGamer: 言語コマンドでアニメ動画とキャラクターのインタラクションを生成するオープンソースツール

はじめに

AnimeGamerは、テンセントのARC Labが提供するオープンソースツール。ユーザーは、「宗介が紫の車でドライブする」といった簡単な言語コマンドでアニメ動画を生成し、『魔法少女の冒険』のキキや『天空の城ラピュタ』のパズなど、さまざまなアニメキャラクターを相互作用させることができる。これはMLLM（Multimodal Large Language Model）に基づいており、スタミナや社会的価値といったキャラクターのステータスを更新しながら、首尾一貫したアニメーション・セグメントを自動的に作成する。プロジェクトのコードとモデルはGitHubで無料で公開されており、アニメファンや開発者が制作や実験に利用できる。

機能一覧

• アニメーションビデオの生成：言語コマンドを入力して、キャラクターの動きやシーンのアニメーションクリップを自動生成。
• キャラクター・インタラクション・サポート：さまざまなアニメのキャラクターが出会い、交流し、新たなストーリーを生み出します。
• キャラクターステータスの更新：スタミナ、社会性、娯楽性など、キャラクターの数値の変化をリアルタイムで記録。
• コンテンツの一貫性を保つ：過去の指示に基づき、一貫したビデオとステータスを確保する。
• オープンソースの拡張機能：完全なコードとモデルが提供され、開発者はそれらを自由に適応させることができる。

ヘルプの使用

AnimeGamerはプログラミングの基礎が少し必要ですが、インストールや使い方の手順は難しくありません。ここでは、すぐに使い始められるように、詳しい手順を説明します。

設置プロセス

1. 環境を整える
   Pythonが使えるコンピューターが必要で、できればGPU（最低24GBのビデオメモリー）が必要です。GitとAnacondaをインストールし、ターミナルに入力する：

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer

仮想環境を作る：

conda create -n animegamer python=3.10 -y
conda activate animegamer

2. 依存関係のインストール
   仮想環境で動作する：

pip install -r requirements.txt

これでPyTorchなどの必要なライブラリがインストールされます。

3. ダウンロードモデル
   3つのモデルファイルを以下にダウンロードする。 ./checkpoints フォルダー

• AnimeGamerのモデル：ハグする顔.
• ミストラル-7Bモデル：ハグする顔.
• CogvideoXの3D-VAEモデル: こちらへ checkpoints フォルダで実行する：

  cd checkpoints
  wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1 -O vae.zip
  unzip vae.zip
  

モデルがすべて正しい場所にあることを確認する。

4. 試験施工
   ホームディレクトリに戻り、実行する：

python inference_MLLM.py

エラーが出ないということは、インストールが成功したことを意味する。

主な機能の使い方

AnimeGamerの核心は、言葉によるコマンドを使ってビデオやキャラクターのやり取りを生成することである。その仕組みは以下の通り：

アニメビデオの作成

• 動く

1. コンパイラ ./game_demo コマンドファイルを instructions.txt.
2. 例えば、「宗介が森の中を紫色の車で走り回っている」というようなコマンドを入力する。
3. MLLMを実行して表現を生成する：

python inference_MLLM.py --instruction "宗介在森林里开紫色车兜风"

4. ビデオにデコードする：

python inference_Decoder.py

5. ビデオは ./outputs フォルダー

• 銘記する
  指示は、映像がより期待に沿うように、明確な文字、行動、場面で書かれるべきである。

キャラクターとの交流

• 動く

1. キキがパズズにほうきを飛ばすことを教える。
2. 上記の手順を実行し、インタラクティブビデオを作成します。

• 特性
  さまざまなアニメのキャラクターをミックスし、相互作用させることで、ユニークなシーンを作り出すことができる。

キャラクターステータスの更新

• 動く

1. 例えば、「宗佑は走った後で疲れている」など。
2. うごきだす inference_MLLM.pyステータスは次のように更新されます。 ./outputs/state.json.

• 注意を引く
  ステータスは、一貫性を維持するために、過去の指示に従って自動的に調整される。

カスタマイズと技術的詳細

機能を変更したいですか？直接編集できます ./game_demo AnimeGamerのテクニックは3つのステップで機能する：

1. 行動表現をエンコーダーで処理し、拡散デコーダーが映像を生成する。
2. MLLMは過去の指示に基づいて次の状態を予測する。
3. ビデオ品質を向上させるためにデコーダーを最適化する。
   詳細はGitHubのREADME.mdにある。

最新動向

• 2 2025年4月：『魔女の家』と『崖の上の金魚ちゃん』のモデルウェイトとペーパーを発売(arXiv).
• 1 2025年4月：推論コードが公開された。
• 今後の計画：Gradioのインタラクティブデモとトレーニングコードを発表。

よくある質問

• スロージェネレーション？ GPUに十分なメモリ（24GB）があることを確認するか、ドライバを更新してください。
• モデルのダウンロードに失敗しましたか？ ハギング・フェイスから手動でダウンロードする。
• エラーを報告しますか？ Pythonのバージョン（3.10が必要）と依存関係をチェックする。

以上の手順で、AnimeGamerでアニメビデオやキャラクターとのやり取りを作成することができます。

アプリケーションシナリオ

1. アニメ・マンガ制作
   アニメファンは、さまざまなキャラクターが交流する動画を作成し、友人と共有するために使うことができる。
2. ゲーム・テスト
   開発者はこれを使って、ダイナミックコンテンツのプロトタイプを素早く作成し、アイデアをテストすることができる。
3. 実践学習
   学生たちはこれを利用して、マルチモーダル技術や映像生成について学び、AIを実際に体験することができる。

品質保証

1. プログラミングの知識が必要ですか？
   インストールとチューニングには基本的なPythonの知識が必要だが、簡単なコマンドで動作する。
2. どのような役割がサポートされるのか？
   魔法少女まどか☆マギカ』と『崖の上の金魚姫』をサポート。
3. 市販されていますか？
   ただし、Apache-2.0プロトコルに従ってください。