How to Create Live-Action x Hand-Drawn Animation VFX | ChatGPT x Seedance 2.0

@genel_ai
日本語13 時間前 · 2026年7月27日
112K
118
10
1
230

TL;DR

This tutorial reveals a precise workflow for creating hybrid live-action and hand-drawn animation videos by using ChatGPT to structure time-coded prompts for the Seedance 2.0 video generator.

こんにちは!GENELです。

今回作ったのは、実写の部屋に手描きのアニメーションが飛び出してきて、そのまま部屋の中でアニメーションが遊んでいる、という実写×アニメーション動画です!

https://x.com/genel_ai/status/2081307056838263052

今回は、

  • この動画の作り方
  • 実際に使用したプロンプト

をご紹介していきます!

いきなりプロンプトを書くと失敗する

この手の映像って、いきなりなんとなくでプロンプトを書き始めると、まず思い通りになりませんよね。

「実写の夜の遊園地で手書きアニメーションが融合&それをカメラは追う~」みたいなプロンプトで生成されたのがこちら👇🏻

GENEL | AIを用いた動画制作 - inline image

良いところもあるけど、手書きアニメーションっぽさがない部分もあり、ちょっと違うかも…って感じました👀

なので今回は、秒単位で細かく舞台設定を考え、プロンプトにしました。

まずは構成を4つに絞る

いきなり秒数を決める前に、15秒の中で何が起きるのかをざっくり決めます。ここで欲張ると必ず破綻するので、話の骨だけを4つに絞りました。

  1. 手からアニメーションが生まれる
  2. PCの画面の中に入る
  3. PCから飛び出して部屋を移動する
  4. モンスターに変わる

こんな感じで、「落書きが現実の部屋に侵食してくる」という、一本の流れですね。

GENEL | AIを用いた動画制作 - inline image

他にもやらせたいことは色々あったんですが、15秒だとまず入りません。ここは我慢どころです💦

秒数に割り振る

構成が決まったら、それを時間に落とし込みます。

0〜3秒:

手から白い線が生まれ、黄色い星になってPCへ飛ぶ

3〜6秒:

PC画面の中で赤い線→ハート→青い渦に変わり、外へ飛び出す

6〜10秒:

蝶→ピンクの蛇→タコのモンスターに変形しながら部屋を移動

10〜13:

秒冷蔵庫を開けるとハンバーガーのキャラ→モンスター化

13〜15秒:

壁に巨大な目が現れ、まばたきして笑顔に変わる

前回のVFX記事でも書きましたが、時間で区切って順番に書くのが安定します。

【前回の記事はこちら】

https://note.com/genel/n/nb2c4b89fa1d8?sub_rt=share_sb

ダラッと状況説明するより、区間ごとに分けたほうが指示が通りやすい印象です!

使ったツールは「ChatGPT」と「Seedance2.0」

ここまで決まったら、あとは動画にするだけです。

今回使ったのAIツールはこの2つだけでした。

①ChatGPT

|ここまでの設計図をプロンプトに変換する ②

Seedance 2.0

|そのプロンプトで動画化する

ポイントは、ChatGPTに「いい感じの動画を考えて」と丸投げしないことですね。

設計図を自分で持った状態で渡すと、ほぼそのまま形になります。

逆に丸投げすると、最初の遊園地みたいな当たり障りのないものが返ってきます。

ただ、決めたことをそのままChatGPTに投げると、情報がバラけた読みにくい文章が返ってきます。それをそのままSeedanceに渡しても、やっぱり安定しません。

なので、出力する順番まで指定しました。

①冒頭の1行(尺・アスペクト比・何と何を融合した映像か) ②実写空間の雰囲気と、スマホ撮影らしい質感 ③秒ごとの動き(0〜3秒 / 3〜6秒 / 6〜10秒 / 10〜13秒 / 13〜15秒) ④最後にまとめて、手描きの質感・カメラの追従方法・禁止事項・環境音

実際にChatGPTへ渡した指示文がこちらです👇🏻

text
1【ChatGPTへの指示文】
2これから15秒の動画生成用プロンプトを作ります。
3以下の設計図をもとに、動画生成AIへ渡すプロンプトに変換してください。
4設計図
5舞台:暖色の間接照明と小さなイルミネーションだけで照らされた、生活感のある暗い部屋
6映像の種類:実写 × 手描きの発光アニメーション
7起きること
80〜3秒:手から白い線が生まれ、黄色い星になってPCへ飛ぶ
93〜6秒:PC画面の中で赤い線→ハート→青い渦に変わり、外へ飛び出す
106〜10秒:蝶→ピンクの蛇→タコのモンスターに変形しながら部屋を移動
1110〜13秒:冷蔵庫を開けるとハンバーガーのキャラ→モンスター化
1213〜15秒:壁に巨大な目が現れ、まばたきして笑顔に変わる
13書き方のルール
14・形が変わるときは「消えて次が出る」ではなく「崩れながら次の形へ変形する」と書く
15・各区間の最後に、必ずカメラの動きを書く。アニメーションが先に動き、カメラが遅れて追う
16・カットを切り替えず、同じ空間の中を歩いて追いかけている連続性を保つ
17・実写側は、スマホの片手撮影。手ブレ、暗所ノイズ、ピントの迷い、オート露出の揺れを残す
18・手描きアニメは、クレヨン、チョーク、色鉛筆、粗いブラシの質感。線が毎フレーム揺れ、塗りムラと毛羽立ちがある
19出力の順番
201.「15秒、16:9の横動画。実写の〇〇と、手描きの発光アニメーションを融合した映像。」の1行
212. 実写空間の雰囲気と、スマホ撮影らしい質感
223. 0〜3秒 / 3〜6秒 / 6〜10秒 / 10〜13秒 / 13〜15秒 の各区間
234. 最後にまとめて、手描きアニメの質感、カメラの追従方法、禁止事項、環境音
24プロンプト内に必ず含める禁止事項
25精密すぎる3DCG、滑らかすぎるベクター線、ネオンチューブのような表現、
26完全に安定したジンバル撮影、映画的すぎる照明、広告写真のような整った構図、
27字幕、ロゴ、BGM
28見出しや解説は不要です。プロンプト本文だけを出力してください。
GENEL | AIを用いた動画制作 - inline image

実際のChatGPTのチャット画面

これで出来たプロンプトがこちらです👇🏻

text
115秒、16:9の横動画。実写の暗い室内と、手描きの発光アニメーションを融合した映像。
2暖色の間接照明と小さなイルミネーションライトだけで照らされた、少し散らかった生活感のある部屋。スマートフォンで片手撮影したような強めの手ブレ、わずかなピントの迷い、暗所ノイズ、オート露出の揺れ。広告映像のように整えず、個人が自室で偶然撮影したようなリアルな質感。
30〜3秒:
4画面左に持ち上げられた実写の手。指先から白い手描きの線が生まれ、実写の手にまとわりつきながら、もう一つの白い手の形になる。線はクレヨンやチョークで描いたように毛羽立ち、フレームごとに細かく揺れる。白い手は崩れながら黄色い小さな星へ変形し、尾を引いて画面右下のノートPCへ飛んでいく。カメラは少し遅れて星を追い、急激に右下へパンする。
53〜6秒:
6黄色い星がノートPCの画面へ入り込む。PC画面上で赤い手描き線が激しく走り書きされ、その線が一瞬で赤いハートへ変形する。ハートは震えながら青い渦へ変わり、PC画面の外へ勢いよく飛び出す。青い線は液体と炎の中間のように伸び、カメラはそれを追って上方向へ素早くチルトする。急なカメラ移動による自然なモーションブラー。
76〜10秒:
8青い渦が壁の上で水色の蝶へ変わり、部屋の奥へ飛んでいく。カメラは歩きながら蝶を追う。蝶はピンク色の蛇のような線へ変形し、壁、扉、床を這いながら進む。扉の中央でピンクの線が渦を巻き、小さなタコのような手描きモンスターへ変身する。モンスターは一瞬こちらを見て、すぐに冷蔵庫の方向へ逃げる。カメラも慌てて追いかける。
910〜13秒:
10冷蔵庫の扉に黄色い手描きの光線と矢印が現れ、扉が勢いよく開く。青白い冷蔵庫の内部に、目と細い手足のついた可愛いハンバーガーのキャラクターがいる。次の瞬間、ハンバーガーの口が大きく裂け、赤い口内と三角形の牙を持つコミカルなモンスターへ変形する。撮影者が驚いたようにカメラが大きく揺れ、冷蔵庫の扉を急いで閉める。
1113〜15秒:
12カメラが後ろへ下がりながら部屋全体を映す。壁の上部に白い巨大な目の輪郭が描かれ、内部に鮮やかな青い瞳が現れる。目が一度ゆっくりまばたきした直後、ピンクと白の巨大な笑顔と大量の三角形の歯へ変形する。カメラが驚いて傾き、画面が暗くなって終了。
13手描きアニメーションは、滑らかすぎるCGではなく、1フレームずつ描き直したようなラフなフレームアニメーション。線の太さ、輪郭、塗りが常に微妙に揺れ、クレヨン、チョーク、色鉛筆、粗いブラシの質感が残っている。白、黄色、水色、ピンク、オレンジを中心とした鮮やかな発光色。アニメーションの周囲には弱いグローがあるが、実写空間を強く照らしすぎない。
14カメラは常にアニメーションの少し後を追う。アニメーションが先に画面外へ移動し、その方向へ手持ちカメラが遅れてパン、チルト、前進する。完全に安定したジンバル撮影は禁止。精密すぎる3DCG、滑らかすぎるベクター線、映画的すぎる照明、過度な被写界深度、広告写真のような整った構図、字幕、ロゴ、BGMは使用しない。室内音、衣擦れ、足音、PCの小さな動作音、冷蔵庫の開閉音、手描き生物の軽い電子音とコミカルな鳴き声のみ。
GENEL | AIを用いた動画制作 - inline image

実際のChatGPTのチャット画面

あとはこのプロンプトを、動画生成AI「Seedance2.0」で『テキストから動画化』します!

Seedance2.0についてはこちらのnoteを参考にしてみてください◎

Seedance2.0の記事はこちら

https://note.com/genel/n/n3aac3300f211?sub_rt=share_sb

あとはできたプロンプトをコピペして、生成時間を15秒に設定し、動画生成するとこんな感じになります!

GENEL | AIを用いた動画制作 - inline image

めちゃくちゃいい感じになりました!

BGMはSUNOで生成したBGMを後付けしています◎

別バージョンにアレンジする方法

ここからが今回一番おすすめしたい部分です💡

「GENELと全く同じ動画は作れるようになったけど、別の動画を作りたいときはどうすればいいの?」

って思いますよね👀

📢ということで、アレンジ&量産できる指示文を用意しました!!

この指示文をコピペするだけでこんな感じの動画がポンポン生成できます◎

GENEL | AIを用いた動画制作 - inline image
GENEL | AIを用いた動画制作 - inline image

この先はこちらのnoteでご紹介していますので、気になる方はぜひ✨

https://note.com/genel/n/nd1b5b0129ab5?sub_rt=share_sb

YouMindで再制作

Turn one viral article into a full content workflow

Collect the source, decode the pattern, create assets, draft the story, and distribute from one AI workspace.

Explore YouMind
クリエイターのために

あなたの Markdown をきれいな 𝕏 記事に

自分の長文を投稿するとき、画像・表・コードブロックを 𝕏 向けに整形するのは手間がかかります。YouMind は Markdown 全体を、そのまま投稿できるきれいな 𝕏 記事に変換します。

Markdown → 𝕏 を試す

解読すべきパターンをもっと

最近のバイラル記事

バイラル記事をもっと見る