前回まで、以下記事内でAI画像生成と自作絵のLive2Dモデルの作成について試していきました。 となれば次は合わせ技でAI生成した画像をもとにLive2D化をここみないといけません。 今回試しに進めた流れを記録に残します。
Vtuberに試しになってみた話 - moao blog
勉強会 AI画像生成で遊んでみた話 - moao blog
先人様。参考サイト
waifu AI画像生成
まずはAI画像を生成しないと話になりません。以下サイトをもとに二次元に強いwaifuモデルをcolab上で使用して画像生成しました。 オプションなどを記録に残します。 好みのツインテール画像が生成されいい感じです。かわかわ。
Waifu Diffusion 1.5の使い方（Google Colab）
(waifu, best aesthetic, new, newest, best quality, masterpiece:1.2), upper body, 1girl, twintail, Negative prompt: (real) Steps: 40, Sampler: Euler a, CFG scale: 7, Seed: 209527926, Size: 512x512, Model hash: 5a5a5cf857, Model: wd15-beta1-fp16
レイヤ分け
次にクリスタで画像を開き消しゴムで消したり、選択ツールで分割していったり工夫してレイヤー分けします。さらに一枚絵には足りていない開いた口などは自身で描きます。 レイヤ分けしてpsdファイル生成すれば完了です。
ここは頑張りどころで、普段絵チャットなどで地道に作業している経験が少しは活かせました。 が、髪の毛の白抜きが面倒で白残りがあるのですが、これが後々響くことになります。
補完などうまくできていないため、不自然なところは残ってしまっています。 この補完は絵の上手い人が有利で、今後も絵の上手い人は仕事なくなることはないのだろうなと思いました。
Live2D化
psdファイルをLive2Dエディタに読み込ませ、各レイヤのメッシュ作成し、 パラメータを設定していきます。
以下を参考に進めていきました。目の開閉と口の開閉。髪の動きを主に設定。
live2Dのイラストの描き方！動かすにはパーツ分けなどの下準備が大事なんです！ | コミュ障でもいいのです。
アニメ付け
Live2D Editorの右下にある再生ボタン(ランダムモーション)をクリックし、モデルを動かします。 その次に、再生ボタンの左にある録画ボタン(赤丸)をクリック。モーション録画させ、良いかなというタイミングで止めます。
そしてファイル⇒動画書き出し⇒gifか動画(mp4)を出力させます。 gifだと背景は白いですが、動画にすると黒くなる?のでひとまずgifで出力。
動画化
WIndows動画エディタClipChampを使用して、gif読ませて動画作成。 以下にYoutube動画を示します。
あとがき
というわけで念願の可愛い感じのLive2Dモデルは作れ、それなりに動かせました。 粗はもちろんあるのですが、いろいろなことに活かせそうなので楽しいです。
白残りの失敗。不自然な噛みの動きなど絵のクオリティ面で課題はあります。
また、AI画像生成するときに自動でレイヤー分けした画像を生成できればいいのに。 あるいはせめて生成した画像を自動でレイヤー分けするツールが欲しい。 など効率化面の課題もあります。
次はクオリティ上げたものを作成できるようにしたいと思います。
