Vtuberの推しが卒業してから、一年以上経過しました。 公式から登場することは今のところありません。
そんな中、LoRAで似た画像を生成できることがわかりました。ならば推しの画像を。。と思い調べていたら、 以下発見してしまいました。 試してみるしかない。
鈴原るる/suzuhara lulu | Stable Diffusion LORA | Civitai
LoRAで推しの見た目を指示
↑のモデルをLoraディレクトリに格納。 Generateボタンの下のShow Extra networksをクリックでメニュー表示。 Loraを選択し、↑のモデルを選択
stable-diffusion-webui\models\Lora
1 girlとかで適当に生成させると以下のような画像を生成可能。 これは。。確かに推しと雰囲気似てる。
Controlnetで動きを指示
ここまで来たら動きも支持したいと思いました。 以下を参考にcontrollnetを入れて、動画作成まで進めました。 今回はcannyを使って進めました。
ポーズを指定して画像を生成できる「ControlNet」の使い方【Stable Diffusion web UI】 | くろくまそふと
Blender＋ControlNetを用いたアニメーションの作り方
以下詰まったところをメモします。
ControlNet - としあきdiffusion Wiki*
Settings → ControlNet → Allow other script to control this extensionをONにして、ページ上部にある Apply setting を押す
- 画像は生成されてもgifが生成されずにディレクトリがないとエラーが出る
stable-diffusion-webui\outputs\txt2img-images\controlnet-m2mのディレクトリを作成すればgifが生成されました。
ちなみに以下に画像保存されているので、次節で示しますがGimpでgif化可能です。
stable-diffusion-webui\outputs\txt2img-images
アニメ生成に時間がかかる
mp4が30fpsで作られていれば1秒につき30枚画像を作成するみたいです。
controlnetのdurationはあくまで一枚一枚の間隔を示すだけで実行時間には影響しないよう。
動画を数倍速にして時間を1秒未満に短くして実行して、durationを間隔を広げました。動きの大きい動画を使用すると、衣装も大きく変わり、動画に見えない
衣装の指示をテキストでする。controlnetのエッジの閾値いじる
ただ↑をしても万全でないのでopenposeとかのほうがよいのかも
gif作成はGIMP
以下参考にGIMPでgif生成可能でした。 これで背景消してからgif化とかも可能そうです。
GIMP（ギンプ）でgifを簡単に作成する「画像があれば１分で作成できます！」│初心者ブログから成功へ
最後に今回の最終成果物を示します。 入力画像は以前生成した以下Youtube動画ですが、ツインテールまで再現してくれて感動です。 ただ、あんまり動いていないのでわかりずらいですね。
あとがき
というわけで推しや!!とばかりに勢い進めていきました。 自分の好きなキャラを生成できると楽しく気が付けば一日が終わっていました。 次回は動きを大きくつけたり、背景もよい感じにつけたり、 クオリティアップはかりたいですね。
勢い進めたので記録がうまくのこせず散文になっていますね。。
