初めて手書き絵から生成してみました

Ame_no_Uzume_no_Mikotoさん主催の投稿企画「初めての挑戦」に参加します😊

初めて手書きからうちの子を生成してみました🥰
普段は下絵を使うにしても絵心が無いので手書きはしたことがありませんでした。今回は企画ということで良い機会をいただきました。ありがとうございます😊

以下に元絵から完成までの手順を書いていますが、面倒じゃない方はお読みいただけると嬉しいです😊

ポイントは服装などの見た目とポーズを保ったまま生成するというところなのですが、普段はこんなバランスの悪い下絵を使うことは無いですし、i2iを併用したらもっと少ない手順で完成させられると思います。
ですが、今回は手順を見ていただくことを目的として、ちょっと回りくどい手順にしていますので、無駄なことしてんなーと思われたとしてもご容赦ください🙇

以下、それぞれの画像の解説になります。1枚目は完成形ですので2枚目からになります😊

【2枚目】マウスで手書きした元絵です。色塗りは面倒なので、i2iではなくControlNetのLineartを使ってt2iでこの元絵から段階的に生成を進めていきます。

【3枚目】Lineartは黒地に白線で読み込ませるので色反転します。

【4枚目】まずは分かりやすいようにイラストで生成してみました。色情報もAIがつけてくれたので、次はこの画像をベースにプリプロセッサを使ってまたLineartで生成します。次はフォトモデルを使ってみます。

【5枚目】フォトモデルを使って生成しました。良くある、イラストからフォトにi2iしたときのお顔になってますね。以降も生成した画像をベースにLineartで生成していきます。

【6枚目】プロンプトにうちの子こはるの要素を入れて生成しました。お顔はこはるになりましたが、頭でっかちでバランスが悪いです。

【7枚目】頭でっかちを解消するためにLineartのウエイトを落とします。ウエイトを落とすと今度はポーズが崩れてしまうので、ControlnetのOpenposeを併用します。Dw_Openposeなどの顔まで細かく設定してくれる棒人間だと逆に自由が効きにくいと思ったので、今回はこの昔ながらの棒人間を使いました。

【8枚目】Openposeでポーズをしっかりと保ったまま、Lineartのウエイトを落として頭でっかちを解消しつつ生成しましたが、まだ少しだけ頭が大きいような気がします。以降は微調整をして完成（1枚目）です！😄


なお、Openposeを使うと後はLineartを使わなくてもプロンプトでどうにでもなりそうですが、Openposeは体の微妙な向きなどは調整できないため、Lineartは最後まで併用する方が良いと思います🥰

最後まで読んでいただいた方、お付き合いいただきましてありがとうございました！😍