Stable Diffusionは以前からたまに触っていますが、低ステップでもある程度の品質で出せるLCM＿LORAが話題になってからペイントソフトのKritaのプラグインとしてリアルタイム描写があるようなので使用してみました。
今回はある程度知識がある前提で、説明等は省いていきます。
PCにGPUを搭載していないと動作できません、導入前に確認しましょう。
構築環境ではRTX3060Ti（8GB）を使用しています。
事前準備
Krita（ペイントソフト）
公式サイトからDL、プラグインで推奨されている物を使用（5.2.1）
導入前にプラグイン側で指定が無いか確認する
サイト内に日本語表示切替有
ダウンロードのタブからファイルをDLしてインストール。
プラグイン
Gitでこちらの方のプラグインを今回は使用します。
環境構築時はver1.8.0を使用しました。
設定関係
インストールしたkritaを起動します。
ツール→スクリプト→Pythonプラグインをファイルからインポートまで移動してクリック。
プラグインをDLしたフォルダまで移動して、ZIPファイルを指定して開くをクリック。
プラグインをアクティブにするか聞かれるので、問題なければはいを選択してソフトを再起動。
自動では再起動しないようなのでいったんソフトを閉じてから起動します。
起動したら設定を行いますが、そのままでは設定を進められないので開始の「新しい画像」をクリックします。
特に何も弄らないで、作成をクリックします。
キャンパスが作成されると先ほど変更できなかったプラグイン関係を弄れるので設定を行います。
プラグイン設定
設定→ドッキングパネル→「AI Image Generation」をチェック。
環境によって順番は違うかもしれません。
チェックを入れるとこちらの設定前後画像のように変わります。
こちらの画面になったら、「Configure」をクリック。
設定画面でインストール先や、チェックポイント（モデル）などの設定画できます。
またすでに構築してある場合はそちらを使用することができますが、分けておいた方が管理とトラブルが少ないので新規での導入をお勧めします。
XLやcontrolnetも同時にインストールできますが、後からでも追加でインストールできるので初期状態でまずは作業してみます。
設定等確認したら「install」をクリックします。
インストールが終わると、表示が切り替わります。
設定でチェックを入れた部分がインストールされていれば導入はこれで完了です。
次回以降の起動方法
インストール直後はそのまま使用できますが、一度ソフトを終了させると次回以降の起動時に自動では起動しません。
起動後に設定時と同じように「Configure」をクリックすると設定画面が表示され、installの表示だった部分がLaunchになっているので、そちらをクリックします。
少し待って起動が終わると表示が変わるのでこれで使用できる状態になります。
イラスト作成手順
まずは開始の新しい画像でキャンパスのサイズを設定します。
今回はSD1.5のモデルを使用するので512*512を選択します。
SD1.5は512*512
立ち絵や横長で作成時は片側を768にすると画像が破綻しにくいです。
XLは1024*1024
学習データの関係でそれ以下にすると画像が破綻しやすくなるため。
作成時にキャンパスが大きいと処理に負担がかかるので作成後にアップスケールしましょう。
作成をクリックしたら、先ほど設定で説明した起動した状態にします。
起動後画面が切り替わったら、こちらのテキストボックスに出力したい画像のプロンプト（単語や文章）を記入します。
「Generate」をクリックすると画像が作成されます。
絵柄などを変更したい場合は、プリセットを切り替えます。
また初期状態のプリセット以外を使用する場合や細かい設定を行う場合は、その隣の歯車マークをクリックして設定を開きます。
設定の「styles」でプリセットを作成したり編集したりできます。
Style Prompt
絵柄や、品質や画質の向上などのプロンプトを入力する箇所です。
プリセットのcinemaでは、写真風やフィルムなどのプロンプトが入力されています。
Negative Prompt
こちらは先ほどとは逆に出力して欲しくないものに関するプロンプトを入力します。
実写風にしたいときは、イラストやCG風などのプロンプトを入力しておきます。
また低品質や破綻したなどや沢山の指のようにAIで出力されやすいプロンプトなどを入力しておくと、質の高い画像が作成されやすくなります。
それ以外にも初期状態では裸体などが作成される場合があるので、nsfw(英語圏で回覧に適さないの意)などのプロンプトを入れると作成されにくくなります。
リアルタイム作成
先ほどまでは、今までの画像生成とそこまでは変わりませんが、今回注目されているのはこちらの機能だと思います。
事前準備
設定画面から、「controlnet」を選択してインストールします。
導入したいものにチェックを入れてインストール。
とりあえず試すだけなら「Scribble」のみでOKです、XLは導入していなければ不要。
詳しく解説されているサイトが沢山あるので、どのようなものがあるかだけ軽く。（折り畳み表示）
使用したことのない機能が多いので覚書程度です。
Scribble
落書きやラフ画を元に作成する。
マウスでそれっぽい形にするだけでも可。
Lineart
入力されたものを線画にしてから作成。
写真などを実写風イラストにしたり、手書き風イラストなど。
Soft edge
線画から作成する機能。
他のより線の影響が強いので、細かい線画特徴のイラストや造形が細かい物など。
あまり使用したことが無いためうまく説明できません。
Canny
線画、イラストなど
Depth
深度、奥行き
写真や3Dモデルなど、立体的感を維持したい場合に使用。
Normal
法線マップ
凹凸などに強いらしい。
あまり使用したことが無いです。
Segmentation
領域分け
人物と家具の配置など、オブジェクトを分けるときに使用。
Pose
棒人間でポーズを指定するなどの機能
使用方法
プリセットとプロンプトを入力して、ブラシマークをクリックして「LIVE」に変更。
隣に表示された△のマークをクリックします。
レイヤーを追加します。
追加されたら、Image→Scribbleを選択。
「Strength」が初期だと30位なので70～90辺り好みで変更。
書いてる線や画像に近づけたい場合は数値を少なくします。
レイヤーは90位に変更。
風景みたいな感じも、でかいブラシで線だけ引いてもそれっぽくなりました。
右下の作成されたものを保存したいときは、△マークの隣をクリックするとレイヤーに追加されます。
checkpoint（モデルデータ）の追加方法
初期で導入できるCheckpoint（モデルデータ）以外も導入可能。
以前のバージョンでは表示がありませんでしたが、1.8導入時にフォルダマークが追加されました。
以前のバージョンでもフォルダに直接アクセスすれば可能。
Model Checkpointのフォルダマークをクリック、開かれるフォルダに用意したCheckpointを入れます。
プリセットの＋マークをクリックして、プリセットの名前を入力。
ModelCheckpointから使用するデータを選択、表示されない場合は更新マークをクリック。
後はプロンプトなどの設定を行えば使用できます。
またLORAも導入できますし、開いたフォルダから上の階層にVAEのフォルダや各種拡張があるので対応する物があれば一部は使用可能でした。
アップデート
インポートで適応
最新版をスクリプトのインポートで適応する。
以前のバージョンはできる場合がありましたが大きな変更がある場合は反映されないかもしれません。
直接書き換え
GITからダウンロードしたファイルを解凍して上書きします、直接書き換えたファイルなどがある場合はバックアップを取っておきましょう。
C:\Users\ユーザー名\AppData\Roaming\krita\pykrita上書きで特に問題は無いと思いますが、心配ならバックアップを撮っておきましょう。
最後に
環境を構築してまだほとんど触っていないので、導入だけになってしましましたが機能の追加や変更が速いので準備する段階を書いてみました。
自分でチェックポイントやLORAを導入できるようなので、そのあたりも後日追記か別記事にできればと思います。
最後までありがとうございました。