徒然なるままに

作業しながら…  データコンバート作業に時間がかかるので、指示を与えながらローカルで少し遊んでみた。 stable-diffusion-webuiを試していて、新しいモデルを読み込んでテストしてみた。 まずは、Promptに 「hacking girl, japanese anime, illustration」を設定。 Modelは「sd_xl_base_1.0.safetensors」 すると、本開いて何してんねん？という（笑） 背景の「手」って？？？ ホラー系？という感じのキャラクターになっている。 ということで、この結果をimg2imgに渡し、さらにModelを「sd_xl_refiner_1.0.safetensors」に変更。 Negative Promptに「text」を設定する。 で、出力結果がこれ。 Hackingはしていないが、さっきよりはまともな絵面になったかなぁ。 この辺りの、Promptの設定、パラメータの設定が難しい。 矛盾したPrompt 試しに、anime設定で、Photographyを指定してみる。可能か？ sd_xl_base_1.0.safetensors を使用し「hacking girl, japanese anime, Photography」 を与えたのがこれ やっぱり、ホラー。 同様にimg2imgでsd_xl_refiner_1.0.safetensorsを使用して、同じPromptを食わせてみる。 少しまともになった感じ。 AI職人さんたちは、こういったPromptと様々なModelを駆使して日夜励んでいるんだなぁと感心します。 ちなみに、Hardwareを増強したので、この手の画像生成には、およそ5秒/枚程度。 思っていたより速くて、色々と試したくなる。 もう少し遊んで… 「Monna Lisa,Photography,Portrait,raw,background National Geo Park」こんなのはどうかと思ったら…。 思いのほか、モナ・リザだった（笑） 奥が深い…。

Google Colabで試す   前回はローカル実行 で苦戦したので、今度はGoogleのサービス上で実行してみた。 ちょうど苦戦して、GPUを買い換えようかなぁなどとアチコチの価格を調査していたところ、GIGAZINEで「 画像生成AI「Stable Diffusion」を低スペックPCでも無料かつ待ち時間なしで使う方法まとめ 」という記事が出ていた。 ちょうど、同じ内容だしColab使ってやってることに。 手順は記事と全く同じでOK。 結果は全然違う！ まずは、サンプルを実行 「a photograph of an astronaut riding a horse」で画像生成 素晴らしい！ まず画像生成まで約30秒程度必要になるが、ローカルより速い！ 前回なんじゃこりゃの結果になった 「Cyberpunk style Tokyo landscape」 おぉ！雰囲気出ています。 そこそこ良かった 「sleeping golden retriever」 可愛い感じで良きです。 「cute chihuahua」 キュートかどうかは、若干微妙…。 「very cute and soothing cat」 もう写真レベルです。 ひょっとすると写真を持ってきているんじゃ？と思うので有り得なさそうな指示を行ってみる。 「Gorilla dancing with corn on the table」 思っていたのと違ったので、文章を少し変えて、 「dancing Gorilla with corn on the table」 なんとなく想像していた感じに近いイメージ。 これは面白い！ 30秒でどんな画像も生成してしまう。 もう少し遊んでみようっと…。

StableDiffusionを試す 巷では神絵AIと言われる「 Midjourny 」が一躍有名になりましたが、OpenSourceで利用可能な新たなAI（学習済みモデルも含めて）が出ましたので、遊んでみました。 名前は、stable-diffusionです。 2022-08-23 に公開されたばかりなので、まだよくわからない箇所も多いですが… すでに動作がうまく行った人たちの記述を参考に、追試です。 https://zenn.dev/koyoarai_/articles/02f3ed864c6127bb2049?utm_source=pocket_mylist 標準のGPUメモリでは不足していてダメそうなので、省メモリ版forkを利用しないとまずそう。 でも、まあ本家から試すことにする。 前提条件 CUDAが入っていること anaconda3が入っていること まずは、 README を参考に入れていきます。 mkdir ~/temp cd ~/temp git clone https://github.com/CompVis/stable-diffusion cd stable-diffusion conda env create -f environment.yaml conda activate ldm これで、anacondaの仮想環境が用意される。 必要なLibraryなども一式入れてくれるので、これで完了 学習モデルデータは、ユーザー登録が必要なので、以下から先に登録しておく。 メールでの確認が届くので、リンクを踏んで完了。 https://huggingface.co/ でもって、 https://huggingface.co/CompVis/stable-diffusion-v-1-4-original にアクセスして、 「You need to share your contact information to access this model.」項目の最後の「Access repository」を選択。 これでダウンロード可能になる。 参考のURLにしたがって、 cd ~/temp git clone https://huggingface.co/CompVis/stable-diffusion-v-1-4-original cloneされた...