Proxmoxでサーバ構築

-
イメージ
これまでテスト用にi5第8世代の廃棄PCを使用してきた。 とはいえ今の所何も問題は起きていないが、入れ替えも視野に入れ予備サーバを用意することに。 - メモリ：16GB - SSD：500GB - DDNS＋Let's Encrypt - Ubuntu24.04 この環境なので、すぐに構築し直すことは可能だが、とりあえずこのまま置いておいて別のサーバを立てることにする。 最初はRaspberryPiで構築しようと思ったけれど、本体電源＋外付けHDD電源＋ディスプレイ電源と考えると、邪魔なので廃案。 そこで廃棄しようと思っていた「Lavie NS300/N」が手元にあったので、これを利用することに。 一応バッテリーは正常に動作するので、UPS代わりにそのまま。 - Core™ i3-8145U（やや非力） - メモリ：8GB（少ないが…） - HDD：1TB なので、これまで使用しているものより、若干スペックダウン。 ただ用途は、非常勤で教えに行っている専門学校生用の練習マシンとする予定なので、まぁ問題なさそう。 Proxmox導入 直接、Linuxを導入してもよいのだけれど、今回は Proxmox を導入し、その上でUbuntu Serverを動作させる計画。 USBにProxmoxのイメージを焼いて、インストールすれば問題なく完了。 ただ、現在のバージョンはdebian - trixieがベースになっているので、若干参考になるサイトが少なめ。とはいえ旧版のは参考になるので調べつつ… HDDなだけあって、最初の起動は少し遅いものの、立ち上がってしまえば問題ない。 さぁ、VMにするかCTにするか…。 GUI使うのであれば、VMかなぁ。サーバだしCTでいいかぁ。 という程度の選定で、CT（コンテナ）で進めることに。 - メモリ：4GB - CPU：2 - HDD：20GB（root disk） - HDD：400GB（home用） - Ubuntu24.04 という構成で進めることにした。 テンプレートを用意して、初期設定を行い起動。 まぁすんなりと入った。 液晶を閉じたら、Suspendになってしまったので、若干設定変更。 $ sudo nano /etc/systemd/logind.conf HandleLidSwitch=ignore $ sudo sy...
コメントを投稿

AIで絵を画くのは面白いけど

-

StableDiffusionを試す

巷では神絵AIと言われる「Midjourny」が一躍有名になりましたが、OpenSourceで利用可能な新たなAI（学習済みモデルも含めて）が出ましたので、遊んでみました。


名前は、stable-diffusionです。
2022-08-23 に公開されたばかりなので、まだよくわからない箇所も多いですが…


すでに動作がうまく行った人たちの記述を参考に、追試です。


標準のGPUメモリでは不足していてダメそうなので、省メモリ版forkを利用しないとまずそう。
でも、まあ本家から試すことにする。


前提条件

  • CUDAが入っていること
  • anaconda3が入っていること

まずは、READMEを参考に入れていきます。

mkdir ~/temp
cd ~/temp
git clone https://github.com/CompVis/stable-diffusion
cd stable-diffusion
conda env create -f environment.yaml
conda activate ldm

これで、anacondaの仮想環境が用意される。
必要なLibraryなども一式入れてくれるので、これで完了

学習モデルデータは、ユーザー登録が必要なので、以下から先に登録しておく。
メールでの確認が届くので、リンクを踏んで完了。
  • https://huggingface.co/

でもって、

にアクセスして、
「You need to share your contact information to access this model.」項目の最後の「Access repository」を選択。
これでダウンロード可能になる。


参考のURLにしたがって、

cd ~/temp
git clone https://huggingface.co/CompVis/stable-diffusion-v-1-4-original


cloneされた「stable-diffusion-v-1-4-original」を「stable-diffusion-v1」にリネームし、
stable-diffusion/models/ldm以下に移動。

続いて、先のサイトから「sd-v1-4.ckpt」をダウンロード。
（ちなみに4GB強あるのでやや時間がかかる）

これを「model.ckpt」にリネーム。
でもって、「stable-diffusion/model/ldm/stable-diffusion-v1/」内に移動。

最終的には、以下のようになった。

../stable-diffusion/
├── LICENSE
├── README.md
├── Stable_Diffusion_v1_Model_Card.md
├── assets
├── configs
├── data
├── environment.yaml
├── latent_diffusion.egg-info
├── ldm
├── main.py
├── models
│   ├── first_stage_models
│   └── ldm
│       ├── bsr_sr
│       ├── celeba256
│       ├── cin256
│       ├── ffhq256
│       ├── inpainting_big
│       ├── layout2img-openimages256
│       ├── lsun_beds256
│       ├── lsun_churches256
│       ├── semantic_synthesis256
│       ├── semantic_synthesis512
│       ├── stable-diffusion-v1
│       │   ├── README.md
│       │   └── model.ckpt
│       └── text2img256
├── notebook_helpers.py
├── scripts
├── setup.py
└── src


実行してみる

READMEと同じコマンドを試す

conda activate ldm
python scripts/txt2img.py --prompt "a photograph of an astronaut riding a horse" --plms 

正しくクローンしていれば、動作し始めるが、予想通りGPUのメモリ不足でエラーを吐いてくる。

まさか、こんな使い方をするとは思っていなかったので、試し程度で購入した「GeForce GTX 1650」は4GBしかメモリを載んでいない。

あちこちの情報を漁ると10GB未満の場合は、うまく行かないことが多いらしい。
はぁ…。ちと環境が厳しいか！




省メモリで動作させる

forkにメモリが少なくても動作できるようにしたものが出ている。


僕は、cloneした後、optimaizedSDフォルダを先にcloneした本家に移動させました。

../stable-diffusion/
├── LICENSE
├── README.md
├── Stable_Diffusion_v1_Model_Card.md
├── assets
├── configs
├── data
├── environment.yaml
├── latent_diffusion.egg-info
├── ldm
├── main.py
├── models
│   ├── first_stage_models
│   └── ldm
│       ├── bsr_sr
│       ├── celeba256
│       ├── cin256
│       ├── ffhq256
│       ├── inpainting_big
│       ├── layout2img-openimages256
│       ├── lsun_beds256
│       ├── lsun_churches256
│       ├── semantic_synthesis256
│       ├── semantic_synthesis512
│       ├── stable-diffusion-v1
│       │   ├── README.md
│       │   └── model.ckpt
│       └── text2img256
├── notebook_helpers.py
├── optimizedSD
├── outputs
├── scripts
├── setup.py
└── src

これで準備完了

いざ再度実行！

こんどは、optimizedSD/optimized_txt2img.pyを使用する。

python optimizedSD/optimized_txt2img.py --prompt "Cyberpunk style Tokyo landscape" --H 512 --W 512 --seed 27 --n_iter 2 --n_samples 10 --ddim_steps 50

この条件だと、やはりCUDA out of memoryが出力される。

パラメータを変更する。

どうもバッチサイズを小さくするか、画像サイズを小さくしろと書かれている。

python optimizedSD/optimized_txt2img.py --prompt "Cyberpunk style Tokyo landscape" --H 256 --W 256 --seed 27 --n_iter 1 --n_samples 1 --ddim_steps 50

無事に通った！
ところが、outputフォルダを確認すると、緑色の正方形が出力されるのみ…


どうも、「--precision full」付けると良いよ〜ということなので、付加してみる。

すると、またメモリ不足と言ってきた。
どうやら精度を上げると更にメモリを喰うらしいので、さらに画像サイズを小さくする。

python optimizedSD/optimized_txt2img.py --prompt "Cyberpunk style Tokyo landscape" --H 128 --W 128 --seed 27 --n_iter 1 --n_samples 1 --ddim_steps 50 --precision full

今度は、無事に画像が生成された。



どうみても「Cyberpunk style Tokyo landscape」とは思えない…。
なんじゃこりゃ…。

もう少し、キーワードとサイズを変更したりして試してみる。

こいつは「sleeping golden retriever」で描かせた中で最もまともだった奴。


これは、それなりに見えるが…。ひどい奴は絵にもなっていない。単なるノイズっぽいものや、出鱈目なパターンのようなものも存在する。



今度は「cute chihuahua」で…。

悪夢のような…。
犬と言われれば、ギリギリそうかもというレベル。
チワワとは思えない。




もう、落書きレベルだけどもう少しやってみる。
「very cute and soothing cat」で。




犬よりも猫の方がキュートな出力な気はする。

あまりにメモリ不足が出まくって、パラメータの幅が狭いので画質向上が難しいでし。

これは、大容量のメモリを積んだGPUがないと遊ぶに遊べないですな　＿|￣|○



と、自前のマシンで試せるのが面白いし、気楽に何度でも描かせるけど、ハードウェアの要求が厳しいです。



多分、これくらいを入手しないとだめかなぁ。
これで12GBメモリとGeForce RTX 3060



もう少し上だと、RTX 3080で10GB…。￥140,000弱って、普通に使うPCなら買えちゃうわけで…。


コメント

コメントを投稿

励みになりますので、簡単で良いので一言くださいませ。

このブログの人気の投稿

Ubuntu24.04 でGUIが死んだ

-
 アプリの動作テストを行っていて… AppImageが、22.04では動いていたものの24.04にアップデートしたら、動作しなくなった。 そこで、エラーメッセージを参考に作業を実施。 libfuse2がないというので、以下のインストール。 $ sudo apt install libfuse2 ところが、libfuse2はなく、libfuse2t64 を変わりに突っ込まれた。 でも、動作しない。 仕方ないので、fuseをまるっと入れることに。 ところが、AppImageは動作せず、GUIの動作がおかしい感じ。 homeフォルダを開くとDiskAnalizer（baobab）が起動してしまう。 仕方なく、再起動を実施。 すると、ユーザ選択が表示される前に、Xが落ちた…。 tty2に切り替えて、CUIからログイン。 ネットワークは正常。 コマンドも動作する。 ディスクは問題なさそう。 問題は、gdmが起動しないことだけのようだ。 手動でstartxを叩くが、エラーを吐いて落ちる…。 仕方なく、Desktop環境を再インストール。 $ sudo apt update $ sudo apt install --reinstall ubuntu-desktop gdm3 gnome-shell これで、再起動。 ユーザ選択画面が表示され、無事にログイン可能になった。 ふ〜。 再インストールしないとだめかと思ったが、無事に切り抜けた。 良かった…。
続きを読む

VirtualBoxが異常

-
イメージ
USBデバイスをエニュメレーションできません… 数日前まで正常に動作していたのに、今日使用しようと起動すると、なぜか見慣れぬメッセージが！ エニュメレーションは、USBの初期化で行っているのは知っているが、なぜこんなエラーが表示されるのか？ SDカードを書き込むのにType-C接続のカードリーダーを接続したので、そのせいか？ と、思って抜いた後再度起動してみるが、関係ないらしい。 このエラーが出てからは、仮想マシンもエラーで起動しない…。 念の為Extension-Packを再度入れ直すが、効果なし。 vboxconfigを実行しろというのを、見かけたので実施。 $ sudo /sbin/vboxconfig vboxdrv.sh: Stopping VirtualBox services. vboxdrv.sh: Starting VirtualBox services. vboxdrv.sh: Building VirtualBox kernel modules. vboxdrv.sh: failed: Cannot change group vboxusers for device /dev/vboxdrv. There were problems setting up VirtualBox.  To re-start the set-up process, run   /sbin/vboxconfig as root.  If your system is using EFI Secure Boot you may need to sign the kernel modules (vboxdrv, vboxnetflt, vboxnetadp, vboxpci) before you can load them. Please see your Linux system's documentation for more information. 何度、実行しようと同じ結果になる。 エラーのインフォメーションアイコンからHELP（ユーザーズマニュアル）を確認すると、以下のような記述が…。 1 2.7.5. USB Not Working If USB is not working on your Linux host, m...
続きを読む

MEGAにも弱点があった？

-
イメージ
クラウドストレージMEGAを愛用中 DropboxもOneDriveもGoogleDriveも全部使っていますが、最近はMEGA（ https://mega.nz/ ）がお気に入りです。 Dropboxは手軽で便利なんだけど、初期容量が2GBと少ない。 もちろん、あれやこれや工夫して14GBまで無料枠を増やしているけど、不足気味。 OneDriveは、Office365をサブスクで使っているので、容量は1TBと多いけど、Linuxで使うには少々面倒。WindowsOSなら使い勝手が良さそうなんだけどね。 同様に、GoogleDriveも15GBとやや少な目。 で、MEGAです。無料枠は50GBです。 しかも、デスクトップの常駐同期アプリがGNOME版もあるので、通常使いにはとても便利…。起動しておけば、勝手に同期してくれるし…。 もちろん、Webインターフェイスもあるので、同期していなくても使用可能。 ところが… 今回、Ryzenマシンを調達し、さくっとUbuntu入れて、MEGA入れて同期開始。 作業を行っている間に、同期終わるやろうと思って、休憩がてら確認してみる。なんと！ 止まっている！！ 無料転送容量制限を超過したので、しばらくウェイティングタイムだよ！って…。 どうやら、6時間で7.5GB転送すると、待て！がかかるらしい。 4時間後に再度、転送開始するよと出ていた。 上のスクリーンショットは、残り時間あと2時間40分と表示されている。 そんな制限、いままでかかったことなかったので気づかなかったよ。 ローカルマシンに同じデータが有るので、LAN経由でコピーしておけばよかった(笑) 偶然回避策を見つけた そのまま放置しておけば、そのうち終わっただろうけど、さっさと終わらせたいなと思い、LAN経由でコピーをし始めた。 ただ、MEGAの常駐アプリとコンフリクト起こすと嫌なので、一旦終了。 大きなサイズのものをコピー。 再度MEGAの常駐開始。 すると、転送制限は無かったかのように同期し始めた（笑） まあ、そういう仕様なのか、チェックが甘いのか…。 クラウド側でこの後、判定がかかるのかもしれないけれど、とりあえず順調に同期して完了した。...
続きを読む