メールサーバの移行

-
イメージ
 自前のメールサーバを停止 これまで、自ドメインのメールサーバはVPS上に構築していた。 ・Ubuntu Server ・Postfix ・Dovecot ・spamAssassinと、BlackListの利用 Spam対策を行ってきたし、サーバ上でメールをトリガーにして各種プログラムを動かしたりしてきた。 メールサーバのメンテナンスは結構面倒くさくて、 　・Disk容量のチェック 　・不正アクセスのチェック 　・各種セキュリティパッチの適用 など、手間がかかる。 そこで、外部のサーバを利用することに…。 結構安くて使い勝手の良さそうなのが、「さくらのメールボックス」 3年契約で、3070円とな…。 　メールアドレスは自分のだけなので、20GBまで利用可能！ 　（Gmailより大きいねぇ） ということで、早速契約。 アカウント設定を行って、既存のDNSを書き換える。WHOISも書き換えて完了。 SMTPとIMAPが利用できればOK。 ちょうど、GoogleがSPF設定していないと受信しないし、DKIMおよびDMARCに対応していないメールを弾くようになったので、対応しているのを確認。 さくらサーバ自体は、これまでお客さんのサーバとして何件も利用しているので、利用方法も難しくはない。 　Webメールにも対応しているので、いざという場合にもありがたい。 ということで、各メールソフトの設定を変更。 　PC（常時使用する3台）とタブレット、スマートフォンと台数は多いがそれ程手間はかからない。 問題は、旧サーバで送受信したメールの履歴だけれど、これはThunderbrdを使ってローカルに保存することで回避。 　本当は、サーバtoサーバでMailboxに残そうとも考えたんだけど、古いメールはそれ程必要ないし、ローカルにバックアップしてあれば凌げるので、良しとする。 移行時にDNSの反映で若干時間がかかったものの、問題なく送受信できるのを確認して、作業完了。 　これでメンテナンスの手間が減るので、安いもんです。
コメントを投稿

AIで絵を画くのは面白いけど

-

StableDiffusionを試す

巷では神絵AIと言われる「Midjourny」が一躍有名になりましたが、OpenSourceで利用可能な新たなAI（学習済みモデルも含めて）が出ましたので、遊んでみました。


名前は、stable-diffusionです。
2022-08-23 に公開されたばかりなので、まだよくわからない箇所も多いですが…


すでに動作がうまく行った人たちの記述を参考に、追試です。


標準のGPUメモリでは不足していてダメそうなので、省メモリ版forkを利用しないとまずそう。
でも、まあ本家から試すことにする。


前提条件

  • CUDAが入っていること
  • anaconda3が入っていること

まずは、READMEを参考に入れていきます。

mkdir ~/temp
cd ~/temp
git clone https://github.com/CompVis/stable-diffusion
cd stable-diffusion
conda env create -f environment.yaml
conda activate ldm

これで、anacondaの仮想環境が用意される。
必要なLibraryなども一式入れてくれるので、これで完了

学習モデルデータは、ユーザー登録が必要なので、以下から先に登録しておく。
メールでの確認が届くので、リンクを踏んで完了。
  • https://huggingface.co/

でもって、

にアクセスして、
「You need to share your contact information to access this model.」項目の最後の「Access repository」を選択。
これでダウンロード可能になる。


参考のURLにしたがって、

cd ~/temp
git clone https://huggingface.co/CompVis/stable-diffusion-v-1-4-original


cloneされた「stable-diffusion-v-1-4-original」を「stable-diffusion-v1」にリネームし、
stable-diffusion/models/ldm以下に移動。

続いて、先のサイトから「sd-v1-4.ckpt」をダウンロード。
（ちなみに4GB強あるのでやや時間がかかる）

これを「model.ckpt」にリネーム。
でもって、「stable-diffusion/model/ldm/stable-diffusion-v1/」内に移動。

最終的には、以下のようになった。

../stable-diffusion/
├── LICENSE
├── README.md
├── Stable_Diffusion_v1_Model_Card.md
├── assets
├── configs
├── data
├── environment.yaml
├── latent_diffusion.egg-info
├── ldm
├── main.py
├── models
│   ├── first_stage_models
│   └── ldm
│       ├── bsr_sr
│       ├── celeba256
│       ├── cin256
│       ├── ffhq256
│       ├── inpainting_big
│       ├── layout2img-openimages256
│       ├── lsun_beds256
│       ├── lsun_churches256
│       ├── semantic_synthesis256
│       ├── semantic_synthesis512
│       ├── stable-diffusion-v1
│       │   ├── README.md
│       │   └── model.ckpt
│       └── text2img256
├── notebook_helpers.py
├── scripts
├── setup.py
└── src


実行してみる

READMEと同じコマンドを試す

conda activate ldm
python scripts/txt2img.py --prompt "a photograph of an astronaut riding a horse" --plms 

正しくクローンしていれば、動作し始めるが、予想通りGPUのメモリ不足でエラーを吐いてくる。

まさか、こんな使い方をするとは思っていなかったので、試し程度で購入した「GeForce GTX 1650」は4GBしかメモリを載んでいない。

あちこちの情報を漁ると10GB未満の場合は、うまく行かないことが多いらしい。
はぁ…。ちと環境が厳しいか！




省メモリで動作させる

forkにメモリが少なくても動作できるようにしたものが出ている。


僕は、cloneした後、optimaizedSDフォルダを先にcloneした本家に移動させました。

../stable-diffusion/
├── LICENSE
├── README.md
├── Stable_Diffusion_v1_Model_Card.md
├── assets
├── configs
├── data
├── environment.yaml
├── latent_diffusion.egg-info
├── ldm
├── main.py
├── models
│   ├── first_stage_models
│   └── ldm
│       ├── bsr_sr
│       ├── celeba256
│       ├── cin256
│       ├── ffhq256
│       ├── inpainting_big
│       ├── layout2img-openimages256
│       ├── lsun_beds256
│       ├── lsun_churches256
│       ├── semantic_synthesis256
│       ├── semantic_synthesis512
│       ├── stable-diffusion-v1
│       │   ├── README.md
│       │   └── model.ckpt
│       └── text2img256
├── notebook_helpers.py
├── optimizedSD
├── outputs
├── scripts
├── setup.py
└── src

これで準備完了

いざ再度実行！

こんどは、optimizedSD/optimized_txt2img.pyを使用する。

python optimizedSD/optimized_txt2img.py --prompt "Cyberpunk style Tokyo landscape" --H 512 --W 512 --seed 27 --n_iter 2 --n_samples 10 --ddim_steps 50

この条件だと、やはりCUDA out of memoryが出力される。

パラメータを変更する。

どうもバッチサイズを小さくするか、画像サイズを小さくしろと書かれている。

python optimizedSD/optimized_txt2img.py --prompt "Cyberpunk style Tokyo landscape" --H 256 --W 256 --seed 27 --n_iter 1 --n_samples 1 --ddim_steps 50

無事に通った！
ところが、outputフォルダを確認すると、緑色の正方形が出力されるのみ…


どうも、「--precision full」付けると良いよ〜ということなので、付加してみる。

すると、またメモリ不足と言ってきた。
どうやら精度を上げると更にメモリを喰うらしいので、さらに画像サイズを小さくする。

python optimizedSD/optimized_txt2img.py --prompt "Cyberpunk style Tokyo landscape" --H 128 --W 128 --seed 27 --n_iter 1 --n_samples 1 --ddim_steps 50 --precision full

今度は、無事に画像が生成された。



どうみても「Cyberpunk style Tokyo landscape」とは思えない…。
なんじゃこりゃ…。

もう少し、キーワードとサイズを変更したりして試してみる。

こいつは「sleeping golden retriever」で描かせた中で最もまともだった奴。


これは、それなりに見えるが…。ひどい奴は絵にもなっていない。単なるノイズっぽいものや、出鱈目なパターンのようなものも存在する。



今度は「cute chihuahua」で…。

悪夢のような…。
犬と言われれば、ギリギリそうかもというレベル。
チワワとは思えない。




もう、落書きレベルだけどもう少しやってみる。
「very cute and soothing cat」で。




犬よりも猫の方がキュートな出力な気はする。

あまりにメモリ不足が出まくって、パラメータの幅が狭いので画質向上が難しいでし。

これは、大容量のメモリを積んだGPUがないと遊ぶに遊べないですな　＿|￣|○



と、自前のマシンで試せるのが面白いし、気楽に何度でも描かせるけど、ハードウェアの要求が厳しいです。



多分、これくらいを入手しないとだめかなぁ。
これで12GBメモリとGeForce RTX 3060



もう少し上だと、RTX 3080で10GB…。￥140,000弱って、普通に使うPCなら買えちゃうわけで…。


コメント

コメントを投稿

励みになりますので、簡単で良いので一言くださいませ。

このブログの人気の投稿

WPS Officeで日本語入力ができない

-
イメージ
メインのマシンUbuntu16.04にて 前回、Windowsマシンが逝ってしまったので、新たに用意したマシンはUbuntu16.04にした。 Windows7はVirtualboxで動かすことにし、そこそこ環境も整ってきた。 とは言っても、ほぼ作業はUbuntu上で行うので、こちらの状態も整えていたところ、問題が発生。 Office関連は、Linuxではやや厳しいので、少しでも使い勝手を上げるためにLibreOffice以外に、KingsoftのWPSを導入した。 こいつは、ノートのUbuntu14.04で動かしていてそこそこ互換性も高く、実績も有る。 今のところVABマクロがうまく動作しないのと、ピボットテーブルが保存後Excelで開くとおかしいくらいで、注意すれば十分利用できる。 ということで、Ubnutu16.04にも導入。そして日本語化。 しばらくViewerとしてしか使っていなかったので気づかなかったのだが、日本語の入力ができないことが判明。 　むむむ。なぜだぁ 　というのもあるし、今まで数字しか入力していなかったことに驚く。 　そういえば、漢字などの表はコピーペーストしかしていなかった…。 原因を究明する とはいえ、入力できないのは不便なので、対策を施すことにする。 まずは、現状の調査。 日本語関係は、少し前のUbuntuはibus経由だったのに、今はfcitxに変わっている。 もちろん、クリーンインストールのままなので、設定は変えていない。 日本語の設定は、fcitxを使うようになっているし、geditなどは正しく動作している。 システムトレイアイコンを表示するようにして確認してみる。 標準のアプリはほぼOK。 ブラウザ（chrome,vivaldi,Firefox）も日本語の入力が可能。 ちゃんと、「あ」に切り替わる。 ところが、WPS関連はWriterも、SpreadsheetもPresentationも一切日本語の入力ができない。 「全角/半角」も、CTRL+SPACEも効かない。 これは、環境変数か？と思いチェックしてみる。 $ echo $GTK_IM_MODULE fcitx $ echo
続きを読む

VirtualBoxでUSBから起動

-
イメージ
仮想マシンでUSBを使う これは、すでにVirtualboxを使っていれば、知っている内容だとは思う。 Extension Packを入れればUSB2.0/3.0が使える。 Support for USB 2.0 and USB 3.0 devices, VirtualBox RDP, disk encryption, NVMe and PXE boot for Intel cards. See this chapter from the User Manual for an introduction to this Extension Pack. The Extension Pack binaries are released under the VirtualBox Personal Use and Evaluation License (PUEL). Please install the same version extension pack as your installed version of VirtualBox.  まあ、入れない理由はないので、ほとんどの場合入れているはず。 では、USBの起動はどうか？ というと、案外面倒くさい。 　ググればいくらでも出てくる。 　https://www.google.com/search?q=virtualbox%20USB%20起動 ところが、ここで記載されている内容は、USBにLIVE CDを作成し、USBから起動し利用するか、USBを仮想ディスクとして起動する方法ばかり。 これはこれでもちろん役にたつ内容だが…。USBにOSを入れて運用したいわけではない。 今回は、Windows10のリカバリーUSBを使って起動し、Windows10をクリーンインストールもしくは回復したい。 この場合、どうすれば良いのかで結構悩んだので、まとめておく。 リカバリーUSBから起動する すでにHDDにOSが入っていたり、新規にUSBからインストールしたい場合にVirtualboxのメニューは不親切だ。 　先のググった方法は、USBがHDDとして認識させる形で起動する。 そうではなく、物理マシンでUSBブートするのと同様の方法が取りたい。HDDは接続しており、それとは
続きを読む

Virtualboxとnvidiaドライバ

-
イメージ
Virtualboxが起動しない… 前回はニューマシンに、Virtualboxをダウンロード＆インストールまでは 無事に終了した ところまで。 今回は、その続きから。 インストールしたVirtualboxに仮想マシンのイメージを持ってくる。 これまで使用していたマシンから、Windows10のイメージを移動。 若干メモリを増やし（4GBに設定）実行してみる。 エラーで起動しない…。 ログを見てみると Mar 13 00:09:06 u1804r5 vboxdrv.sh[970]: Invalid password Mar 13 00:09:06 u1804r5 vboxdrv.sh[970]: The Secure Boot key you've entered is not valid. The password used must be Mar 13 00:09:06 u1804r5 vboxdrv.sh[970]: between 8 and 16 characters. Mar 13 00:09:06 u1804r5 vboxdrv.sh[970]: Enter a password for Secure Boot. It will be asked again after a reboot. Mar 13 00:09:06 u1804r5 vboxdrv.sh[970]: Enter the same password again to verify you have typed it correctly. なんてのが、延々と出ている。 まてよ？ 記憶では、Secure BootをOffにしろと聞いた経験がある。 そういえば、MotherBoardの設定でも、OSのインストール時にもパスワードを聞いてきていた。 当然、Virtualboxもインストール時に聞いてきたので、パスワードを入力していたのでOKだと思いこんでいた。 再度、BIOSの設定を開いて、Secure BootをDisableに変更。 # /sbin/vboxconfig 今度は、さっくりと終了。 これだけで、無事に起動した。 「セキュアブートはOFFにしろ！
続きを読む