SDXLにおける、APGの設定値検証

SDXLでは、適応的投影ガイダンス(APG)が有効なので、パラメータ値変更での変化を検証する。

APGの本質は色調補正であり、APGを適用しないで画像を生成し、同じ条件でAPGを適用して、画像を再度生成するような使用方法になるように思える。

……と思いつつ、実際の色調補正は、postprocessingパッケージを使用すればよいと思い至る。APGでの色調補正は、ネオンバーストを調整する目的で使用するものと考えられる。

SD1.5 における、APGの設定値検証

SD1.5では、ネオンバースト状態に陥るモデルが多くないため、APGの登場機会はあまりないように思える。CFGの微調整に使用するには、なかなか難しいと思う。

Img2Img の実施方法検討

元画像の構図とかをなるべく活かして質感調整をしたいならば、CFGよりも摂動注意ガイダンスを調整したほうがいいのではないか？と考える。

アニメ調から実写調への変換には無理があるけど、アニメ調から変化させない場合は、摂動注意ガイダンス調整のほうが、元画像の雰囲気をより踏襲できる。

FLUX.1 のモデルサンプリングフラックス パラメータ値検証

まずは max_shift の検証から。base_shift は操作する必要はないらしい。

width と height は、生成画像に対して倍率を操作するアプローチと、縦横比を変更すするアプローチが存在するので、両方検証する。

結果としては、 max_shift を操作することで、他の設定値による変動はカバーできる。
このため、モデルサンプリングフラックスを使用するよりも、モデルサンプリングオーラフローを使用したほうが単純でわかりやすい。

これで、FLUX.1 に関する調査・検証は、あらかた実施したはず。

SD3.5 のパラメータ値検証

主に、CFGとモデルサンプリングSD3の相関性に対する検証。

CFGが 1.0 以上であることを条件として、CFGとモデルサンプリングSD3の合計が 4.5 以上だと、画像として見られるものになるように感じる。
合計が6.0 を超えると、人物が不自然にニヤけだすように見える。

けど、SD3.5 の開発経緯とかを知ると、SD3.5 をがんばって使用する必要が内容に思えたので、検証作業は途中終了。

Sanaのお試し使用

SD3.5 を使用しないことにしたことで、ストレージ容量に余裕がでたので、Sanaを使用してみる。

画像生成速度は速いけど、できあがる画像が微妙。絶対的な学習データ量が不足しているように思える。

FLUX.1 に関する検証

devとschnellの違いについて。
devとschnellは、それぞれ別のモデルと考えたほうがよい。

• schnell では、フラックスガイダンスの効果がない
• schnell では、スケジューラに指数関数系である karras, exponential を使用しても、画像生成が完了する

FLUX.1 でモデルサンプリングオーラフローを使用する

公式ワークフローではモデルサンプリングフラックスを使用することになっているが、モデルサンプリングオーラフローを使用してみる。

結果は、問題なく動作する。パラメータ設定がシフトの1項目であるため、検証が楽。

「ヤベー人格」の発掘

物語作成のために必要な、「ヤベー人格」を採集・発掘する作業。
「腹立つ人格」ではなくて、「ヤベー人格」というところが重要。

やったこと

CFGと摂動注意ガイダンスの検証画像 再作成

SDXL で生成した画像をそのまま連結すると、画像が大きくなりすぎて確認しにくいので、画像を縮小したものを作成して、それを連結する。

CFGとフラックスガイダンスの設定値検証

FLUX.1 に対しては、摂動注意ガイダンスの影響は皆無だったので、「摂動注意ガイダンス」ノードは削除して、CFGとフラックスガイダンスの網羅的検証をする。

やったこと。

摂動注意ガイダンスとCFG値の設定値検証

CFG値が大きいと摂動注意ガイダンスが有効にならないので、小さいCFG値でのデータ収集。

フラックスガイダンスとCFG値の設定値検証

摂動注意ガイダンスと同じような話が言えるので、小さいCFG値でのデータ収集。
FLUX.1は、そもそも小さなCFG値で画像生成ができるので、CFG値を0.0〜1.0とかで確認していく必要がある。

やったこと。

FLUX.1 と SD3.5 における Text2Img 実施時のKサンプラー設定値検証

SD1.5 および SDXL と、FLUX.1 および SD3.5 の画像生成プロセスが根本的に異なることを受けての再検証。

SD1.5 および SDXL は、ノイズを「削る（Diffusion）」のに対して、FLUX.1 および SD3.5 は直線的に「移送する（Flow Matching）」ため、サンプラーとスケジューラの選定論理が根本的に異なる。

実際には、サンプラーとして ancestral 系 と sde 系を使用すべきでない。
スケジューラは、karras, exp, kl_optimal を使用すべきでない。

SD1.5 のKサンプラー設定値検証

Text2Img に対する検証はしていなかったので。
SD1.5 は、GTX1660Ti 環境でも問題なく動作させられるので、こちらで実施。

検証結果を受けて、使用するサンプラーとスケジューラを見直す。
SD1.5 のモデル（チェックポイント）は、適切と思われるCFG値がいろいろ過ぎてひどい。

摂動注意ガイダンスによる影響確認

「摂動注意ガイダンス」を使用していることによって、CFG値の設定に影響が出ているという指摘があったことの確認。

SD1.5 では、誤差レベルの影響しか発生しなかったが、そもそも低いCFG値でないと摂動注意ガイダンスは有効にならないということなので、再検証が必要となっている。

やったこと。

AnythingLLMに関すること

ワークスペースのプロンプト変更

• 現在時刻を設定しないと、AI人格は知識のカットオフ日を現在時刻と思い込む。
• ターン数とContent残量の表示

SD1.5 および SDXL によるImg2ImgのKサンプラー設定値の検証続き

引き続き。

SDXL系モデルの確認をしていて気が付いたが、karras, exponential, kl_optimal とそれ以外で挙動が異なるようである。

上記スケジューラと Ancestral 系、あるいは SDE 系のサンプラーを合わせて使用した場合、デノイズ値での挙動が、他の組み合わせよりも「デノイズ値が小さい場合の動作」となるようである。

ComfyUIとollamaの起動時変数見直し

主に量子化関連のもの。ComfyUIのログ出力では、メモリ使用量が減っているが、nvtop での使用量には変化が見られない。こんなもん？

GTX1660Ti 環境に対するComfyUIの再導入と動作確認

起動時変数を調整すれば、まぁ動かせるかな……と。

SDXL系を動作させることは可能だが、GUI起動させるべきでない。

SD1.5 系ならば不満なく動作させることができる。まぁ、SD1.5 系を使用した Img2Img には使用できるかな。

Ollama と ComfyUI のパッケージ類整理

「使用しないモデルは削除しよう」と思い至ったので。

FLUX.1 の画像生成検証

「アニメ絵」を指定した時、どのサンプラーとスケジューラの組み合わせでアニメ絵になるかの検証。

単純に「アニメ絵」って表現した場合、日本と海外で「アニメ」の概念が異なる。海外（アメリカ）では、トイ・ストーリーもアニメ枠。2次元アニメは「セルアニメ」？

やったこと。

SD1.5 および SDXL によるImg2ImgのKサンプラー設定値の検証続き

以下選定のための検証作業。終わらない……。

• CFG Scale
• Denoise
• Sampler
• Scheduler

XY Plot を使用しているので、画像生成を開始したらしばらく放置でいいのだが、できあがった画像を都度評価して、次の作業のパラメータ設定に使用するので、結局は拘束され続ける状態となる。

生成AI人格設定向け クソ人格生成ジェネレータの考案・作成

物語に登場させるためのクソ人格を生成する仕組みの考案と作成。
生成AIによるクソ人格動作には、無限の可能性がある……はず。

クソ人格には、以下の条件がある。

• 性格に起因するもの
• 立場や接し方に起因するもの
• 場違いな振る舞い

やったこと。

• AnythingLLM WebUI版の導入
  • Qdrantとの連携確認
• Drupalの復旧
  • Markdownに関する設定をいろいろ
• SDXLとSD1.5でImg2Imgを実行する場合の、Kサンプラー設定値検証

いろいろやっているようで、やっていないようで。