ComfyUIで、画像生成に関する情報を文字列取得する

網羅的検証を実施する際、画像に書き込む文字情報を作成するため。
ComfyUIでは、ノードに対する設定値を取得することができないので、ノードに対する入力値を分岐させて取得することになる。

WAS SuiteのCombo Selectorを使用することで解決している。
どうしても取得できない情報は手書きすることで対応する。

個別スケジューラとサンプラーの網羅的検証の準備

検証に必要となるノード構成を組む。時間がかかる……。

スケジューラに関する調査というか、勉強というか

カスタムサンプラーを使用する環境にすると、「シグマ」がでてくるので、これに関する学習。AIが使用できる世の中は便利。

マニュアルシグマの設計

結局のところ、数値の列挙でシグマは構成されているので、やろうと思えば、自分自身でシグマは作成できる。
……というわけで、表計算ソフトを使用して、グラフを見ながら、いい感じの線を描くように値を入力していく。

余談になるが、FLUX.1などのFlow Matching系モデルでkarrasなどのスケジューラが使用できないのは、デフォルト値として設定されているsigmaの範囲値が
Diffusion系のものであり、Flow Matching系モデルに適合しないからである。
このため、sigma_maxとsigma_minをFlow Matching系モデルの範囲値である1.0と0.01に設定すれば、指数関数系スケジューラを動作させることができる。

ComfyUIで個別サンプラーおよびスケジューラを使用するためのワークフロー修正

ComfyUIのノードを眺めていたところ、Kサンプラーに存在しないサンプラーとスケジューラが使用できることがわかったので、ワークフローを組み替える。

ComfyUIでの、個別サンプラーおよびスケジューラの動作確認

ワークフローを組み替えた後の動作確認。
FLUX.1 では、使用できないスケジューラが多い。

画像生成モデルマージの動作確認

画像生成モデルをマージして使用できることがわかったので、マージして画像生成をしてみる。
PONY系とそれ以外を区別して組み合わせる必要がある。

ComfyUI ワークフローの整理

パラメータの検証作業が落ち着いてきたので。
実施することをグループにしてまとめていく。

新しいサンプラーとスケジューラの確認

いつの間にか、サンプラーとスケジューラが追加されていたので、動かしてみて、できあがる画像を確認していく。

画像生成の「手順」を考える

Text2Img一発勝負だと可能性が広がらないので、どのように画像生成して、完成まで持っていくかを考える。
画像生成の学習データを踏まえると、正方形あるいは4:3あたりで生成して、Outpaintするのがよいという考えになる。

SDXLにおける、APGの設定値検証

SDXLでは、適応的投影ガイダンス(APG)が有効なので、パラメータ値変更での変化を検証する。

APGの本質は色調補正であり、APGを適用しないで画像を生成し、同じ条件でAPGを適用して、画像を再度生成するような使用方法になるように思える。

……と思いつつ、実際の色調補正は、postprocessingパッケージを使用すればよいと思い至る。APGでの色調補正は、ネオンバーストを調整する目的で使用するものと考えられる。

SD1.5 における、APGの設定値検証

SD1.5では、ネオンバースト状態に陥るモデルが多くないため、APGの登場機会はあまりないように思える。CFGの微調整に使用するには、なかなか難しいと思う。

Img2Img の実施方法検討

元画像の構図とかをなるべく活かして質感調整をしたいならば、CFGよりも摂動注意ガイダンスを調整したほうがいいのではないか？と考える。

アニメ調から実写調への変換には無理があるけど、アニメ調から変化させない場合は、摂動注意ガイダンス調整のほうが、元画像の雰囲気をより踏襲できる。

FLUX.1 のモデルサンプリングフラックス パラメータ値検証

まずは max_shift の検証から。base_shift は操作する必要はないらしい。

width と height は、生成画像に対して倍率を操作するアプローチと、縦横比を変更すするアプローチが存在するので、両方検証する。

結果としては、 max_shift を操作することで、他の設定値による変動はカバーできる。
このため、モデルサンプリングフラックスを使用するよりも、モデルサンプリングオーラフローを使用したほうが単純でわかりやすい。

これで、FLUX.1 に関する調査・検証は、あらかた実施したはず。

SD3.5 のパラメータ値検証

主に、CFGとモデルサンプリングSD3の相関性に対する検証。

CFGが 1.0 以上であることを条件として、CFGとモデルサンプリングSD3の合計が 4.5 以上だと、画像として見られるものになるように感じる。
合計が6.0 を超えると、人物が不自然にニヤけだすように見える。

けど、SD3.5 の開発経緯とかを知ると、SD3.5 をがんばって使用する必要が内容に思えたので、検証作業は途中終了。

Sanaのお試し使用

SD3.5 を使用しないことにしたことで、ストレージ容量に余裕がでたので、Sanaを使用してみる。

画像生成速度は速いけど、できあがる画像が微妙。絶対的な学習データ量が不足しているように思える。

FLUX.1 に関する検証

devとschnellの違いについて。
devとschnellは、それぞれ別のモデルと考えたほうがよい。

• schnell では、フラックスガイダンスの効果がない
• schnell では、スケジューラに指数関数系である karras, exponential を使用しても、画像生成が完了する

FLUX.1 でモデルサンプリングオーラフローを使用する

公式ワークフローではモデルサンプリングフラックスを使用することになっているが、モデルサンプリングオーラフローを使用してみる。

結果は、問題なく動作する。パラメータ設定がシフトの1項目であるため、検証が楽。

「ヤベー人格」の発掘

物語作成のために必要な、「ヤベー人格」を採集・発掘する作業。
「腹立つ人格」ではなくて、「ヤベー人格」というところが重要。

やったこと

CFGと摂動注意ガイダンスの検証画像 再作成

SDXL で生成した画像をそのまま連結すると、画像が大きくなりすぎて確認しにくいので、画像を縮小したものを作成して、それを連結する。

CFGとフラックスガイダンスの設定値検証

FLUX.1 に対しては、摂動注意ガイダンスの影響は皆無だったので、「摂動注意ガイダンス」ノードは削除して、CFGとフラックスガイダンスの網羅的検証をする。

やったこと。

摂動注意ガイダンスとCFG値の設定値検証

CFG値が大きいと摂動注意ガイダンスが有効にならないので、小さいCFG値でのデータ収集。

フラックスガイダンスとCFG値の設定値検証

摂動注意ガイダンスと同じような話が言えるので、小さいCFG値でのデータ収集。
FLUX.1は、そもそも小さなCFG値で画像生成ができるので、CFG値を0.0〜1.0とかで確認していく必要がある。

やったこと。

FLUX.1 と SD3.5 における Text2Img 実施時のKサンプラー設定値検証

SD1.5 および SDXL と、FLUX.1 および SD3.5 の画像生成プロセスが根本的に異なることを受けての再検証。

SD1.5 および SDXL は、ノイズを「削る（Diffusion）」のに対して、FLUX.1 および SD3.5 は直線的に「移送する（Flow Matching）」ため、サンプラーとスケジューラの選定論理が根本的に異なる。

実際には、サンプラーとして ancestral 系 と sde 系を使用すべきでない。
スケジューラは、karras, exp, kl_optimal を使用すべきでない。

SD1.5 のKサンプラー設定値検証

Text2Img に対する検証はしていなかったので。
SD1.5 は、GTX1660Ti 環境でも問題なく動作させられるので、こちらで実施。

検証結果を受けて、使用するサンプラーとスケジューラを見直す。
SD1.5 のモデル（チェックポイント）は、適切と思われるCFG値がいろいろ過ぎてひどい。

摂動注意ガイダンスによる影響確認

「摂動注意ガイダンス」を使用していることによって、CFG値の設定に影響が出ているという指摘があったことの確認。

SD1.5 では、誤差レベルの影響しか発生しなかったが、そもそも低いCFG値でないと摂動注意ガイダンスは有効にならないということなので、再検証が必要となっている。