ComfyUIの設定に多少進展があった話と、動画の作成が大きく向上した話

目次

1. エラーからの修正が手間
2. 動画の作成に関して
3. API形式で実行すると
4. まとめ

先日の話の続きになります。

エラーからの修正が手間

全く分かっていませんのでComfyUIを動かしてみて、エラーが出たらエラーのレポートをClaudeCodeに投げる、その修正を基にComfyUIをブラウザで再実行の流れだったんだが、突然、ClaudeCodeがぽろっと言ったんですよ。ワークフローをAPI用に変換してそれを下さいって。

これって、言われてみると何かで見たのか、ClaudeCodeが何かで言っていたか忘れましたが、見たことがある。と、ここで説明。

ComfyUIのワークフローのJSONですが、実はGUIで使用する場合と、APIで使用する場合では内容が同じでも形式が違います。なので、私としてはClaudeCodeにぶん投げたいのでAPI形式で実行してもらいたかったんですが、見つかるワークフローはGUIの形式なので（見つけきらないだけかもしれません）あきらめていたんですよ。なので修正はちまちまComfyUIとClaudeCodeを行ったり来たりしていました。

画像生成の場合は、何とかClaudeCodeがAPI用を作成してくれていたのですが、動画生成の場合は複雑なせいか作ってくれません。

で、話を戻して、じゃぁどうやって変換するんだと。ComfyUIの中で普通にワークフローをAPI用に変換して保存できます。それだけです。

API形式でComfyUIを実行すればClaudeCodeから直接実行できますし、ComfyUIがエラーを吐いたら直接それをClaudeCodeが受け取って修正を行います。この形になると処理が加速度的に進みます。

動画の作成に関して

こちらにも進展がありました。その前に動画の作成に関してちょっと説明します。

1. 基本作業はVRAMに入るレベルで。システムに使用するメモリ量+作る動画伴うメモリ量（画像の大きさ×フレーム数）。

2. ブロックスワップでメインメモリにデータを逃がすとスピードが落ちる

3. 現実的に高画質を目指すと時間が短くなり、時間を長くすると画質が落ちる。

なので、今までは画質を押さえて長尺動画を作っていました。もちろんそれでもVRAMが足りないんで、ブロックスワップを使ってメインメモリにデータを逃がしながら作っていました。これも突然、細切れに作成して繋げばいいじゃん。細切れだったらVRAMをうまく使えるので高画質な動画作れる。前の動画の最後から繋いでいくから内容も繋がっていくぜって感じで修正してくれました。これは、そうできるんだったら良いんだろうけど、どう実現するのか理解できていなかった部分なんですが、いつの間にかよく分からないけど突然高画質化への道が開けました。

API形式で実行すると

api実行は上での説明以外にも利点があります。バッチ処理が出来るようになります。既定の形を作ってしまえば、同じ形式で連続実行することが出来ます。なので
元の画像と動作の基となる動画をスプレッドシートから読み込み
↓
セグメントごとに動画作成
↓
各ファイルを合わせて一本の動画に
↓
動画の背景白化（ノイズ削除）
↓
アップスケール
↓
60FPS化
を連続実行できます。

もちろん、毎回微調整するようなことはできませんが、とりあえず既定処理で複数作成への道が開けました。

まとめ

これが安定すれば、そこそこ画質の動画が安定生産できるようになるので、大きく話が変わってきます。実は記事を書いている時点で微調整が終わっておらず、動画の完全作成までは届いていませんがもうすでに画質の上がったものが出来ているので記事にしました。出来上がり次第追加の記事を作成します。