AIGC繪畫與音視頻生成

第 1 篇 基礎知識

第 1 章 ComfyUI 與 AIGC 概述 2

1.1 什麽是 ComfyUI 2

1.1.1 ComfyUI 簡史 3

1.1.2 ComfyUI 的基本原理 4

1.2 為什麽用 ComfyUI 6

1.2.1 ComfyUI 與 SD-WebUI 的對比 6

1.2.2 ComfyUI 全面支持 AIGC 8

1.2.3 ComfyUI 支持開發、分享與生成 App 9

1.3 ComfyUI 的現狀與未來 9

第 2 章 ComfyUI 的安裝與使用 11

2.1 ComfyUI 的安裝及其界面介紹 11

2.1.1 ComfyUI 的安裝 11

2.1.2 ComfyUI 的界面介紹 12

2.2 節點安裝與管理 14

2.2.1 節點安裝 14

2.2.2 節點管理 15

2.3 熟悉默認的工作流 17

2.4 ComfyUI 的常用快捷鍵 21

2.5 報錯處理 22

2.5.1 基礎問題報錯 22

2.5.2 工作流問題報錯 23

2.5.3 網絡問題報錯 24

2.5.4 模型問題報錯 24

2.5.5 環境配置問題報錯 25

第 3 章 ComfyUI 平臺簡介 29

3.1 ComfyUI 的在線平臺 29

3.1.1 哩布平臺 29

3.1.2 吐司平臺 29

3.1.3 eSheep 平臺 30

3.1.4 RunningHUB 平臺 31

3.1.5 Nodecomfy 平臺 31

3.2 ComfyUI 的雲部署 32

3.2.1 基於輕度用戶的雲部署 32

3.2.2 基於重度用戶的雲部署 33

3.3 ComfyUI 的擴展 33

3.3.1 推薦網站 33

3.3.2 推薦插件 35

第 2 篇 繪畫工作流

第 4 章 ComfyUI 繪畫基礎知識 40

4.1 文生圖 40

4.2 圖生圖 42

4.3 塗鴉 43

4.3.1 上傳塗鴉底圖 43

4.3.2 使用 Canvas_Tab 進行塗鴉 44

4.3.3 使用 Mixlab 進行塗鴉 46

4.4 局部重繪 47

4.5 蒙版組合重繪 49

4.5.1 使用 Segment Angthing 獲取蒙版 50

4.5.2 使用 CLIPSeg 自動劃分蒙版 52

4.5.3 使用 BrushNet 蒙版組合重繪 53

4.6 圖像瀏覽 54

第 5 章 在 ComfyUI 中使用 ControlNet 控圖 56

5.1 ControlNet 快速入門 56

5.1.1 ControlNet 的安裝與使用 56

5.1.2 ControlNet 的重要節點參數 58

5.2 線條控制 60

5.2.1 室內設計 60

5.2.2 風格轉繪 61

5.2.3 參數講解 63

5.3 風格控制 64

5.3.1 Reference 模型 65

5.3.2 其他風格控制模型 66

5.4 其他控制模型 66

5.4.1 Recolor 色彩控制模型 67

5.4.2 Depth 深度控制模型 68

5.5 使用多個 ControlNet 68

第 6 章 ComfyUI 常用的控圖工作流 70

6.1 人物控制 70

6.1.1 面部控制 70

6.1.2 姿勢控制 74

6.2 分區控制 79

6.2.1 提示詞分區 79

6.2.2 蒙版分區 81

6.3 精準摳圖 82

6.3.1 使用 Segment Anything 摳圖 82

6.3.2 使用 BRIA 類插件摳圖 84

第 7 章 ComfyUI 的繪畫功能工作流 87

7.1 移除類工作流 87

7.1.1 使用 Inpaint 手動移除人物 87

7.1.2 使用 BrushNet 自動移除人物 89

7.2 擴圖類工作流 91

7.3 轉繪類工作流 92

7.4 換臉類工作流 95

7.4.1 使用 InstantID、PuLID 和 FaceID 換臉 96

7.4.2 使用 ReActor 換臉 99

7.4.3 使用 Portrait Master 換臉 101

7.4.4 使用 PhotoMaker 換臉 102

7.5 放大類工作流 103

7.5.1 潛空間放大 104

7.5.2 模型放大 106

7.5.3 分塊放大 107

7.5.4 使用 SUPIR 進行修復放大 108

7.5.5 使用 APISR 進行動漫風放大 110

7.5.6 使用 HiDi?usion 提升圖像生成質量與速度 111

第 8 章 ComfyUI 的趣味繪畫工作流 112

8.1 IC-Light 光影工作流 112

8.2 3D 視圖工作流 116

8.3 藝術字工作流 119

8.4 藝術二維碼工作流 121

8.5 實時繪畫工作流 123

8.6 毛絨圖標工作流 126

8.7 黏土風工作流 128

第 9 章 ComfyUI 的新型繪畫工作流 130

9.1 使用 Layer Di?usion 生成透明圖 130

9.1.1 文生前景 130

9.1.2 混合前景與背景 133

9.1.3 提取前景與背景 134

9.2 使用 Omost 實現繪圖的分區控制 136

9.3 SD 的新模型：SD3 和 SD3.5 138

9.4 能畫好漢字的模型：快手可圖 141

9.5 國產開源 DiT 模型：騰訊混元 144

9.6 再現繪畫過程模型：Paints-Undo 145

9.7 文生圖像模型：FLUX 147

第 3 篇 音視頻工作流

第 10 章 ComfyUI 的語音類工作流 152

10.1 文字轉語音工作流 152

10.1.1 ChatTTS 文字轉語音 152

10.1.2 MSSpeech_TTS 文字轉語音 156

10.2 數字人口播工作流 158

10.2.1 騰訊公司開源的 V-Express 工作流 158

10.2.2 螞蟻集團開源的 EchoMimic 工作流 162

10.2.3 其他數字人口播工作流 164

10.3 語音克隆工作流 166

10.3.1 使用 ChatTTS 實現語音克隆 166

10.3.2 使用 ComfyUI-?sh-speech 實現語音克隆 168

10.4 音樂生成工作流 171

10.4.1 使用 Stable Audio Open 生成音樂 171

10.4.2 使用 ComfyUI-sound-lab 生成音樂 173

第 11 章 ComfyUI 的視頻類工作流 177

11.1 文生視頻工作流 177

11.1.1 SVD 文生視頻 177

11.1.2 AnimateDi? 文生視頻 179

11.1.3 MagicTime 文生視頻 186

11.1.4 Deforum 文生視頻 188

11.2 圖生視頻工作流 194

11.2.1 SVD 圖生視頻 194

11.2.2 Di?Synth Studio 圖生視頻 196

11.2.3 其他圖生視頻類工作流 197

11.3 視頻轉繪工作流 203

11.3.1 AnimateDi? 視頻轉繪 203

11.3.2 Di?Synth Studio 視頻轉繪 205

11.4 圖片跳舞工作流 207

11.4.1 使用 MimicMotion 實現圖片跳舞 207

11.4.2 使用 AnimateAnyone 實現圖片跳舞 209

11.4.3 其他圖片跳舞工作流 212

11.5 其他創意視頻工作流 214

11.5.1 使用 ReActor 實現視頻換臉 215

11.5.2 使用 ProPainter 實現視頻修復 217

11.5.3 使用 LivePortrait 實現對口型 220

11.5.4 使用 DragAnything 實現拖曳控制 222

第 4 篇 復雜工作流的開發

第 12 章 虛擬換裝復雜工作流實戰案例 226

12.1 需求分析 226

12.2 功能框架 227

12.2.1 生成提示詞節點 227

12.2.2 換裝節點 228

12.2.3 模特圖展示節點 232

12.2.4 視頻和 BGM 展示節點 232

12.3 功能實現 232

12.4 小結 234

第 13 章 自定義節點與 Web 應用開發 236

13.1 自定義節點開發 236

13.1.1 節點代碼詳解 236

13.1.2 節點示例 241

13.2 Web 應用開發 244

13.2.1 ComfyUI API 簡介 245

13.2.2 基於 Gradio 的界面開發 247

第 14 章 NodeComfy 開發平臺 249

14.1 程序員視角下的 ComfyUI 與 NodeComfy 249

14.2 NodeComfy 平臺簡介 250

14.3 NodeComfy 平臺工具的使用 252

14.4 NodeComf 文生圖實戰案例 253