ComfyUI + AnimateDiff/SVD 节点式工作流做可控场景（2026 最新版）

Posted on By lin, xu ComfyUI + AnimateDiff/SVD 节点式工作流做可控场景（2026 最新版）无评论
AI视频制作

导语

如果说可灵 2.0 和 Sora 2 是”按按钮出片”的便利店，那 ComfyUI + AnimateDiff/SVD 就是可以自选食材、自定菜谱的中央厨房。2026 年，ComfyUI 已经把 AnimateDiff、Stable Video Diffusion、Wan2.1、Wan2.1 VACE 全部纳入节点生态，对视频从业者来说，这是当前最可控的本地 AI 视频生成方案。本文按”装环境 → 跑通工作流 → 进阶控制”的顺序，带你搭起一套可商用的 ComfyUI 视频工作流。

一、ComfyUI 是什么，为什么适合做视频

ComfyUI 是 Stable Diffusion 的节点式 GUI，每个步骤（加载模型、文本编码、采样、VAE 解码、保存）都是一个独立节点，节点之间用线连成工作流。对视频生成来说，这种结构有三个不可替代的优势：

  1. 可重复：每个工作流保存为 JSON，下次一键复用。
  2. 可批量化：Queue 1000 次生成任务不需人值守。
  3. 可组合：AnimateDiff + ControlNet + IPAdapter + Wan2.1 VACE 可以自由拼接。
ComfyUI 主界面

二、环境安装与基础配置

2.1 安装 ComfyUI

官方提供 Windows Portable 自带包，macOS/Linux 走 git clone。硬件门槛：

VRAM 适用场景 推荐模型
8GB（RTX 3070/4060） SD 1.5 短动画 AnimateDiff V2、Wan 2.1 T2V-1.3B
12–16GB（RTX 4070 系列） SDXL + 多数视频模型 HunyuanVideo FP8、Wan 14B 480p、LTX-Video 2B
24GB+（RTX 4090） 全模型解锁 HunyuanVideo 完整版、Wan 14B 720p、LTX-Video 13B

2.2 安装 ComfyUI Manager

进入 custom_nodes 目录克隆 ComfyUI-Manager：

cd ComfyUI/custom_nodes
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

重启 ComfyUI 后，右下角会出现 Manager 按钮。后续所有自定义节点都可以在 Manager 里搜索安装。

2.3 安装视频相关自定义节点

打开 Manager → Install Custom Nodes，依次搜索安装：

  • ComfyUI-AnimateDiff-Evolved（核心）
  • ComfyUI-VideoHelperSuite（视频读写）
  • ComfyUI-Frame-Interpolation（RIFE 插帧）
  • ComfyUI-comfyui_controlnet_aux（控制网预处理）

三、AnimateDiff 工作流：文生视频基础款

3.1 工作流节点连接

AnimateDiff 工作流节点

AnimateDiff 通过给 SD 模型添加”时间注意力层”实现动画生成。最小可运行工作流（参考 CSDN weixin_33205138 教程）：

  1. Load Checkpoint：加载 SD 1.5 / SDXL 模型（如 realisticVisionV5）。
  2. AnimateDiff Loader：加载运动模型 mm_sd_v15_v2.ckpt（SD 1.5）或 mm_sdxl_v10.ckpt（SDXL），放到 models/animatediff_models/。
  3. CLIP Text Encode (Positive)：正向提示词，例如”a cat waving paw, cartoon style, bright colors”。
  4. CLIP Text Encode (Negative)：负向提示词，例如”deformed, blurry, bad anatomy”。
  5. KSampler：steps 20–30，cfg 7–9，sampler dpmpp_2m，scheduler karras。
  6. Empty Latent Image（动画）：设置 width/height（如 512×512）、batch_size 即帧数（16 起步）。
  7. VAE Decode：把 latent 解码为图像序列。
  8. VHS_VideoCombine：把图像序列合成 MP4，frame_rate 设为 12–24。

3.2 关键参数建议

参数 推荐值 备注
分辨率 512×512 SD 1.5 起步，SDXL 可 1024×1024
帧数 16 约 1.3 秒@12fps
motion_model V2 支持 Motion LoRA 8 种相机控制
context_length 16 上下文窗口，决定长视频连贯性
采样步数 20–30 越多越慢但越精细
cfg 7–9 太高会过饱和

3.3 进阶：Motion LoRA 控制相机

AnimateDiff V2 自带 8 种 Motion LoRA（Pan Left/Right、Zoom In/Out、Tilt Up/Down、Roll Left/Right），把它们通过 Load LoRA 节点加载，可以精确控制镜头运动。这是 ComfyUI 相对即梦、可灵的核心优势——镜头是”被定义”的，不是”被 AI 自由发挥”的。

四、Stable Video Diffusion (SVD) 工作流：图生视频

4.1 SVD 是什么

SVD 由 Stability AI 发布，专门做”单张图→4 秒视频”，擅长自然运动（风吹头发、流水、烟）。ComfyUI 官方提供了 SVD 工作流模板，安装 ComfyUI-VideoHelperSuite 后即可使用。

4.2 标准工作流

  1. Load Image：上传参考图（最好是 1024×576 横版）。
  2. SVD Loader：选择 svd.safetensors（4 秒版）或 svd_xt.safetensors（更长）。
  3. VideoLinearCFGGuidance：CFG 通常 2.5，motion_bucket_id 控制运动强度（1–255，建议 80–180）。
  4. KSampler：steps 20–25。
  5. VHS_VideoCombine：输出 MP4。

4.3 局限

  • 只能生成 2–4 秒短片段。
  • 角色一致性弱（适合场景空镜，不适合人物特写）。
  • 显存 12GB+ 才稳定。

五、Wan2.1 Fun Control：控制网 + 视频，2026 年最推荐

阿里通义万相团队 2025 年底开源的 Wan2.1-Fun-Control 是 ComfyUI 官方主推的视频控制方案，2026 年 7 月已经支持 Canny、Depth、OpenPose、MLSD、轨迹控制 5 种条件。

Wan2.1 Fun Control 节点

5.1 模型清单（下载一次即可长期使用）

文件 大小 存放路径
wan2.1_fun_control_1.3B_bf16.safetensors ~3GB models/diffusion_models/
wan2.1_fun_control_14B.safetensors ~32GB 同上（高质量版）
umt5_xxl_fp8_e4m3fn_scaled.safetensors ~10GB models/text_encoders/
wan_2.1_vae.safetensors ~250MB models/vae/
clip_vision_h.safetensors ~1.4GB models/clip_vision/

5.2 工作流搭建

  1. Load Diffusion Model：加载 wan2.1_fun_control_1.3B_bf16.safetensors。
  2. Load CLIP：加载 umt5_xxl_fp8_e4m3fn_scaled.safetensors。
  3. Load VAE：加载 wan_2.1_vae.safetensors。
  4. Load CLIP Vision：加载 clip_vision_h.safetensors。
  5. Load Image（Start）：上传首帧图。
  6. Load Image（WebP 格式控制视频）：把参考视频转成 WebP 序列后导入。
  7. Canny Edge：对控制视频做边缘检测，生成 Canny 序列作为控制信号。
  8. WanFunControlToVideo：连接所有输入，设置 frame_count ≤ 控制视频实际帧数，size 建议 512×512 或 768×768。

5.3 三种工作流切换

ComfyUI 官方提供”原生节点版”和”自定义节点版”两套工作流。原生版只用核心节点，适合不想装插件的用户；自定义节点版体验更好（支持 MP4 直读、Bypass 控制）。

5.4 进阶：Wan2.1 VACE——动作迁移与局部替换

2026 年 4 月发布的 Wan2.1 VACE 14B 是”视频版 ControlNet”，支持：

  • 动作迁移：用参考视频的动作驱动新主体。
  • 局部替换：通过遮罩替换视频中指定区域（如换衣、换背景）。
  • 视频扩展：补全动作或扩展背景。

Apache-2.0 协议开源，可商用。1.3B 版只需 8.2GB 显存即可生成 480P 视频，是 8GB 显卡用户的福音。

六、常见问题与避坑指南

6.1 帧间闪烁

原因：denoise 太高、seed 不固定、CFG 过大。解决：denoise 0.3–0.5、固定 seed、CFG 不超过 9。

6.2 角色变形

原因：AnimateDiff 运动模型与底模不匹配。解决：SD 1.5 用 mm_sd_v15_v2.ckpt，SDXL 用 mm_sdxl_v10.ckpt，不要混用。

6.3 显存溢出 (OOM)

解决：

  • 启用 --lowvram 启动参数。
  • 用 1.3B 模型代替 14B。
  • 降低分辨率或帧数。
  • 关闭浏览器其他标签页释放显存。

6.4 视频卡顿

解决：用 RIFE VFI 节点做 2×/4× 插帧，把 12fps 输出补到 24/48fps。

6.5 工作流节点报错

解决：用 ComfyUI Manager 升级所有自定义节点到最新版，并确保 ComfyUI 主体也是 Nightly 最新提交。

七、工作流选型决策树

需求是什么？
├─ 文字直接出短动画 → AnimateDiff V2 + Motion LoRA
├─ 单张概念图→4秒自然动效 → SVD XT
├─ 控制人物动作 / 走位 / 运镜 → Wan2.1-Fun-Control + OpenPose
├─ 把参考视频的动作"复制"到新角色 → Wan2.1 VACE
└─ 局部换衣 / 换背景 / 视频补全 → Wan2.1 VACE + 遮罩

信息核实

  • ComfyUI 官方文档，《Wan2.1 Fun Control 视频示例》，2026。https://docs.comfy.org/tutorials/video/wan/fun-control
  • ComfyUI 官方文档，《Wan2.1 VACE 视频示例》，2026。https://docs.comfy.org/zh-CN/tutorials/video/wan/vace
  • CSDN（weixin_33205138），《基于ComfyUI的动画生成方案：AnimateDiff集成部署教程》，2026-07-06。https://blog.csdn.net/weixin_33205138/article/details/156669638
  • ltxworkflow.com，《ComfyUI Animation Workflow Guide 2026》，2026-05。https://ltxworkflow.com/resources/showcase/comfyui-animation-workflow-2026
  • comfyui.dev，《Video Generation in ComfyUI》，2026-05-20。https://comfyui.dev/blog/video-generation-in-comfyui/
  • persc.jp，《ComfyUI 動画生成ガイド【2026年版】》，2026-04-23。https://persc.jp/blog/comfyui-video-guide-2/

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

粤ICP备2026032387号-1