动作迁移与表情控制完全指南：Runway MotionBrush / Wan2.1 ATI / AnimateDiff + ControlNet

导语

文生视频解决了”从 0 到 1 生成画面”的问题，但精细控制”画面里的人在做什么、表情是什么、动作怎么走” 是 2026 年 AI 视频的真正分水岭。Runway Gen-3/4 的 MotionBrush、Wan2.1 的 ATI 轨迹控制、AnimateDiff + ControlNet 的姿态引导，已经把”动作迁移”和”表情控制”做成了三类相对成熟的工作流。这篇文章用真实工作流 + 参数推荐，帮你选对方案，少走 3 个月弯路。

3 个核心概念：先分清

在动手之前，先把这 3 个概念理清楚，否则容易混用工具：

• 动作迁移（Motion Transfer）：把一段参考视频里的动作”复制”到目标角色上。比如让一张静图里的人物，按参考视频的姿势运动；
• 表情控制（Expression Control）：精确控制面部肌肉运动，悲伤、惊讶、微笑的强度可调；
• 运镜控制（Camera Control）：控制镜头怎么动——推、拉、摇、移、跟、升、降。这与动作控制是正交的，可以叠加使用。

3 个概念经常出现在同一个工作流里，但底层机制不同：动作迁移靠光流/姿态估计，表情控制靠面部关键点 + 表情参数，运镜控制靠相机轨迹插值。

方案 1：Runway MotionBrush —— 商业工具的事实标准

MotionBrush 是 Runway Gen-2 时代推出的核心功能，2025 年 5 月 Gen-2 退役后，Gen-3 仍然支持 MotionBrush 的核心能力（多笔刷、独立参数），并在 Gen-4 中被 Aleph（生成后编辑）和 Act-Two（表演捕捉）部分替代。

核心能力：

• 单图最多 5 个独立笔刷，每个笔刷可设置 X/Y/Z 三轴运动方向和速度；
• Ambient Noise 滑杆控制微随机性，避免”机械感运动”；
• 与 Camera Controls 正交可叠加（一边控制元素运动，一边推镜头）。

典型工作流（人物特写，头发飘动）：

1. 上传一张 16:9 的人物静图；
2. 选择 Brush 1，涂在头发区域；
3. Horizontal 滑杆设为 +2（向右微动），Ambient 设为 0.3（自然风感）；
4. 再选 Brush 2，涂在眼睛区域，Vertical 设为 +0.5（眨眼/微动）；
5. 文本提示词补一句 “gentle wind, natural micro-movements”；
6. 生成 5–10 秒视频，Gen-3 标准画质。

适用场景：单张静图激活、人物/产品/场景的局部动效、广告/电商特写镜头。

注意：MotionBrush 在 Gen-4.5 中已经被 Act-Two 替代——后者通过”真人表演”驱动 AI 角色，如果你需要的是”控制角色做什么动作”，Act-Two 比 MotionBrush 更直接。

方案 2：Wan2.1 ATI 轨迹控制 —— 开源方案的精确控制

字节跳动 2026 年推出的 ATI（Any Trajectory Instruction）框架，基于 Wan2.1 模型，是开源生态里最精确的运动控制方案。它把”物体运动、局部区域变换、相机路径”三类控制统一到同一套轨迹指令里，支持贝塞尔曲线、关键帧编辑、实时预览。

核心能力：

• 在静态图上直接绘制运动路径（像素级精度）；
• 单条指令同时控制物体运动、区域变换、相机视角；
• 与 Wan2.1 生态完全兼容，已有 Wan2.1 模型无需重训；
• 运动热力图可视化，便于调参。

ComfyUI 工作流（需要 nightly 版 ComfyUI）：

1. 升级 ComfyUI 到最新版（稳定版可能缺失轨迹控制节点）；
2. 下载 Wan2.1-FLF2V-14B-720P 模型放到 models/diffusion_models/；
3. 工作流串联：Load Diffusion Model (wan2.1_fun_control_1.3B_bf16.safetensors) → ATI Trajectory Edit → Image Input → KSampler → Video Combine；
4. 在轨迹编辑器里绘制 S 形路径，应用到主体。

适用场景：精确镜头轨迹、产品演示镜头、需要同时控制物体运动和相机运镜的复杂场景。

方案 3：AnimateDiff + ControlNet —— 开源节点式工作流

AnimateDiff + ControlNet 的组合是 ComfyUI 生态里最灵活但学习成本最高的方案。它把”动作”和”姿态”拆成两个独立条件，分别控制。

核心组件：

• AnimateDiff Loader：加载动作模块（如 mm_sd_v15_v2.ckpt），让 SD 1.5 基础模型支持时序生成；
• ControlNet OpenPose：从参考视频提取人体关键点（姿态骨架），作为扩散条件注入；
• KSampler：核心生成节点，串联 AnimateDiff 模型和 ControlNet 条件；
• VHS_VideoCombine：把生成的帧序列合成为 MP4 视频。

典型工作流（人物跳舞视频）：

1. 准备一段参考视频（真人跳舞）和一张目标角色图（动漫风格）；
2. 用 DWPose 或 OpenPose 预处理器从参考视频提取每帧的姿态骨架；
3. ComfyUI 工作流：

• Load Checkpoint (SD 1.5) → AnimateDiff Loader (mm_sd_v15_v2.ckpt)；
• Load Image (目标角色图) + CLIPTextEncode (动作描述)；
• ControlNet Apply (OpenPose 预处理器 + 控制图) → KSampler；
• Empty Latent Image (16帧, 512x512, batch=16) → KSampler；
• VAE Decode → VHS_VideoCombine 输出 MP4；

1. 参数：steps 20–30，CFG 7–9，sampler dpmpp_2m，scheduler karras。

适用场景：动漫角色动作迁移、舞蹈/武术/动作类视频、需要在 SD 1.5 生态内做视频生成的创作者。

进阶技巧（来自 ComfyUI Dev 官方文档）：

• 用固定 seed 锁住基础噪声；
• 低 denoise（0.3–0.5） 保留结构、减少闪烁；
• 8–12 FPS 起步，生成后用 RIFE 插值到 24/30 FPS；
• 用 Motion LoRA 控制特定运动模式（推、拉、平移等）；
• 配合 IP-Adapter 同时锁角色面部，效果更稳。

3 种方案横评对比表

方案	控制粒度	学习成本	开源/闭源	视频时长	显卡要求
Runway MotionBrush	中（局部笔刷）	低	闭源（$12–76/月）	5–10 秒	云端
Wan2.1 ATI	高（像素级轨迹）	中	开源	5–15 秒	12–24GB VRAM
AnimateDiff + ControlNet	高（节点级）	高	开源	2–4 秒/段，可拼接	8–12GB VRAM

实战组合建议

不同场景下，3 种方案的组合方式不一样：

• 广告/电商特写（5 秒镜头 + 局部动效） → 单独用 Runway MotionBrush 即可，零学习成本；
• AI 短剧/剧情镜头（5–15 秒 + 精确运镜） → Wan2.1 ATI 是首选，开源可控、轨迹精确；
• 动漫/二次元角色动作 → AnimateDiff + ControlNet + IP-Adapter 三件套，节点式精细控制；
• 企业宣传/品牌片 → MotionBrush 出元素动效 + 后期剪映/PR 拼接运镜。

三个常见坑

1. 不要把 MotionBrush 当万能工具——它的笔刷控制只适合”局部元素微动”，复杂的连续动作（跳舞、武术）应交给 AnimateDiff + ControlNet；
2. 不要在 AnimateDiff 里用太高 denoise——超过 0.6 会出现明显闪烁和结构漂移；
3. 不要忽视运镜与动作的正交性——同一帧里，元素向左动 + 镜头向右移，会产生强烈的视觉张力；元素与镜头同向运动会显得”呆板”。善用这对”反作用力”，视频质感应声而上。

---

信息核实

• AIToolFinder《Runway AI Video Gen-3 Alpha Review》—— Runway 定价、Gen-3/4 模型能力、Multi-Motion Brush 详解；
• Artificial Intelligence Wiki《Runway Motion Brush Tutorial》（2026-06-05）—— MotionBrush 多笔刷、Ambient Noise、Camera Controls 叠加使用；
• Future Stack Reviews《Honest Runway AI Review 2026: What Really Changed?》（2026-04-13）—— Gen-3 到 Gen-4.5 的演进、Act-Two 替代 MotionBrush 的官方说明；
• CSDN《深度解析 Wan2.1 ATI 轨迹控制：ComfyUI 视频生成全流程指南》（2026-07-07）—— ATI 框架原理、ComfyUI 工作流部署、模型下载路径；
• ComfyUI Dev《Video Generation in ComfyUI – Turning Frames into Fire》（2026-05-20）—— AnimateDiff、ControlNet、Latent Interpolation 三大方法与节点配置；
• CSDN《ComfyUI 视频生成技术：Stable Video Diffusion 终极实战指南》（2026-06-23）—— SVD 模型加载、AnimateDiff 节点、ffmpeg 合成命令。