Lucy Edit 是一个由 Decart AI 开发的开源、文本指令驱动的视频编辑模型。它的核心能力在于:用户只需输入一段简单的文字描述,就能对现有视频中的特定元素(如服装、物体、角色,甚至整个场景)进行精准修改,同时完美保留原始视频的动作、表情和构图。
它被誉为“视频领域的开源 Nano Banana”,象征着其在视频编辑领域可能带来的轻量化、平民化革命。
核心功能与能力
- 多样化的编辑类型:
- 服装/配饰更换:如“给这位女士换上哥特裙装”或“戴上墨镜”。
- 角色替换:如“把这个人变成一只北极熊”或“蜥蜴人”。
- 物体插入与替换:如“在桌子上添加一个花瓶”或“将手机换成一本古书”。
- 场景与风格转换:如“将背景从城市街道变为森林”或“转换成油画风格”。
- 颜色修改:改变特定物体的颜色。
- 卓越的技术优势:
- 指令驱动,无需掩码:与传统视频编辑需要逐帧绘制蒙版不同,Lucy Edit 只需自然语言指令,极大地简化了流程。
- 出色的身份与运动保持:这是其最大亮点。在换装或替换角色时,能确保人物的脸部身份和身体的动态(如衣服褶皱随动作摆动)得到高度保留,视频连贯性非常强。
- 高精度理解:模型能理解一些隐含意图,例如在“给扎克伯格T恤加文字,表达真实想法”的演示中,生成了“WiFi太烂”的字样,展现了其上下文理解能力。
- 高效快速:据称能在16毫秒内完成单帧渲染,速度惊人。
技术特点与版本信息
- 模型架构:基于 Wan2.2 5B 模型,采用了高压缩架构,使其能兼容现有工作流,对开发者友好。
- 开源与商业化并行:
- 开发版:已在 Hugging Face 上开源,供研究者和开发者免费使用。
- ComfyUI 节点:提供了与 ComfyUI(一个流行的可视化AI工作流工具)集成的节点,方便高级用户构建复杂编辑流程。
- 专业版:通过 FAL 平台提供API服务,据称支持480P以上分辨率,适合商业应用。
相关链接
github:https://github.com/decartAI/lucy-edit-comfyui
huggingface:https://huggingface.co/decart-ai/Lucy-Edit-Dev