EasyPhoto - 用于生成肖像画的 SD WebUI 插件

转载来自B站的教程，最近Jay也打算学这款软件，到时候自己出一期简单的教程，目前网上关于这款项目的教程还是太少了

一款基于 SD WebUI 插件生态的个性化写真生成开源插件 EasyPhoto。这款插件允许用户通过上传几张同一个人的照片，快速训练 Lora 模型，然后结合用户自定义的模板图片，生成 真/像/美的写真图片。

项目地址： https://github.com/aigc-apps/sd-webui-EasyPhoto

原理介绍

AI 真人写真是一个基于 StableDiffusion 和 AI 人脸相关技术，实现的定制化人像 Lora 模型训练和指定图像生成链路的集合，这里我们简单介绍我们在 EasyPhoto 中实现的相关技术,下图是 EasyPhoto 的生成链路介绍，

EasyPhoto 生成

EasyPhoto 生成采用基于开源模型 StableDiffusion + 人物定制 Lora 的方式 + ControlNet 的方式完成艺术照生成

1. 使用人脸检测模型对输入的指定模板进行人脸检测(crop & warp)并结合数字分身进行模板替换。

2. 采用 FaceID 模型挑选用户输入的最佳 ID Photo 和模板照片进行人脸融合(face fusion)。

3. 使用融合后的图片作为基底图片，使用替换后的人脸作为 control 条件，加上数字分身对应的 Lora，进行图到图局部重绘生成。

4. 采用基于 StableDiffusion + 超分的方式进一步在保持 ID 的前提下生成高清结果图。

EasyPhoto 训练!

EasyPhoto 训练采用了大量的人脸预处理技术，用于把用户上传的图片进行筛选和预处理，并引入相关验证和模型融合技术，参考图 3.

1. 采用 FaceID 和图像质量分数对所有图片进行聚类和评分，筛选非同 ID 照片。

2. 采用人脸检测和主体分割，抠出 1 筛选后的人脸图片进行人脸检测抠图，并分割去除背景。

3. 采用美肤模型优化部分低质量人脸，推升训练数据的图片质量。

4. 采用单一标注的方案，对处理后的训练图片进行打标，并使用相关的 Lora 训练。

5. 训练过程中采用基于 FaceID 的验证步骤，间隔一定的 step 保存模型，并最后根据相似度融合模型。