原创 66秒未来科技 66秒未来科技2024-02-04 13:06 北京 引言: 这两天一直在看InstantID,网上很多介绍和教程把我看笑了。根本就不可能正常安装使用,全是蹭热点没半点儿干货。于是自己梳理总结,写一下个人使用WebUI与ComfyUI的步骤留着备份。 InstantID由小红书(Xiaohongshu)的InstantX团队开发,是一项创新的图像生成技术,它在数字艺术创作领域掀起了一场革命。这项技术以其独特的零次个性化图像合成能力,允许用户仅通过一张面部图像,就能创造出风格多样、高度个性化的图像。 InstantID不仅在技术上取得了突破,更在用户体验上提供了极大的便利。本文将详细介绍如何在WebUI和ComfyUI中利用InstantID,以及这一技术背后的开发力量。 项目地址: https://github.com/InstantID/InstantID?tab=readme-ov-file Demo体验地址: https:///spaces/InstantX/InstantID https:///apps/detail/InstantX/InstantID 接下来让我们看看如何在WebUI和ComfyUI中使用InstantID。 一.WebUI中使用InstantID的方式: 1.安装并配置WebUI,我们启动秋叶大佬的“绘世WebUI启动器”升级一下内核 打开代理,一会儿下载用地上。 高级选项中设置环境 2.安装需要的插件环境框架 我们需要安装一下“ReActor”,它是一个人脸交换的稳定扩散。 直接在“sd-webui-aki-v4.6\extensions”目录下执行 “git clone https://github.com/Gourieff/sd-webui-reactor.git” 或者启动器里面搜索“reactor” 安装 又或者,用我压缩包里的也行。 然后把我为大家准备的insightface模型文件放到 “StableDiffusion\sd-webui-aki-v4.6\models\insightface”目录下 再然后把我为大家准备的另一份文件 “insightface-0.7.3-cp310-cp310-win_amd64.whl” 复制到StableDiffusion\sd-webui-aki-v4.6\python路径下。 地址栏输入“cmd” 调出命令行控制台, 输入“\python.exe -m pip install insightface-0.7.3-cp310-cp310-win_amd64.whl” 随后我们将“sd-webui-aki-v4.6\python\Scripts”完整路径添加到环境变量。 再在python路径下“cmd”输入 “python.exe -m pip install onnxruntime --upgrade” 再继续输入 “python.exe -s -m pip install segment_anything omegaconf” 安装深度学习框架, 到此以上需要的环境框架都安装完了。 3.将controlnet模型文件拷贝到 "\extensions\sd-webui-controlnet\models"目录下 我已经将模型的名字修改成可以识别的标准了,放心使用。 4.升级扩展中的Controlnet到最新版本 点击“一键启动” 5.如果更新成功,我们就可以看见ControlNet v1.1.440的版本了 下面也会多了个“InstantID” 选项按钮,接下来看看如何使用。 6.使用InstantID,因为InstantID暂时还没有支持1.5版本的模型版本,所以需要选择SDXL大模型。然后使用2个ControlNet单元配合使用。 在第一个ControlNet单元0中选择上传一张面部图片,设置如下。 预处理器选择“instant id face embedding” 模型选择“ip-adapter instant id sdxl [eb2d3ec0l” 点击红圈中的“爆炸”按钮,会自动下载预处理文件。 再在第二个ControlNet单元1中选择上传一张面部图片,它会确定面部的位置,设置如下。 预处理器选择“instant id face keypoints” 模型选择“control instant id sdxl [c5c25a50]” 点击红圈中的 “爆炸” 按钮,会自动下载预处理文件。 等待预处理文件下载完成,如果不幸下载失败,可以把我压缩包内的文件拷贝到下面路径里。 “StableDiffusion\sd-webui-aki-v4.6\extensions\sd-webui-controlnet\annotator\downloads\insightface\models\antelopev2” 当然你也可以自己从huggingface上下载,拷贝到上面目录。 7.选择SDXL模型,输入提示词,选择起手式。 这里建议将 CFG 设置为 4~5 获得最效果,等待生成。 二笔青年快乐多 当然要控制姿势,我们可以加入DWpose等控制。大家自行发挥吧。 到此处,WebUI部分完。 资源自动获取,公众号回复:InstantIDWebUI 二.ComfyUI中使用InstantID的方式: 1.把文件 “insightface-0.7.3-cp311-cp311-win_amd64.whl” 复制到ComfyUI_windows_portable路径下。 地址栏输入“cmd” 调出命令行控制台,输入 “python_embeded\python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl” 这个库是用于人脸识别和分析的。insightface提供了一系列的工具和模型,可以帮助开发者在他们的应用程序中实现人脸检测、关键点定位、人脸识别等功能。 将“python_embeded\Scripts”完整路径添加到环境变量 提示有更新可以使用,于是我输入了我自己的路径加上 “python.exe -m pip install --upgrade pip” 再输入“python_embeded\python.exe -m pip install onnxruntime --upgrade” 上面提示我,忘记添加到环境变量。 2.进入ComfyUI_windows_portable\python_embeded文件路径下 窗口路径“cmd” 输入 “python.exe -s -m pip install segment_anything omegaconf” 安装深度学习框架 3.安装需要的插件,将需要的插件复制到 ComfyUI_windows_portable\ComfyUI\custom_nodes 我这个是为了记录单独copy出来的工程,所以非常的干净。 4.启动“run_nvidia_gpu.bat”, 导入工作流 “V2.0_InstantID_pose_ref_+_ArtGallery_【Zho】.json” 工作流在上面的插件目录里面,路径如下。 “omfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-InstantID\INSTANTID WORKFLOWS”, 点击右边的“Manager”选择 “Install Missing Custom Nodes” 关闭所有,重新启动。 5.运行“run_nvidia_gpu.bat”会更新自动下载 下载完后,自动打开链接,显示我们上次的工作流。 6.修改设置,将“ID ControlNet Loader” 下面的路径修改为本地插件配置路径 将“lpadapter instantid Loader”下面的路径修改为本地插件配置路径 第一次运行“ID Base Model Loader from hub”节点会自动下载模型。 需要开代理,或者魔法,我是之前用“绘世启动器”代理下载了。 最后效果如下图。 按我上面的操作,大家都可以跑通整个流程了。 大家还可以试试插件下的其它工作流,都不复杂。 剩下的修改风格,和提示词,需要大家自己发挥了。 到此处,ComfyUI部分完。 资源自动获取,公众号回复:InstantIDComfyUI 总结: InstantID的开发团队,小红书的InstantX团队,通过其在人工智能领域的深厚技术积累,成功地将创新的图像生成技术带给了公众。这项技术不仅在技术上实现了零次个性化图像合成的突破,而且在用户体验上也做到了极致的简洁和直观。与市场上其他图像生成工具相比,InstantID在保持高度个性化的同时,大大简化了用户的操作流程,使得即使是没有深厚技术背景的艺术家和设计师也能轻松上手。 在WebUI和ComfyUI这两个平台上,InstantID展现了其强大的功能和灵活性。WebUI提供了一个直观的用户界面,用户可以通过简单的步骤实现面部图像的上传和风格化处理,而ComfyUI则以其便携性和易用性,为用户提供了一个更加个性化的创作环境。两者在功能上各有千秋,WebUI更适合快速尝试和体验,而ComfyUI则提供了更多的定制化选项,适合那些希望深入探索和创作独特艺术作品的用户。 下篇我们会再分享一个开箱即用的InstantID整合包,但需要有足够的机器配置噢。 完over。 |
|