微信扫一扫 分享朋友圈

已有 925 人浏览分享

Stablediffusion    SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程

2023-12-7 21:01:17925 0



精简图文

首先这是stablediffsuion的一款插件,包括不同版本的SD都有对应的插件,此插件一出直接轰动了SD图友。

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(1)

以下是不同版本SD的优缺点

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(2)

这是提示词使用方法,按帧秒描述不同动作

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(3)

这就是效果

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(4)


安装方法AnimateDiff专用模型下载
AnimateDiff有其自身专门的运动模型mm_sd_v15_v2.ckpt 和 专属的镜头运动lora,需要放置在对应的位置。
stablediffusion位置:
运动模型放在stable-diffusion-webui\extensions\sd-webui-animatediff\model里面
运动lora放在stable-diffusion-webui\models\Lora里面
ComfyUI版位置:
运动模型放在ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models里面
运动lora放在ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora里面
代码版animatediff位置:
运动模型和运动lora都可以放在animatediff-cli-prompt-travel\data\models\motion-module里面

下载链接:


1、Webui版AnimateDiff



Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(5)
在stablediffusion webui扩展界面,点击从网址安装,复制https://github.com/continue-revolution/sd-webui-animatediff到扩展git仓库网址,点击安装即可,等待安装完毕,重启一下SD UI界面。

Webui版AnimateDiff具体功能如下:

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(6)

2、Comfyui版AnimateDiff
Win和Mac都可以安装Comfyui版AnimateDiff

Win ComfyUI安装

1、下载和解压提供的WIN & MAC 通用Comfyui安装包,下载链接
2、在里面的updata文件夹里面,先双击运行一下update_comfyui.bat 升级一下最新版本
3、进入ComfyUI_windows_portable\ComfyUI\custom_nodes文件夹,在箭头的导航栏位置输入cmd回车

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(7)

确保命令代码已经在这个custom_nodes目录内

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(8)

然后依次输入下面3段代码安装3个插件,切记要分开一段段输入,回车安装(如果显示不是内部命令,证明没有安装git,本教程页面最下面的第3点方法安装git)

git clone https://github.com/ltdrdata/ComfyUI-Manager
git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

4、按照本页教程最上面AnimateDiff专用模型的放置位置放置模型。

而Stablediffusion常用的大模型则是放在ComfyUI_windows_portable\ComfyUI\models\checkpoints里面,
Lora则放在ComfyUI_windows_portable\ComfyUI\models\loras里面
5、运行ComfyUI_windows_portable文件夹里面的run nvidia gpu.bat,看到有http://127.0.0.1:8188/地址出现,把这个地址在浏览器打开即可进入ComfyUI界面。
Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(9)

Mac ComfyUI安装

1、下载和解压提供的WIN & MAC 通用Comfyui安装包,[color=var(--focus-color)]下载链接
2、用终端打开里面的ComfyUI
Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(10)

3、确保终端代码能定位到ComfyUI这个文件夹,然后输入pip install -r requirements.txt 或者 pip3 install -r requirements.txt

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(11)

4、这时候关闭终端,去到ComfyUI_windows_portable/ComfyUI/custom_nodes文件夹,用第二步的方式用终端打开custom_nodes这个文件夹。然后依次输入下面3段代码安装3个插件,切记要分开一段段输入,回车安装(如果显示不是内部命令,证明没有安装git,本教程页面最下面的第3点方法安装git)

git clone https://github.com/ltdrdata/ComfyUI-Manager
git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved


Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(12)

5、按照本页教程最上面AnimateDiff专用模型的放置位置放置模型。(注意AnimateDiff专用模型和stablediffusion大模型放置的路径是不一样的)
而Stablediffusion常用的大模型则是放在ComfyUI_windows_portable\ComfyUI\models\checkpoints里面,
Lora则放在ComfyUI_windows_portable\ComfyUI\models\loras里面
6、回到comfyui文件夹,用终端运行这个文件夹,输入python main.py或者python3 main.py

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(13)

看到有http://127.0.0.1:8188地址出现,把这个地址在浏览器打开即可进入ComfyUI界面。

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(14)

3、代码版animatediff-cli-prompt-travel
目前官方只提供win版本的安装步骤,安装其实非常简单,一步步回车即可
1、新建一个用于安装代码版animatediff的文件夹,要英文命名,整个路径不要有中文。
2、在这个文件夹的导航栏上输入cmd

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(15)

3、然后在命令提示符里面依次输入12个代码,一个一个来,输入后回车等待执行完毕再输入下一个代码。(注意,下面第7个代码比较长,请完整复制)全程需要魔法网络。

  1. git clone https://github.com/s9roll7/animatediff-cli-prompt-travel.git

  2. cd animatediff-cli-prompt-travel

  3. py -3.10 -m venv venv

  4. venv\Scripts\activate.bat

  5. set PYTHONUTF8=1

  6. python -m pip install --upgrade pip

  7. python -m pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

  8. python -m pip install -e .

  9. python -m pip install xformers

  10. python -m pip install -e .[stylize]

  11. python -m pip install -e .[dwpose]

  12. python -m pip install -e .[stylize_mask]
复制代码

4、按照本页教程最上面AnimateDiff专用模型的放置位置放置模型。
而Stablediffusion的大模型和Lora放置在animatediff-cli-prompt-travel/data/models/sd文件夹里面。
5、运行方法:
在animatediff-cli-prompt-travel目录上放导航栏位置输入cmd,输入

venv\Scripts\activate.bat
然后输入
animatediff generate -c config/prompts/对应的名称.json -W 512 -H 768 -L 128 -C 16

意思是产出宽512 x 高768 的视频,一共128帧长度,16帧每秒的帧速率,按照文档“对应的名称.json”的脚本来运行。


4、常见错误问题


1.确保全程网络通畅,需要科学魔法网络才能安装部署成功;
2.所有安装路径避免有中文,用全英文路径。
3.确保安装了python和git,可以在CMD里面或者终端里面输入下面的代码,检查是否已经安装对应的部件,当返回版本号证明已经安装正确。

Python --version 或者 python3 -V
git --version

Stablediffusion-SD的AnimateDiff插件可以做视频啦,快来学安装方法,视频制作教程(16)

4.使用生成不了视频的话,按照安装包第四项,安装ffmpeg,安装包内有安装教程。

5.如果还是生成不了视频,SDwebui版本要更新最新的客户端版本,包括启动器也要更新,秋叶更新最新的4.4。comfyui版本要在菜单里面点击更新全部。


  • 联系我们
  • 邮箱:1992608358#qq.com(请把#改成@)
  • 微信:mianfeixueai
  • QQ客服 1992608358
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信公众平台

  • 扫描访问手机版

QQ|NIUBOYI ( 京ICP备17025393号 )|网站地图

GMT+8, 2024-10-23 01:56 , Processed in 0.047901 second(s), 40 queries .

POWERED BY NIUBOYIAI! 主理人:NIUBOYIAI  点亮哥

Copyright © 2001-2020, NIUBOYI AI.