NIUBOYI»Home › › Stable Diffusion › 中文 | English
微信扫一扫 分享朋友圈

已有 2217 人浏览分享

Stablediffusion    SD's AnimateDiff plugin can now create videos! Come learn the installation method and video production tutorial.

2023-12-7 21:01:172217 0



精简图文

首先这是stablediffsuion的一款插件,包括不同版本的SD都有对应的插件,此插件一出直接轰动了SD图友。

微信截图_20231207205257.png

以下是不同版本SD的优缺点

微信截图_20231207205548.png

这是提示词使用方法,按帧秒描述不同动作

微信截图_20231207205450.png

这就是效果

微信截图_20231207205636.png


安装方法AnimateDiff专用模型下载
AnimateDiff有其自身专门的运动模型mm_sd_v15_v2.ckpt 和 专属的镜头运动lora,需要放置在对应的位置。
stablediffusion位置:
运动模型放在stable-diffusion-webui\extensions\sd-webui-animatediff\model里面
运动lora放在stable-diffusion-webui\models\Lora里面
ComfyUI版位置:
运动模型放在ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models里面
运动lora放在ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora里面
代码版animatediff位置:
运动模型和运动lora都可以放在animatediff-cli-prompt-travel\data\models\motion-module里面

下载链接:


1、Webui版AnimateDiff



35579ccdfd164725-1024x794.jpg
在stablediffusion webui扩展界面,点击从网址安装,复制https://github.com/continue-revolution/sd-webui-animatediff到扩展git仓库网址,点击安装即可,等待安装完毕,重启一下SD UI界面。

Webui版AnimateDiff具体功能如下:

7132453385170923-1024x540.jpg

2、Comfyui版AnimateDiff
Win和Mac都可以安装Comfyui版AnimateDiff

Win ComfyUI安装

1、下载和解压提供的WIN & MAC 通用Comfyui安装包,下载链接。
2、在里面的updata文件夹里面,先双击运行一下update_comfyui.bat 升级一下最新版本
3、进入ComfyUI_windows_portable\ComfyUI\custom_nodes文件夹,在箭头的导航栏位置输入cmd回车

fde753d29a235518-1024x491.jpg

确保命令代码已经在这个custom_nodes目录内

8f3dd8e427000013-1024x161.jpg

然后依次输入下面3段代码安装3个插件,切记要分开一段段输入,回车安装(如果显示不是内部命令,证明没有安装git,本教程页面最下面的第3点方法安装git)

git clone https://github.com/ltdrdata/ComfyUI-Manager
git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

4、按照本页教程最上面AnimateDiff专用模型的放置位置放置模型。

而Stablediffusion常用的大模型则是放在ComfyUI_windows_portable\ComfyUI\models\checkpoints里面,
Lora则放在ComfyUI_windows_portable\ComfyUI\models\loras里面
5、运行ComfyUI_windows_portable文件夹里面的run nvidia gpu.bat,看到有http://127.0.0.1:8188/地址出现,把这个地址在浏览器打开即可进入ComfyUI界面。
5826b8f77f012404-1024x635.jpg

Mac ComfyUI安装

1、下载和解压提供的WIN & MAC 通用Comfyui安装包,[color=var(--focus-color)]下载链接。
2、用终端打开里面的ComfyUI
a587267fa0010802-1024x886.jpg

3、确保终端代码能定位到ComfyUI这个文件夹,然后输入pip install -r requirements.txt 或者 pip3 install -r requirements.txt

e51d6c154e011258.jpg

4、这时候关闭终端,去到ComfyUI_windows_portable/ComfyUI/custom_nodes文件夹,用第二步的方式用终端打开custom_nodes这个文件夹。然后依次输入下面3段代码安装3个插件,切记要分开一段段输入,回车安装(如果显示不是内部命令,证明没有安装git,本教程页面最下面的第3点方法安装git)

git clone https://github.com/ltdrdata/ComfyUI-Manager
git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git
git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved


b1603ecf91012048-1024x523.jpg

5、按照本页教程最上面AnimateDiff专用模型的放置位置放置模型。(注意AnimateDiff专用模型和stablediffusion大模型放置的路径是不一样的)
而Stablediffusion常用的大模型则是放在ComfyUI_windows_portable\ComfyUI\models\checkpoints里面,
Lora则放在ComfyUI_windows_portable\ComfyUI\models\loras里面
6、回到comfyui文件夹,用终端运行这个文件夹,输入python main.py或者python3 main.py

216732bd11012956.jpg

看到有http://127.0.0.1:8188地址出现,把这个地址在浏览器打开即可进入ComfyUI界面。

550f973356012756-1024x649.jpg

3、代码版animatediff-cli-prompt-travel
目前官方只提供win版本的安装步骤,安装其实非常简单,一步步回车即可
1、新建一个用于安装代码版animatediff的文件夹,要英文命名,整个路径不要有中文。
2、在这个文件夹的导航栏上输入cmd

2f8b163074021954.jpg

3、然后在命令提示符里面依次输入12个代码,一个一个来,输入后回车等待执行完毕再输入下一个代码。(注意,下面第7个代码比较长,请完整复制)全程需要魔法网络。

  1. git clone https://github.com/s9roll7/animatediff-cli-prompt-travel.git

  2. cd animatediff-cli-prompt-travel

  3. py -3.10 -m venv venv

  4. venv\Scripts\activate.bat

  5. set PYTHONUTF8=1

  6. python -m pip install --upgrade pip

  7. python -m pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

  8. python -m pip install -e .

  9. python -m pip install xformers

  10. python -m pip install -e .[stylize]

  11. python -m pip install -e .[dwpose]

  12. python -m pip install -e .[stylize_mask]
复制代码

4、按照本页教程最上面AnimateDiff专用模型的放置位置放置模型。
而Stablediffusion的大模型和Lora放置在animatediff-cli-prompt-travel/data/models/sd文件夹里面。
5、运行方法:
在animatediff-cli-prompt-travel目录上放导航栏位置输入cmd,输入

venv\Scripts\activate.bat
然后输入
animatediff generate -c config/prompts/对应的名称.json -W 512 -H 768 -L 128 -C 16

意思是产出宽512 x 高768 的视频,一共128帧长度,16帧每秒的帧速率,按照文档“对应的名称.json”的脚本来运行。


4、常见错误问题


1.确保全程网络通畅,需要科学魔法网络才能安装部署成功;
2.所有安装路径避免有中文,用全英文路径。
3.确保安装了python和git,可以在CMD里面或者终端里面输入下面的代码,检查是否已经安装对应的部件,当返回版本号证明已经安装正确。

Python --version 或者 python3 -V
git --version

3a925b65bb014933.jpg

4.使用生成不了视频的话,按照安装包第四项,安装ffmpeg,安装包内有安装教程。

5.如果还是生成不了视频,SDwebui版本要更新最新的客户端版本,包括启动器也要更新,秋叶更新最新的4.4。comfyui版本要在菜单里面点击更新全部。


  • WeChat Official Account

  • Scan to Visit Mobile Site

QQ|NIUBOYI ( 京ICP备17025393号 )|网站地图

GMT+8, 2026-10-30 19:45 , Processed in 0.392688 second(s), 40 queries .

POWERED BY NIUBOYIAI! 主理人:NIUBOYIAI  点亮哥

Copyright © 2001-2020, NIUBOYI AI.