Stable Diffusion 也能生成视频了！

你没听错，Stability AI 推出了一款新的文本生成动画工具包 Stable Animation SDK，可支持文本、文本 + 初始图像、文本 + 视频多种输入方式。

(资料图片仅供参考)

使用者可以调用包括 Stable Diffusion 2.0、Stable Diffusion XL 在内的所有 Stable Diffusion 模型，来生成动画。

Stable Animation SDK 的强大功能一经展现，网友惊呼：

哇哦，等不及想试试了！

目前，Stability AI 疑似还在对这个新工具进行技术优化，不久后将公开驱动动画 API 的组件源代码。

3D 漫画摄影风，不限时长自动生成

Stable Animation SDK 可支持三种创建动画的方式：

1、文本转动画：用户输入文 prompt 并调整各种参数以生成动画（与 Stable Diffusion 相似）。

2、文本输入 + 初始图像输入：用户提供一个初始图像，该图像作为动画的起点。图像与文本 prompt 结合，生成最终的输出动画。

3、视频输入 + 文本输入：用户提供一个初始视频作为动画的基础。通过调整各种参数，根据文本 prompt 生成最终的输出动画。

除此之外，Stable Animation SDK 对生成视频的时长没有限制，但是长视频将需要更长的时间来生成。

Stability AI 发布了 Stable Animation SDK 后，有很多网友分享了自己测试效果，让我们一起看下吧：

Stable Animation SDK 可以设置许多参数，例如 steps、sampler、scale、seed。

还有下面这么多的预设风格可选择：

3D 模型、仿真胶片、动漫、电影、漫画书、数码艺术、增强幻想艺术、等距投影、线稿、低多边形、造型胶土、霓虹朋克、折纸、摄影、像素艺术。

目前，动画功能 API 的使用是以积分计费的，10 美元可抵 1000 积分。

使用 Stable Diffusion v1.5 模型，在默认设置值（512x512 分辨率，30steps）下，生成 100 帧（大约 8 秒）视频将消耗 37.5 积分。

默认情况下，每生成 1 帧，Cadence 值设置为 1 个静止图像，可根据不同的动画模式选择较低或较高的 Cadence 值。Cadence 值的上限是动画中的总帧数，即至少生成一张静止图像。视频转视频的 Cadence 必须为 1:1。

官方也给出了一个示例，可以看出生成 100 帧标准动画的标准静止图像（512x512/768x768/1024x1024，30 steps），随着 Cadence 值变化，积分的使用情况：

简单来说，受参数、时长等各种因素的影响，生成视频的费用并不固定。

效果和价格我们都了解了，那如何安装并调用 API 呢？

要创建动画并测试 SDK 的功能，只需要两个步骤即可运行用户界面：

在开发应用程序时，需要先设置一个 Python 虚拟环境，并在其中安装 Animation SDK：

具体使用说明书放在文末啦！

越发火热的视频生成

最近，视频生成领域变得越来越热闹了。

比如，AI 视频生成新秀 Gen-2 内测作品流出，网友看完作品直呼：太不可思议了！

Gen-2 的更新更是一口气带来了八大功能：

文生视频、文本 + 参考图像生视频、静态图片转视频、视频风格迁移、故事板（Storyboard）、Mask（比如把一只正在走路的小白狗变成斑点狗）、渲染和个性化（比如把甩头小哥秒变海龟人）。

还有一位名叫 Ammaar Reshi 的湾区设计师用 ChatGPT 和 MidJourney 两个生成 AI 模型，成功做出一部蝙蝠侠的动画小电影，效果也是非常不错。

自 Stable Diffusion 开源后，一些开发者通过 Google Colab 等形式分享了各种魔改后的功能，自动生成动画功能一步步被开发出来。

像国外视频特效团队 Corridor，他们基于 Stable Diffusion，对 AI 进行训练，最终能让 AI 把真人视频转换为动画版本……

大家在对新工具的出现兴奋不已的同时，也有网友对 Stable Animation SDK 生成的视频所展现出的效果发出质疑:

这与 deforum 有什么区别？没有时间线都不连贯，只有非常松散的一帧接一帧的图像。

那么你玩过这些工具了吗？感觉效果如何？

传送门：

https://platform.stability.ai/ docs / features / animation / using（StableAnimation SDK 使用说明书）

参考链接：

[1]https://www.youtube.com/watch?v=xsoMk1EJoAY

[2]https://twitter.com/_akhaliq/status/1656693639085539331

[3]https://stability.ai/blog/stable-animation-sdk

本文来自微信公众号：量子位 （ID：QbitAI），作者：西风

关键词：