原文在 ComfyUI 的博客:https://blog.comfy.org/ltxv-day-1-comfyui/
我这里进行了简单翻译
LTXV 是什么
LTXV 只是一个基于 20 亿个参数的基于 DiT 的视频生成模型,能够实时生成高质量的视频。它以 768×512 的分辨率生成 24 FPS 视频,速度比观看速度快。
LTXV 的特点
-
快速生成视频
-
视频质量较高
-
ComfyUI 原生支持
-
支持图生视频
LTXV 安装
-
更新到最新版本的 ComfyUI
-
将 ltx-video-2b-v0.9.safetensors 下载到
models/checkpoints
文件夹中 -
确保 t5xxl_fp16 在您的
models/clip
文件夹中,也可以用 fp8 版本的 -
从官方提供的 示例工作流 页面获取工作流
插件安装:
在管理器搜索 LTX,安装作者为 logtd 的插件,安装完重启,然后把官方的示例工作流拖入到 comfyui 即可
文生视频工作流:
图生视频工作流:
提高视频质量
虽然出图比较快,但是视频还是有点糊的,不过在我们刚刚下载的插件中有个提示视频质量的工作流
具体位置在:ComfyUIcustom_nodesComfyUI-LTXTricksexample_workflows
我们拖入到comfyui直接运行,可以看到优化后的视频明显清晰不少,而且动作也会更流程,
核心节点是一下三个,原理是用Attention Override可以帮助LTX跳过一些层从而获得更好的质量,这个技术在Flux中也有,感兴趣的小伙伴可以去了解一下
总结
生成速度还是非常快的,在 4090 上采样器 13 秒就能生成一个完整的视频帧,合并为视频大概 15s,通过STG优化后生成的视频质量还是非常不错的,不过有一点需要注意的是,LTX对提示词的要求非常高,最好让GPT帮你润色一下你的提示词
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。