🔥【今日推荐LTX-2】：6K Stars 的 AI 音视频生成引擎

首个基于 DiT（Diffusion Transformer） 的音频-视频基础模型，同步生成音频+视频，支持多种推理模式，Apache-2.0 开源！

---

🚀 什么是 LTX-2？

LTX-2 是 Lightricks 发布的开源音视频生成模型工具包，在一个模型中包含现代视频生成的所有核心功能：同步音频视频生成、高保真度输出、多种性能模式、生产级 API 访问。

项目提供完整的 Python 推理和 LoRA 训练工具包，支持多种推理模式（文本生成视频、图像生成视频、视频到视频、音频生成视频等）。

核心定位：首个基于 DiT 架构的音视频联合生成开源模型，同步输出音频+视频！

• Stars: 6,251+ （持续增长中）
• Forks: 1,002
• 最新更新：支持 LoRA 微调、蒸馏推理
• 开源协议: 需查看 LICENSE 文件（NOASSERTION 状态）
• 主要语言: Python 100%

---

✨ 核心功能一览

---

🛠️ 快速上手

环境准备

# 克隆项目
git clone https://github.com/Lightricks/LTX-2.git
cd LTX-2

# 使用 uv 设置环境（推荐）
uv sync --frozen
source .venv/bin/activate

# 或使用传统方式
pip install -e ".[dev]"

下载模型

从 HuggingFace 仓库 下载以下模型文件：

模型文件	说明	是否必需
ltx-2.3-22b-dev.safetensors	主模型（22B参数）	✅ 必需
ltx-2.3-spatial-upscaler-x2-1.1.safetensors	空间上采样器（2倍）	✅ 两阶段管道必需
ltx-2.3-22b-distilled-lora-384-1.1.safetensors	蒸馏 LoRA（快速推理）	✅ 两阶段管道必需
ltx-2.3-temporal-upscaler-x2-1.0.safetensors	时间上采样器	⚠️ 未来管道实现需要

快速推理（文本生成视频）

from ltx_pipelines import TI2VidTwoStagesPipeline
from ltx_core import PipelineLoadConfig

# 加载管道
pipe = TI2VidTwoStagesPipeline.load(
    "path/to/LTX-2.3-22b-dev.safetensors",
    load_config=PipelineLoadConfig(
        quantization=QuantizationPolicy.NONE,  # 或 fp8_cast() 节省显存
    )
)

# 生成视频
result = pipe.generate(
    prompt="一个宇航员在月球上骑自行车，背景是地球，电影级画质",
    negative_prompt="模糊，低质量，水印",
    num_inference_steps=40,
    guidance_scale=7.5,
)

# 保存视频
result.save("astronaut_moon.mp4")

注意：22B 模型需要约 44GB 显存，建议使用 A100/H100；或使用蒸馏版本（8 个 sigma，快速推理）！

---

📊 与竞品对比

---

💡 适用场景

场景1：文本生成视频（T2V）

功能说明：输入文本描述，AI 自动生成高质量视频片段，支持 768×512 或更高分辨率。

输入要求：英文提示词（200 词以内），建议使用官方提示词撰写指南

输出效果：MP4 视频文件，支持 24fps / 30fps，可选上采样至 2 倍分辨率

适用场景：

• 短视频内容创作（抖音、快手、YouTube Shorts）
• 广告创意脚本可视化
• 教育培训动画制作

---

场景2：图像生成视频（I2V）

功能说明：提供一张参考图像，AI 根据提示词生成动态视频，保持参考图风格/主体。

输入要求：参考图像（PNG/JPG）+ 动作描述提示词

输出效果：MP4 视频，主体与参考图保持一致

适用场景：

• 产品展示视频（从静态图生成动态展示）
• 虚拟形象动画（从角色设定图生成动作视频）
• 风景/建筑漫游动画

---

场景3：音频生成视频（A2V）

功能说明：LTX-2 独有功能 — 输入音频文件，AI 生成与音频同步的视频内容。

输入要求：音频文件（WAV/MP3）+ 风格提示词

输出效果：音视频同步的 MP4 文件

适用场景：

• 音乐 MV 自动生成
• 播客/电台视频化
• 配音视频自动制作

---

用户群体总结

• ✅ 短视频创作者：文本/图像生成短视频，提升更新效率
• ✅ 广告/营销团队：快速生成创意脚本可视化
• ✅ AI 研究者：基于 DiT 架构进行音视频生成研究
• ✅ 教育培训：动画课件快速制作
• ❌ 不适合：实时生成（仍需分钟级推理时间）

---

🔧 优化技巧（降低显存占用）

优化方法	效果	适用场景
使用 DistilledPipeline	推理速度提升 3-5 倍	快速原型设计
启用 FP8 量化	显存占用降低 50%	显存不足时
安装 xFormers	注意力计算加速 20%	长视频生成
使用单阶段管道	跳过上采样，直接输出	不需要高分辨率时

# FP8 量化示例
from ltx_core import QuantizationPolicy

pipe = TI2VidTwoStagesPipeline.load(
    "path/to/model",
    load_config=PipelineLoadConfig(
        quantization=QuantizationPolicy.fp8_cast()
    )
)

---

💰 开源协议

协议类型：需查看仓库 LICENSE 文件（当前显示为 NOASSERTION）

• ✅ 模型权重可用于研究
• ⚠️ 商用需确认 LICENSE 具体条款
• ✅ 代码 Apache-2.0 开源

💡 提醒：使用前请确认 LICENSE 文件，确保符合您的使用场景！

---

🎯 总结

LTX-2 解决了 AI 视频生成的核心痛点：音视频联合生成，首个基于 DiT 架构的开源方案，支持 LoRA 微调，社区活跃（6.3K Stars）。

推荐指数： ⭐⭐⭐⭐（满分5星，显存要求高扣1星）

适合人群： 短视频创作者、AI 研究者、广告营销团队

立即体验： LTX-2 GitHub 在线体验： https://ltx.io 提示词指南： How to Prompt for LTX-2

---

数据截至 2026-05-02，最新信息请以官网为准。