Linly-Talker
配套媒体
本页对应的 PPT 与演示视频
下载没反应？点这里复制直链
侧边栏预览窗口（Electron webview）会拦截下载，把下面的链接复制到 Chrome / Edge 地址栏打开即可保存。
../../Linly-Talker-recommend.pptx../../Linly-Talker-recommend.mp4本文目录
📌 核心价值：把 LLM + ASR + TTS + 数字人生成全部串成一条流水线，2026.02 全新发布的 WebRTC 流式版本，让数字人对话延迟压到"边说边答"
3361 star 的中文开源数字人项目 Linly-Talker 迎来 2026.02 重磅更新：Linly-Talker-Stream 实时流式架构 + 全双工对话 + 可打断式自然交互，复用原有 ASR/LLM/TTS/Avatar 能力，专注实时交互场景。
🚀 什么是 Linly-Talker？
Linly-Talker 是一款整合了大语言模型（LLM）、自动语音识别（ASR）、文本转语音（TTS）、语音克隆与数字人视频生成的智能对话系统。它通过 Gradio 提供可视化 Web 界面，用户上传一张图片，就能与一个"会说会动"的数字人进行多轮对话。
项目由 Kedreamix 维护，自 2023 年 12 月开源以来，经历了多次重大迭代：
| 时间 | 关键更新 |
|---|---|
| 2024.01 | 接入 GeminiPro / Qwen 大模型，支持对话中上传图片 |
| 2024.02 | 集成 FunASR、GPT-SoVITS 语音克隆、WebUI 整合 |
| 2024.06 | 集成 MuseTalk，实现基础实时对话能力 |
| 2024.08 | 接入 CosyVoice + Wav2Lip v2，性能全面提升 |
| 2026.02 | 🚀 发布 Linly-Talker-Stream：WebRTC 低延迟流式交互架构 |
核心定位：把多模态 AI 流水线（ASR+LLM+TTS+Avatar）一站式开源，降低数字人开发门槛
✨ 核心功能一览
| 功能模块 | 描述 | 亮点 |
|---|---|---|
| 多模型集成 | 集成 Linly / GeminiPro / Qwen / Whisper / SadTalker 等主流模型 | 灵活切换 |
| 多轮对话 | 基于 GPT 的多轮对话系统，理解并保持上下文 | 强连贯性 |
| 语音克隆 | 接入 GPT-SoVITS / CosyVoice，1 分钟样本即可克隆音色 | 拟真度高 |
| 实时交互 | 集成 MuseTalk，支持实时语音识别 + 视频字幕 | 接近真人 |
| 数字人生成 | 支持 SadTalker / ER-NeRF / MuseTalk / Wav2Lip v2 多种方案 | 可视化好 |
| WebUI 整合 | Gradio 多模块 Web 界面，三个核心功能一键切换 | 上手快 |
| WebRTC 流式 | 2026.02 新增：全双工 + 低延迟 + 可打断 | 生产可用 |
🛠️ 快速上手：5 分钟跑通示例
安装部署
# 1. 克隆仓库
git clone https://github.com/Kedreamix/Linly-Talker.git
cd Linly-Talker
# 2. 安装依赖（推荐使用 conda 环境）
pip install -r requirements.txt
# 3. 一键启动 WebUI
python WebUI.py
# 浏览器访问 http://localhost:7860 即可使用
实时流式版本（2026.02 新版）
# 克隆 Stream 子项目（实时 WebRTC 架构）
git clone https://github.com/Kedreamix/Linly-Talker-Stream.git
cd Linly-Talker-Stream
pip install -r requirements.txt
# 启动后即可获得"边说边答"的全双工体验
核心代码示例
# 快速启动一个数字人对话：上传图片 + 文字 → 数字人回复语音 + 视频
from linly_talker import LinlyTalker
bot = LinlyTalker(
llm="qwen", # 可选：linly / qwen / geminipro
asr="whisper", # 可选：whisper / funasr
tts="edge-tts", # 可选：edge-tts / paddletts / cosyvoice
avatar="musetalk", # 可选：sadtalker / wav2lip / musetalk / ernerf
)
# 上传一张人物图片 + 文字提问
response_video, response_audio = bot.chat(
image_path="my_avatar.png",
user_text="你好，请介绍一下你自己"
)
# response_video 即为数字人说话的 MP4
注意：实时流式版本需要 GPU ≥ 8GB 显存，本地推理推荐 A100 / 4090；CPU 模式仅适合调试
📊 与竞品对比
| 对比维度 | Linly-Talker | HeyGen | D-ID | SadTalker（单点） |
|---|---|---|---|---|
| 开源免费 | ✅ MIT | ❌ 商业 | ❌ 商业 | ✅ Apache 2.0 |
| 本地部署 | ✅ 一键启动 | ❌ 云端 | ❌ 云端 | ✅ |
| LLM 集成 | ✅ 多模型可选 | ⚠️ 固定 | ⚠️ 固定 | ❌ 无 |
| 语音克隆 | ✅ 1 分钟样本 | ✅ 商用级 | ⚠️ 预设音色 | ❌ 无 |
| 实时对话 | ✅ WebRTC 流式 | ✅ 云端实时 | ✅ 云端实时 | ❌ 离线 |
| 数字人方案 | 4 种可选 | 1 种商用 | 1 种商用 | 1 种 |
| 学习成本 | 低（WebUI） | 中 | 中 | 高（需代码） |
| 中文支持 | ✅ 原生 | ⚠️ 一般 | ⚠️ 一般 | ✅ |
结论：Linly-Talker 是目前唯一同时具备"开源 + 本地 + LLM集成 + 实时流式 + 中文友好"的数字人项目
💡 适用场景
场景 1：WebUI 多模块数字人对话
功能说明：Gradio WebUI 整合了"个性化数字人生成 + 多轮智能对话 + 实时 MuseTalk 对话"三大模块，用户上传一张照片即可定制专属数字人，并通过文字或语音与数字人互动。
输入要求：一张人像照片 + 文字/语音提问
输出效果：数字人视频回复（带口型 + 表情 + 字幕）
适用场景：智能客服、虚拟主播、心理咨询助手
场景 2：详细功能界面（多模型切换）
功能说明：WebUI 高级设置页支持切换 LLM（Qwen/GeminiPro/Linly）、ASR（Whisper/FunASR）、TTS（Edge-TTS/PaddleTTS/CosyVoice）、Avatar（Sadtalker/MuseTalk/Wav2Lip/ER-NeRF）等多个模型，灵活度高。
输入要求：根据业务需求选择不同模型组合
输出效果：根据模型能力返回不同质量的数字人视频
适用场景：研究人员对比不同模型效果、企业按预算选型
场景 3：WebUI 启动主界面
功能说明：启动后默认提供"基础版"（不加载 LLM，直接文本驱动）与"增强版"（完整多模态管线）两种模式，前者显存占用低，适合快速体验；后者功能完整，适合生产部署。
输入要求：选择基础或增强模式
输出效果：根据模式返回不同复杂度的数字人回复
适用场景：GPU 资源有限的开发者用基础版快速调试；服务器部署用增强版
场景 4：实时语音对话
功能说明：支持实时语音输入，WebUI 自动调用 ASR 转文字 → LLM 生成回复 → TTS 合成语音 → Avatar 生成口型视频，全流程串成一条对话流。
输入要求：麦克风语音输入
输出效果：数字人实时语音 + 视频回复（带字幕）
适用场景：智能音箱、儿童陪伴机器人
场景 5：多模块对话页面
功能说明：左侧是数字人视频窗口，右侧是对话历史 + 控制面板，支持"上传图片创建数字人"、"文本对话"、"语音对话"三种模式切换。
输入要求：图片 + 文本/语音
输出效果：可自定义形象、可保存对话历史的数字人交互
适用场景：企业内部培训数字员工、品牌虚拟代言人
场景 6：HOI 人机交互演示
功能说明：HOI（Human-Object Interaction）演示页展示了数字人识别图像内容并与用户讨论的能力，支持对话中上传图片，让数字人"看见"具体物体。
输入要求：图片 + 文字描述/提问
输出效果：数字人针对图片内容做出口头/视频回应
适用场景：电商导购（用户拍商品问数字人）、教育辅导（拍题目问数字人）
用户群体总结
- ✅ AI 应用开发者：快速搭建数字人 demo，复用 ASR/LLM/TTS 流水线
- ✅ 学术研究人员：对比不同多模态模型组合效果
- ✅ 中小企业：用开源替代 HeyGen/D-ID 等商业方案，节省成本
- ✅ 教育/培训行业：定制虚拟教师、虚拟客服
- ❌ 不适合：需要秒级响应的工业级生产环境（流式版本仍在迭代中）
💰 定价方案
开源协议： MIT
| 项目 | 费用 |
|---|---|
| Linly-Talker 本体 | 完全免费，MIT 协议可商用 |
| Linly-Talker-Stream（实时流式） | 完全免费，MIT 协议可商用 |
| 云端 API 调用费 | 取决于你接入的 LLM（如 Qwen API 收费） |
| GPU 算力 | 需自备，建议 8GB+ 显存 |
💡 新用户福利：Colab 一键体验，无需本地 GPU 即可感受完整 WebUI 流程
🎯 总结
Linly-Talker 的核心价值在于**"把多个独立的 AI 模块（ASR/LLM/TTS/Avatar）整合成一个开箱即用的数字人系统"**。2026.02 发布的 Stream 版本补齐了"实时流式"的最后一块拼图，让这个项目从"研究型 demo"迈向"生产可用"。
推荐指数：⭐⭐⭐⭐⭐（5/5，对中文用户 + 本地化部署 + 多模块集成的需求，几乎没有对手）
适合人群：
- AI 应用开发者（想要快速 demo）
- 学术研究者（需要可对比的多模型管线）
- 中小企业（开源替代商业数字人方案）
- 教育/培训/客服行业（虚拟教师/客服定制）
立即体验：
- 🎮 Colab 一键：colab_webui.ipynb
- 🤗 Hugging Face 模型：Kedreamix/Linly-Talker
- 📖 官方文档：仓库 README（中文/英文双语）
GitHub 仓库：
数据截至 2026-06-13，最新信息请以 GitHub 仓库为准。