Voicebox本地AI语音工作室源码

文章正文

这套源码属于本地 AI 语音处理类桌面应用，主打音色克隆、语音生成、全局听写和给 AI 代理配音。

它把 ElevenLabs 一类的语音输出和 WisprFlow 一类的语音输入合进同一个本地应用，所有模型与录音数据都不离开本机。

项目用 Tauri（Rust）做桌面壳、React 做前端、Python FastAPI 做后端推理服务，整体偏「本地优先」的隐私友好架构。

从代码看，它内置了 7 个 TTS 引擎后端，可在每次生成时切换，覆盖从英文到阿拉伯语、日语、印地语等多语种。

它还提供 REST API 与内置 MCP 服务器，能把自己接进 Claude Code、Cursor、Cline 这类支持 MCP 的代理，让代理用你克隆的音色说话。

如果你在找一套可本地部署、可二次开发的语音合成与配音源码，这套值得研究。

源码简介

这套语音工作室源码属于 AI 音频工具类项目，主要围绕本地语音克隆、多引擎语音合成、全局听写和代理配音展开。它把云端语音产品的输入与输出两端合并到单机运行，适合想学习语音合成、桌面端 AI 应用或 MCP 接入的开发者做本地部署测试与二次开发参考。

适用场景

• 本地语音合成与多语种配音学习
• 桌面端 AI 应用（Tauri + React）架构参考
• 给 MCP 兼容 AI 代理接入语音输出的实验

技术栈与运行环境

• 前端：React + Vite + TypeScript（app/web 工作区）
• 桌面壳：Tauri 2.x（Rust，src-tauri）
• 后端：Python + FastAPI（backend，uvicorn 端口 17493）
• 模型推理：PyTorch / MLX / ROCm 多后端；含 Chatterbox、Kokoro、Qwen、Hume、LuxTTS 等引擎
• 运行环境：macOS（MLX/Metal）、Windows（CUDA）、Linux、AMD ROCm、Intel Arc、Docker
• 其他依赖：Bun 包管理、pedalboard 音频效果库、Whisper 语音识别

功能亮点

• 多引擎语音克隆与合成：backend/backends 下含 chatterbox、chatterbox_turbo、hume、kokoro、luxtts、mlx、pytorch 七个引擎后端，可逐次生成切换。
• 全局听写输入：支持全局热键、按住说话与切换模式，结合 Whisper 做语音转文字并自动粘贴。
• 代理语音输出：内置 MCP 服务器（backend/mcp_server，.mcp.json 暴露 /mcp 端点），让 Claude Code、Cursor 等代理调用 voicebox.speak 开口说话。
• 后期音效处理：基于 Spotify pedalboard 的 8 种效果（变调、混响、延迟、合唱、压缩、增益、高低通），支持预设与按音色默认绑定。
• 长文本生成：按句自动分块并交叉淡入淡出拼接，最长支持 5 万字符脚本、文章与章节。
• 故事时间线编辑：多轨时间线用于对话、播客与叙事，支持版本溯源、收藏与多 take 重生成。

安装与部署提示

1. 环境准备：安装 Bun、Node、Python 3.11+，Windows 需 CUDA 驱动，macOS 建议 Apple Silicon。
2. 后端启动：`uvicorn backend.main:app –reload –port 17493`，按需安装 requirements.txt 或 MLX/ROCm 变体。
3. 桌面端构建：执行 `bun run build`（会先 build-server 再进 tauri build），首次需 Tauri 签名密钥。
4. 模型下载：首次生成会拉取对应 TTS 引擎权重，建议预留充足磁盘与显存。
5. Docker：仓库提供 docker-compose.yml 与 ROCm 变体，可直接 `docker compose up`。

截图与演示说明

安全风险提示

特别提示：本源码未检测安全风险文件，下载后请务必进行安全审计，删除恶意代码后再部署使用！

补充提示：本项目附带 RESPONSIBLE_USE.md，明确建议仅克隆你拥有或已授权的音色，请勿用于冒充他人或生成误导性音频。部署与二次开发时请遵守当地法规与平台规则。

下载说明

源码仅供学习研究、测试部署和二次开发参考，商用前请自行确认授权、版权和安全风险。

GitHub开源地址：https://github.com/jamiepine/voicebox