【实践记录】Qwen3-TTS 本地部署完全指南

# 检查显卡识别
nvidia-smi

# 拉取 Qwen3-TTS 模型
ollama run qwen3-tts:12hz-1.7b-voicedesign

# 或使用更小的 0.6B 版本
ollama run qwen3-tts:12hz-0.6b-voicedesign

# 交互式
ollama run qwen3-tts:12hz-1.7b-voicedesign

# 命令行生成音频
ollama generate -m qwen3-tts:12hz-1.7b-voicedesign "你好" -o output.wav

# 创建环境
conda create -n qwen3-tts python=3.10
conda activate qwen3-tts

# 安装依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4"
)

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign",
    device_map="cuda:0",
    quantization_config=quantization_config,
    torch_dtype=torch.bfloat16,
)

# 安装依赖
pip install mlx mlx-audio
brew install ffmpeg

# 克隆仓库
git clone https://github.com/AtomGradient/swift-qwen3-tts.git
cd swift-qwen3-tts

from mlx_audio import mlx

model = mlx.load("Qwen/Qwen3-TTS-12Hz-0.6B-MLX")

output = model.generate(
    text="你好，欢迎使用 Qwen3-TTS",
    speaker="Aiden",
    temperature=0.9
)
output.save("output.wav")

# 安装
brew install ollama

# 运行
ollama run qwen3-tts:12hz-0.6b-voicedesign

# 使用 0.6B 模型
ollama run qwen3-tts:12hz-0.6b-voicedesign

# 或启用 streaming
ollama run qwen3-tts:12hz-1.7b-voicedesign --streaming

# 使用 0.6B 模型
ollama run qwen3-tts:12hz-0.6b-voicedesign

# 关闭其他应用释放内存