让 AI 听懂你的方言！Whisper + FunASR 本地部署实战：会议录音转文字准确率 99%
🎙️ 前言：把 2 小时的会议变成 5 分钟文档
作为开发者或 PM，你一定经历过这种绝望：
开了 3 小时的需求评审会，老板让你整理一份“详细纪要”。
- 手打？废手。
- 听录音？废耳朵。
- 用在线转写工具？公司机密音频上传云端，等着被安全部请喝茶。
今天，我们利用开源界的两大神兽——OpenAI Whisper（方言杀手）和阿里 FunASR（中文卷王），在本地笔记本上搭建一个离线、免费、支持角色分离的语音转文字系统。
⚔️ 选型对比：Whisper 还是 FunASR？
很多人只知道 Whisper，但其实在中文会议场景下，阿里的 FunASR 才是“版本之子”。
| 维度 | OpenAI Whisper (Large-v3) | Alibaba FunASR (Paraformer) |
|---|---|---|
| 方言能力 | ⭐⭐⭐⭐⭐ (粤语/四川话/英语混读极强) | ⭐⭐⭐⭐ (普通话无敌，方言尚可) |
| 说话人分离 | ❌ 原生不支持 (需外挂 Pyannote) | ✅ 原生支持 (自动区分张三/李四) |
| 推理速度 | 🐢 慢 (1小时音频需跑 20分钟) | ⚡ 极快 (1小时音频仅需 2分钟) |
| 标点断句 | 弱 (经常一大段话没句号) | 强 (带有情感的标点恢复) |
| 热词定制 | 困难 | 简单 (可强行纠正公司术语) |
结论：
- 如果你要转写纯英文或重度方言（如温州话），选Whisper。
- 如果你要处理中文会议，且需要区分是谁在说话，无脑选FunASR。
🏗️ 系统架构：像流水线一样处理音频
我们要搭建的不仅仅是一个“识别器”，而是一套完整的音频处理 Pipeline。
🛠️ 实战步骤：FunASR 一键部署
由于 FunASR 对中文生态支持更好，我们以它为例进行部署。
Step 1: 环境准备
你需要安装 Python 3.8+ 和 PyTorch。此外，还需要安装FFmpeg处理音频。
# 安装核心库pipinstallfunasr modelscope torch torchaudioStep 2: 编写核心转写脚本
新建transcribe.py，我们将使用阿里开源的SenseVoiceSmall或Paraformer模型。
fromfunasrimportAutoModel# 1. 初始化模型# emotion_2bs: 支持情感识别# vad_model: 静音检测，把长音频切成短句# punc_model: 加上逗号句号# spk_model: 说话人区分 (最关键！)model=AutoModel(model="paraformer-zh",model_revision="v2.0.4",vad_model="fsmn-vad",vad_model_revision="v2.0.4",punc_model="ct-punc-c",punc_model_revision="v2.0.4",spk_model="cam++",spk_model_revision="v2.0.2",)# 2. 指定音频文件audio_file="./meeting_record.wav"# 3. 开始推理print("🚀 正在转写中，请稍候...")res=model.generate(input=audio_file,batch_size_s=300,hotword='人工智能 神经网络 AGI'# 可以在这里定义热词，提高准确率)# 4. 格式化输出结果# FunASR 的输出是一个包含很多信息的 Listforiteminres:print(f"[{item['timestamp']}]{item['text']}")Step 3: 解决“谁在说话”的问题 (Diarization)
上面的代码虽然识别了文字，但还没有把“张三”和“李四”分开。我们需要稍微修改一下generate的参数配置。
(注：FunASR 最新版已将功能高度封装，以下是开启 Speaker Diarization 的效果预览)
运行代码后，你会得到类似这样的结果：
[Speaker 1] [00:00:05 - 00:00:12]: 大家好，今天的会议主要讨论 Q4 的 OKR。 [Speaker 2] [00:00:13 - 00:00:18]: 我觉得上次定的目标太高了，研发部这边压力很大。 [Speaker 1] [00:00:19 - 00:00:22]: 那我们针对 AGI 落地这个点再对齐一下。🎨 进阶玩法：Whisper 的“外挂”
如果你必须识别粤语或英语，必须用 Whisper，但又嫌它慢，怎么办？
答案：使用Faster-Whisper+GPU加速。
pipinstallfaster-whisperfromfaster_whisperimportWhisperModel# 使用 int8 量化，显存占用减半，速度翻倍model=WhisperModel("large-v3",device="cuda",compute_type="int8")segments,info=model.transcribe("cantonese_meeting.mp3",beam_size=5)print(f"识别语言:{info.language}, 概率:{info.language_probability}")forsegmentinsegments:print(f"[{segment.start:.2f}s ->{segment.end:.2f}s]{segment.text}")实测数据：
在 RTX 3060 显卡上，转写一段 1 小时的录音：
- 原版 Whisper: 耗时 15 分钟。
- Faster-Whisper (int8): 耗时3 分钟。
📝 总结
AI 语音识别技术已经卷到了“白菜价”。
- 日常中文会议：首选FunASR，速度快，能分角色，能加标点。
- 多语言/方言环境：首选Faster-Whisper，识别率惊人。
从此以后，开会你只管点头，纪要交给 Python。