通用音频系统全链路实战指南

目录

总场景：做一个「直播 / 会议 / 短视频 / AI 语音通用音频系统」

一、PCM / WAV / MP3 / AAC —— 在系统里的真实角色

🎤 现场输入

✅ PCM（系统内部的“通用语言”）

WAV 是什么？

MP3 / AAC 是什么？

四者对照（场景化）

二、采样率 / 位数 / 声道 —— 为什么系统一开始就要统一

🎤 现实情况

❌ 不统一会怎样？

✅ 工程做法

常用统一规格

三、音频帧 vs 音频包 —— 系统为什么要“切块”

🎙️ 场景：实时会议

编码前

编码时

网络时

真实后果

四、音频编码流程（完整实战链路）

🎤 麦克风输入

🎛️ 编码器内部

🎯 为什么不是“直接压缩 PCM”？

五、重采样、混音 —— 直播系统里的必经之路

🎧 场景：直播间

正确顺序（死记）

重采样在干嘛？

混音在干嘛？

六、常见编码格式（结合大厂场景）

AAC（视频/内容平台王者）

AAC-LC

HE-AAC

HE-AAC v2

Opus（实时语音之王）

场景

为什么大厂爱用？

七、完整「真实系统」音频链路（终极整合）

八、你现在应该具备的“工程直觉”

九、给你一句“音频工程终极总结”

总场景：做一个「直播 / 会议 / 短视频 / AI 语音通用音频系统」

我们从麦克风进来，到用户耳朵出去。

一、PCM / WAV / MP3 / AAC —— 在系统里的真实角色

🎤 现场输入

• 麦克风采到的是模拟电信号

• ADC 转成：

✅ PCM（系统内部的“通用语言”）

PCM = [ -1230, -1200, -1180, ... ]

• 未压缩

• 所有处理都用它

• 网络绝不直接传

WAV 是什么？

WAV = PCM + 文件头

🎬 场景：录音保存到本地

• DAW / 录音软件 → WAV

• 好处：不失真

• 坏处：巨大

👉WAV ≠ 编码格式，本质还是 PCM

MP3 / AAC 是什么？

PCM 经过编码 + 压缩后的“传输形态”

🎥 场景：发视频 / 推流 / 存储

• PCM → 编码 → MP3 / AAC

• 体积小

• 可网络传

四者对照（场景化）

二、采样率 / 位数 / 声道 —— 为什么系统一开始就要统一

🎤 现实情况

• 麦克风：48k / 24bit / mono

• 背景音乐：44.1k / 16bit / stereo

• 系统提示音：44.1k / 16bit / mono

❌ 不统一会怎样？

• 音画不同步

• 混音失真

• AI 模型拒绝输入

✅ 工程做法

所有输入 → 重采样 → 位深对齐 → 声道对齐

常用统一规格

48k / 16bit / stereo

三、音频帧 vs 音频包 —— 系统为什么要“切块”

🎙️ 场景：实时会议

编码前

• PCM 是连续流

• 不方便处理

编码时

PCM → Frame(20ms) → Frame → Frame

👉音频帧 = 时间上的最小可解码单位

网络时

Frame + Frame → Packet

👉音频包 = 为网络传输服务

真实后果

• 丢包 = 丢一段声音

• 帧大小 = 延迟大小

四、音频编码流程（完整实战链路）

🎤 麦克风输入

模拟声波 → ADC → PCM（48k/16bit）

🎛️ 编码器内部

PCM → 分帧 → 频域分析 → 心理声学建模 → 压缩 → Bitstream

输出：

• AAC / Opus

🎯 为什么不是“直接压缩 PCM”？

因为：

• 人耳不线性

• 有掩蔽效应

• 可丢的远多于你想的

五、重采样、混音 —— 直播系统里的必经之路

🎧 场景：直播间

输入：

• 主播麦：48k

• 嘉宾语音：16k（网络）

• BGM：44.1k

正确顺序（死记）

先重采样 → 再混音 → 再编码

重采样在干嘛？

• 统一时间刻度

• 防止变调、漂移

混音在干嘛？

• 多路声音相加

• 控制能量

• 防爆音

六、常见编码格式（结合大厂场景）

AAC（视频/内容平台王者）

AAC-LC

• 🎬 视频 / 音乐

• 中高码率

• 音质稳定

HE-AAC

• 📶 低带宽

• 高频复制（SBR）

HE-AAC v2

• 📻 超低码率

• 参数立体声（PS）

👉抖音 / B 站 / YouTube 都在用

Opus（实时语音之王）

场景

• 会议

• 直播连麦

• 游戏语音

• WebRTC

为什么大厂爱用？

• 6–510 kbps 自适应

• 低延迟

• 抗丢包

• 语音/音乐自动切换

👉微信 / Discord / Zoom / WebRTC

七、完整「真实系统」音频链路（终极整合）

麦克风 → PCM → 重采样 → 混音 → 分帧 → AAC / Opus 编码 → Packet → 网络 → 解包 → 解码 → PCM → 播放

八、你现在应该具备的“工程直觉”

• PCM：内部处理专用

• WAV：存档

• AAC：内容分发

• Opus：实时语音

• 帧：时间单位

• 包：运输单位

• 重采样：统一时间

• 混音：能量管理

九、给你一句“音频工程终极总结”

系统里永远处理 PCM
网络上永远跑编码流
时间轴先统一，再谈混音和编码