網(wǎng)站設(shè)計(jì)的研究方法有哪些,杭州簡(jiǎn)單網(wǎng)技術(shù)有限公司,aws wordpress區(qū)別,編程平臺(tái)目錄 總場(chǎng)景#xff1a;做一個(gè)「直播 / 會(huì)議 / 短視頻 / AI 語(yǔ)音通用音頻系統(tǒng)」 一、PCM / WAV / MP3 / AAC —— 在系統(tǒng)里的真實(shí)角色 #x1f3a4; 現(xiàn)場(chǎng)輸入 ? PCM#xff08;系統(tǒng)內(nèi)部的“通用語(yǔ)言”#xff09; WAV 是什么#xff1f; MP3 / AAC 是什么#xff…目錄總場(chǎng)景做一個(gè)「直播 / 會(huì)議 / 短視頻 / AI 語(yǔ)音通用音頻系統(tǒng)」一、PCM / WAV / MP3 / AAC —— 在系統(tǒng)里的真實(shí)角色 現(xiàn)場(chǎng)輸入? PCM系統(tǒng)內(nèi)部的“通用語(yǔ)言”WAV 是什么MP3 / AAC 是什么四者對(duì)照?qǐng)鼍盎?、采樣?/ 位數(shù) / 聲道 —— 為什么系統(tǒng)一開(kāi)始就要統(tǒng)一 現(xiàn)實(shí)情況? 不統(tǒng)一會(huì)怎樣? 工程做法常用統(tǒng)一規(guī)格三、音頻幀 vs 音頻包 —— 系統(tǒng)為什么要“切塊”? 場(chǎng)景實(shí)時(shí)會(huì)議編碼前編碼時(shí)網(wǎng)絡(luò)時(shí)真實(shí)后果四、音頻編碼流程完整實(shí)戰(zhàn)鏈路 麥克風(fēng)輸入? 編碼器內(nèi)部 為什么不是“直接壓縮 PCM”五、重采樣、混音 —— 直播系統(tǒng)里的必經(jīng)之路 場(chǎng)景直播間正確順序死記重采樣在干嘛混音在干嘛六、常見(jiàn)編碼格式結(jié)合大廠場(chǎng)景AAC視頻/內(nèi)容平臺(tái)王者AAC-LCHE-AACHE-AAC v2Opus實(shí)時(shí)語(yǔ)音之王場(chǎng)景為什么大廠愛(ài)用七、完整「真實(shí)系統(tǒng)」音頻鏈路終極整合八、你現(xiàn)在應(yīng)該具備的“工程直覺(jué)”九、給你一句“音頻工程終極總結(jié)”總場(chǎng)景做一個(gè)「直播 / 會(huì)議 / 短視頻 / AI 語(yǔ)音通用音頻系統(tǒng)」我們從麥克風(fēng)進(jìn)來(lái)到用戶耳朵出去。一、PCM / WAV / MP3 / AAC —— 在系統(tǒng)里的真實(shí)角色 現(xiàn)場(chǎng)輸入麥克風(fēng)采到的是模擬電信號(hào)ADC 轉(zhuǎn)成? PCM系統(tǒng)內(nèi)部的“通用語(yǔ)言”P(pán)CM [ -1230, -1200, -1180, ... ]未壓縮所有處理都用它網(wǎng)絡(luò)絕不直接傳WAV 是什么WAV PCM 文件頭 場(chǎng)景錄音保存到本地DAW / 錄音軟件 → WAV好處不失真壞處巨大WAV ≠ 編碼格式本質(zhì)還是 PCMMP3 / AAC 是什么PCM 經(jīng)過(guò)編碼 壓縮后的“傳輸形態(tài)” 場(chǎng)景發(fā)視頻 / 推流 / 存儲(chǔ)PCM → 編碼 → MP3 / AAC體積小可網(wǎng)絡(luò)傳四者對(duì)照?qǐng)鼍盎巧到y(tǒng)位置是否壓縮PCM內(nèi)部處理?WAV本地保存?MP3老牌發(fā)布?AAC現(xiàn)代主流?二、采樣率 / 位數(shù) / 聲道 —— 為什么系統(tǒng)一開(kāi)始就要統(tǒng)一 現(xiàn)實(shí)情況麥克風(fēng)48k / 24bit / mono背景音樂(lè)44.1k / 16bit / stereo系統(tǒng)提示音44.1k / 16bit / mono? 不統(tǒng)一會(huì)怎樣音畫(huà)不同步混音失真AI 模型拒絕輸入? 工程做法所有輸入 → 重采樣 → 位深對(duì)齊 → 聲道對(duì)齊常用統(tǒng)一規(guī)格48k / 16bit / stereo三、音頻幀 vs 音頻包 —— 系統(tǒng)為什么要“切塊”? 場(chǎng)景實(shí)時(shí)會(huì)議編碼前PCM 是連續(xù)流不方便處理編碼時(shí)PCM → Frame(20ms) → Frame → Frame音頻幀 時(shí)間上的最小可解碼單位網(wǎng)絡(luò)時(shí)Frame Frame → Packet音頻包 為網(wǎng)絡(luò)傳輸服務(wù)真實(shí)后果丟包 丟一段聲音幀大小 延遲大小四、音頻編碼流程完整實(shí)戰(zhàn)鏈路 麥克風(fēng)輸入模擬聲波 → ADC → PCM48k/16bit? 編碼器內(nèi)部PCM → 分幀 → 頻域分析 → 心理聲學(xué)建模 → 壓縮 → Bitstream輸出AAC / Opus 為什么不是“直接壓縮 PCM”因?yàn)槿硕痪€性有掩蔽效應(yīng)可丟的遠(yuǎn)多于你想的五、重采樣、混音 —— 直播系統(tǒng)里的必經(jīng)之路 場(chǎng)景直播間輸入主播麥48k嘉賓語(yǔ)音16k網(wǎng)絡(luò)BGM44.1k正確順序死記先重采樣 → 再混音 → 再編碼重采樣在干嘛統(tǒng)一時(shí)間刻度防止變調(diào)、漂移混音在干嘛多路聲音相加控制能量防爆音六、常見(jiàn)編碼格式結(jié)合大廠場(chǎng)景AAC視頻/內(nèi)容平臺(tái)王者AAC-LC 視頻 / 音樂(lè)中高碼率音質(zhì)穩(wěn)定HE-AAC 低帶寬高頻復(fù)制SBRHE-AAC v2 超低碼率參數(shù)立體聲PS抖音 / B 站 / YouTube 都在用Opus實(shí)時(shí)語(yǔ)音之王場(chǎng)景會(huì)議直播連麥游戲語(yǔ)音WebRTC為什么大廠愛(ài)用6–510 kbps 自適應(yīng)低延遲抗丟包語(yǔ)音/音樂(lè)自動(dòng)切換微信 / Discord / Zoom / WebRTC七、完整「真實(shí)系統(tǒng)」音頻鏈路終極整合麥克風(fēng) → PCM → 重采樣 → 混音 → 分幀 → AAC / Opus 編碼 → Packet → 網(wǎng)絡(luò) → 解包 → 解碼 → PCM → 播放八、你現(xiàn)在應(yīng)該具備的“工程直覺(jué)”P(pán)CM內(nèi)部處理專(zhuān)用WAV存檔AAC內(nèi)容分發(fā)Opus實(shí)時(shí)語(yǔ)音幀時(shí)間單位包運(yùn)輸單位重采樣統(tǒng)一時(shí)間混音能量管理九、給你一句“音頻工程終極總結(jié)”系統(tǒng)里永遠(yuǎn)處理 PCM網(wǎng)絡(luò)上永遠(yuǎn)跑編碼流時(shí)間軸先統(tǒng)一再談混音和編碼