wordpress 淘寶客網(wǎng)站,互聯(lián)網(wǎng)運(yùn)營自學(xué)課程,網(wǎng)絡(luò)代運(yùn)營推廣,汕頭網(wǎng)站關(guān)鍵詞排名圖解說明#xff1a; #x1f4ca; 灰色直方圖#xff1a;代表我們看到的觀測數(shù)據(jù)#xff08;混在一起#xff0c;分不清誰是誰#xff09;。#x1f535; 藍(lán)色虛線/實(shí)線#xff1a;代表我們猜測的分布 A#xff08;比如男生身高#xff09;。#x1f534; 紅色虛線…圖解說明灰色直方圖代表我們看到的觀測數(shù)據(jù)混在一起分不清誰是誰。藍(lán)色虛線/實(shí)線代表我們猜測的分布 A比如男生身高。紅色虛線/實(shí)線代表我們猜測的分布 B比如女生身高。中間過程一開始猜得很離譜圖1通過不斷調(diào)整圖2最后完美擬合了數(shù)據(jù)圖3。今天我們要挑戰(zhàn)一個(gè)稍微有點(diǎn)“燒腦”但非常有用的算法——EM 算法 (Expectation-Maximization)中文叫期望最大化算法。別被名字嚇跑了它的核心邏輯其實(shí)非常像我們生活中的**“猜謎游戲”**。如果你完全不懂算法沒關(guān)系。想象一下你是一個(gè)偵探。1. 它是解決什么問題的(舉個(gè)栗子)假設(shè)你手里有一張紙條上面寫著100 個(gè)人的身高數(shù)據(jù)比如 175, 162, 180, 158…。你知道這群人里既有男生也有女生。一般來說男生的平均身高要高一些女生的平均身高要矮一些。但是這張紙條上沒有標(biāo)注性別你只看到一堆數(shù)字完全不知道哪個(gè)是男哪個(gè)是女。你的任務(wù)是根據(jù)這堆混亂的數(shù)字推算出男生和女生的平均身高分別是多少。遇到的死結(jié)這就陷入了一個(gè)**“雞生蛋蛋生雞”**的死循環(huán)要想算出男生的平均身高我得先知道哪些數(shù)據(jù)是男生的。要想知道哪些數(shù)據(jù)是男生的我得先知道男生的平均身高比如這個(gè)數(shù)是 180離男生平均值近我才敢說他是男的。兩個(gè)都不知道怎么辦EM 算法說“別管那么多先瞎猜一個(gè)然后慢慢調(diào)整”2. EM 算法的“兩步走”策略EM 算法就像是一個(gè)不斷反悔的偵探它通過兩個(gè)步驟循環(huán)操作直到找到真相。第一步E 步 (Expectation) —— 先瞎猜算期望既然不知道男生女生的平均身高那我就先隨便假設(shè)一個(gè)假設(shè)男生平均 170cm女生平均 160cm。有了這個(gè)假設(shè)我就可以去推測每一個(gè)身高數(shù)據(jù)屬于誰了。數(shù)據(jù) 180cm離男生平均值 (170) 更近離女生 (160) 遠(yuǎn)。那它大概率是男生比如 90% 可能是男10% 可能是女。數(shù)據(jù) 165cm這就不好說了卡在中間可能一半一半吧。沒錯(cuò)我們要對這 100 個(gè)數(shù)據(jù)每一個(gè)都這樣算一遍概率這時(shí)候我們不再是“非黑即白”地說是男是女而是給每個(gè)數(shù)據(jù)分配一個(gè)**“身份概率”**權(quán)重。第二步M 步 (Maximization) —— 根據(jù)猜測更新參數(shù)現(xiàn)在我們假裝剛才猜的“身份概率”就是真的。既然 180cm 主要是男生那在算男生平均身高時(shí)它的發(fā)言權(quán)就很大。既然 165cm 是一半一半那它對男女平均身高的貢獻(xiàn)就各占一半。根據(jù)這個(gè)重新分配好的權(quán)重我們重新計(jì)算男生和女生的平均身高。怎么算呢用“加權(quán)平均”新的男生平均把所有人的身高乘上他是男生的概率再加起來除以總權(quán)重。計(jì)算公式(180×0.9 165×0.5 ...) ÷ (0.9 0.5 ...)結(jié)果可能變成了175cm因?yàn)楦邆€(gè)子在男生這邊的權(quán)重更大。新的女生平均把所有人的身高乘上她是女生的概率再加起來除以總權(quán)重。計(jì)算公式(180×0.1 165×0.5 ...) ÷ (0.1 0.5 ...)結(jié)果可能變成了158cm。循環(huán)往復(fù)有了新的平均值 (175, 158)我們再回到E 步重新評(píng)估每個(gè)身高數(shù)據(jù)是男是女這時(shí)候判斷會(huì)更準(zhǔn)170cm 以前可能被當(dāng)成男生現(xiàn)在離 175 遠(yuǎn)了可能被當(dāng)成女生。然后再進(jìn)M 步更新平均值。就這樣E - M - E - M一直轉(zhuǎn)圈直到最后參數(shù)不再變化為止。3. 為什么叫“期望最大化”E (Expectation)計(jì)算期望。就是在參數(shù)已知的情況下猜測數(shù)據(jù)隱含的類別填補(bǔ)缺失數(shù)據(jù)。M (Maximization)最大化似然函數(shù)。就是在數(shù)據(jù)補(bǔ)全的情況下尋找最能解釋這些數(shù)據(jù)的參數(shù)。簡單說就是猜數(shù)據(jù) - 算參數(shù) - 再猜數(shù)據(jù) - 再算參數(shù)。4. EM 算法的優(yōu)缺點(diǎn)? 優(yōu)點(diǎn) (為什么它厲害)解決缺失數(shù)據(jù)它最擅長處理這種“含有隱變量”也就是有一部分信息你看不到的問題。自動(dòng)聚類著名的高斯混合模型 (GMM) 就是用 EM 算法訓(xùn)練的它可以把數(shù)據(jù)自動(dòng)分成幾個(gè)正態(tài)分布的波峰。? 缺點(diǎn) (也要注意)容易陷入局部最優(yōu)如果你一開始瞎猜的參數(shù)太離譜它可能最后收斂到一個(gè)錯(cuò)誤的結(jié)果走進(jìn)了死胡同而不是全局最好的結(jié)果。收斂慢有時(shí)候要轉(zhuǎn)很多圈才能停下來。5. 總結(jié)EM 算法就是一個(gè)**“試錯(cuò)法”大師**面對一團(tuán)亂麻既不知道類別也不知道參數(shù)。它先隨便給個(gè)初始值。E步根據(jù)參數(shù)猜類別心里有個(gè)底。M步根據(jù)類別算參數(shù)修正模型。反復(fù)橫跳直到找到最合理的解釋。就像你在大霧天開車看不清路隱變量你只能先憑感覺開E步看到路標(biāo)后再修正方向M步一點(diǎn)點(diǎn)逼近目的地?