江蘇省建設(shè)工程八大員考試網(wǎng)站,國(guó)外代理網(wǎng)站,服裝設(shè)計(jì)資源網(wǎng)站,農(nóng)機(jī)局網(wǎng)站建設(shè)方案從感知機(jī)到神經(jīng)網(wǎng)絡(luò)#xff1a;激活函數(shù)是連接兩者的橋梁 感知機(jī)回顧#xff1a;二分類的利器 我們先回顧一下感知機(jī)的結(jié)構(gòu)。如圖3-2所示#xff0c;感知機(jī)接收兩個(gè)輸入信號(hào)x?和x?#xff0c;通過(guò)加權(quán)求和后#xff0c;根據(jù)閾值決定輸出0或1#xff1a; y{0(bw1x1w2x2?…從感知機(jī)到神經(jīng)網(wǎng)絡(luò)激活函數(shù)是連接兩者的橋梁感知機(jī)回顧二分類的利器我們先回顧一下感知機(jī)的結(jié)構(gòu)。如圖3-2所示感知機(jī)接收兩個(gè)輸入信號(hào)x?和x?通過(guò)加權(quán)求和后根據(jù)閾值決定輸出0或1y{0(bw1x1w2x2?0)1(bw1x1w2x20) y egin{cases} 0 (b w_1 x_1 w_2 x_2 leqslant 0) \ 1 (b w_1 x_1 w_2 x_2 0) end{cases}y{01?(bw1?x1?w2?x2??0)(bw1?x1?w2?x2?0)?其中b是偏置參數(shù)控制神經(jīng)元激活的難易程度w?, w?是權(quán)重參數(shù)控制各信號(hào)的重要性x?, x?是輸入信號(hào)關(guān)鍵轉(zhuǎn)變引入激活函數(shù)感知機(jī)的核心是一個(gè)階躍函數(shù)它像開(kāi)關(guān)一樣輸入超過(guò)閾值就輸出1否則輸出0。這個(gè)函數(shù)可以用數(shù)學(xué)形式表達(dá)h(x){0(x?0)1(x0) h(x) egin{cases} 0 (x leqslant 0) \ 1 (x 0) end{cases}h(x){01?(x?0)(x0)?于是感知機(jī)的計(jì)算可以分解為兩步計(jì)算加權(quán)總和abw1x1w2x2a b w_1 x_1 w_2 x_2abw1?x1?w2?x2?應(yīng)用激活函數(shù)yh(a)y h(a)yh(a)這個(gè)h(x)就是激活函數(shù)它的作用是將輸入信號(hào)的總和轉(zhuǎn)換為輸出信號(hào)。神經(jīng)網(wǎng)絡(luò)的真正樣貌神經(jīng)網(wǎng)絡(luò)與感知機(jī)最大的區(qū)別就在于激活函數(shù)的選擇。感知機(jī)使用階躍函數(shù)而神經(jīng)網(wǎng)絡(luò)使用更平滑、更復(fù)雜的激活函數(shù)。讓我們看看神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)圖3-1輸入層接收外部信息隱藏層中間層內(nèi)部處理外界不可見(jiàn)輸出層輸出最終結(jié)果注意命名規(guī)范本書中輸入層是第0層第一個(gè)隱藏層是第1層輸出層是第2層雖然看起來(lái)有3層但只有2層有權(quán)重輸入層到隱藏層隱藏層到輸出層所以這是2層網(wǎng)絡(luò)激活函數(shù)神經(jīng)網(wǎng)絡(luò)的核心在圖3-4中我們可以清晰地看到激活函數(shù)的計(jì)算過(guò)程每個(gè)神經(jīng)元先計(jì)算輸入信號(hào)的加權(quán)總和節(jié)點(diǎn)a然后通過(guò)激活函數(shù)h()轉(zhuǎn)換為輸出節(jié)點(diǎn)y。重要概念澄清感知機(jī) vs 神經(jīng)網(wǎng)絡(luò)樸素感知機(jī)單層網(wǎng)絡(luò)使用階躍函數(shù)作為激活函數(shù)多層感知機(jī)神經(jīng)網(wǎng)絡(luò)多層網(wǎng)絡(luò)使用sigmoid、ReLU等平滑激活函數(shù)為什么激活函數(shù)如此重要引入非線性沒(méi)有激活函數(shù)多層網(wǎng)絡(luò)只是線性變換的疊加決定神經(jīng)元如何響應(yīng)不同的激活函數(shù)讓神經(jīng)元有不同的性格實(shí)現(xiàn)復(fù)雜映射使網(wǎng)絡(luò)能夠?qū)W習(xí)復(fù)雜的非線性關(guān)系從感知機(jī)到神經(jīng)網(wǎng)絡(luò)的跨越感知機(jī)就像一把簡(jiǎn)單的錘子只能解決線性可分問(wèn)題如與、或、非。但當(dāng)問(wèn)題變得復(fù)雜如異或問(wèn)題簡(jiǎn)單的感知機(jī)就無(wú)能為力了。神經(jīng)網(wǎng)絡(luò)通過(guò)兩個(gè)關(guān)鍵改進(jìn)解決了這個(gè)問(wèn)題增加隱藏層增加網(wǎng)絡(luò)深度提高表達(dá)能力更換激活函數(shù)使用可微分的平滑函數(shù)使反向傳播成為可能展望在接下來(lái)的文章中我們將深入探討常用的激活函數(shù)sigmoid、tanh、ReLU等這些激活函數(shù)的特性和適用場(chǎng)景如何通過(guò)激活函數(shù)的選擇優(yōu)化神經(jīng)網(wǎng)絡(luò)性能思考題如果神經(jīng)網(wǎng)絡(luò)仍然使用階躍函數(shù)作為激活函數(shù)會(huì)有什么問(wèn)題為什么我們需要平滑的激活函數(shù)深度學(xué)習(xí)小貼士激活函數(shù)是神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)復(fù)雜模式的關(guān)鍵。選擇合適的激活函數(shù)往往能讓模型性能大幅提升#深度學(xué)習(xí) #神經(jīng)網(wǎng)絡(luò) #感知機(jī) #激活函數(shù) #AI基礎(chǔ)