游戲網(wǎng)站怎么做推廣,成都網(wǎng)站托管外包,福步外貿(mào)app下載,網(wǎng)站推廣建議目錄 1 3blue1brown的MLP視頻#xff1a;圖解Transformer之MLP機(jī)制解讀 2 李沐的MLP視頻 2.1 感知機(jī) 2.1.1 感知機(jī)存在的問題 2.2 多層感知機(jī) 2.3 問題 3 為什么transformer中要引入MLP 3.1 Transformer 的結(jié)構(gòu)回顧 3.2 Transformer 中 MLP#xff08;FFN#xff09…目錄1 3blue1brown的MLP視頻圖解Transformer之MLP機(jī)制解讀2 李沐的MLP視頻2.1 感知機(jī)2.1.1 感知機(jī)存在的問題2.2 多層感知機(jī)2.3 問題3 為什么transformer中要引入MLP3.1 Transformer 的結(jié)構(gòu)回顧3.2 Transformer 中 MLPFFN的作用3.3 個(gè)人理解4 注意力機(jī)制參數(shù)和MLP參數(shù)含量參考文獻(xiàn)abstract:一般提到感知機(jī)默認(rèn)是指單層的最簡單的感知機(jī)一般提到多層感知機(jī)默認(rèn)是指包含了激活函數(shù)的多層感知機(jī)。單層感知機(jī)只能解決線性可分問題而異或?qū)儆诰€性不可分問題。多層感知機(jī)就是使用隱藏層和激活函數(shù)得到非線性模型transformer中為什么要加入MLP注意力機(jī)制是線性關(guān)系MLP是非線性理解網(wǎng)絡(luò)中注意力機(jī)制參數(shù)大約占1/3, MLP參數(shù)大約占用2/31 3blue1brown的MLP視頻圖解Transformer之MLP機(jī)制解讀從這張圖看MLP就是線性層和激活函數(shù)。2 李沐的MLP視頻2.1 感知機(jī)這里最開始的感知機(jī)輸出神經(jīng)元只有一個(gè)感知機(jī)其實(shí)就是個(gè)二分類問題跟線性回歸的區(qū)別線性回歸輸出的是實(shí)數(shù)感知機(jī)的輸出是離散的類跟softmax回歸的區(qū)別softmax如果有n個(gè)類就會(huì)輸出n個(gè)元素是個(gè)多酚類的問題。2.1.1 感知機(jī)存在的問題其實(shí)就是理解單層感知機(jī)就是只能擬合二分類問題那么也就是線性擬合沒法擬合異或問題。2.2 多層感知機(jī)為什么需要非線性的激活函數(shù)因?yàn)槿绻せ詈瘮?shù)是線性的那么輸出跟輸入的關(guān)系就還是線性的那么最終結(jié)果就相當(dāng)于是 一個(gè)單層的感知機(jī)還是解決不了異或問題。2.3 問題一般來說一層是包含了激活函數(shù)的通常來說一層是包含了權(quán)重以及激活函數(shù)的就是這些計(jì)算是怎么做的上圖就可以說是兩層在這里輸入層不算一層對(duì)于輸入來說有兩種選擇一種就是一個(gè)隱藏層然后這個(gè)隱藏層包含了很多神經(jīng)元還有一種是多個(gè)隱藏層但是每個(gè)隱藏層的神經(jīng)元稍微少一點(diǎn)他們兩個(gè)的模型復(fù)雜度是差不多的但是第二種更好訓(xùn)練第一種特別容易過擬合第一種相當(dāng)于一口吃個(gè)胖子第二種相當(dāng)于循序漸進(jìn)的去學(xué)習(xí)比如把一個(gè)貓的圖片和狗的圖片進(jìn)行訓(xùn)練和學(xué)習(xí)第二種相當(dāng)于第一層學(xué)個(gè)耳朵第二層學(xué)個(gè)尾巴最后學(xué)會(huì)整個(gè)圖像。其實(shí)都差不多區(qū)別不大。3 為什么transformer中要引入MLP3.1 Transformer 的結(jié)構(gòu)回顧一個(gè)標(biāo)準(zhǔn)的 Transformer Encoder Layer 主要包含兩部分多頭自注意力Multi-Head Self-Attention, MHSA前饋全連接網(wǎng)絡(luò)Feed-Forward Network, FFN其中 FFN本質(zhì)上就是多層感知機(jī)MLP通常形式是FFN(x)GeLU(xW1b1)W2b2 ext{FFN}(x) ext{GeLU}(x W_1 b_1) W_2 b_2FFN(x)GeLU(xW1?b1?)W2?b2?兩層線性 非線性激活GeLU / ReLU對(duì)每個(gè)位置的 token 獨(dú)立應(yīng)用3.2 Transformer 中 MLPFFN的作用增加非線性表達(dá)能力注意力層本身是線性的注意力是加權(quán)和如果沒有 MLPTransformer只能做線性組合MLP 讓每個(gè) token 的表示可以經(jīng)過非線性變換 → 更強(qiáng)的表示能力提供特征混合和高維映射FFN 通常內(nèi)部維度遠(yuǎn)大于輸入維度比如 512 → 2048 → 512升維 → 非線性 → 降維作用類似于 “局部特征組合 / 投影到高維空間再壓縮”增強(qiáng)模型擬合復(fù)雜模式的能力保持位置獨(dú)立性Token-wise每個(gè) token 獨(dú)立經(jīng)過 MLP不同于注意力會(huì)跨 token 交互這樣做可以在每個(gè) token 內(nèi)部增加復(fù)雜的非線性變換同時(shí)注意力負(fù)責(zé) token 間依賴總結(jié)一句話本質(zhì)Transformer 的 MLPFFN就是多層感知機(jī)負(fù)責(zé)每個(gè) token 的非線性變換和高維特征組合使模型具備更強(qiáng)的表達(dá)能力彌補(bǔ)注意力層的線性限制。3.3 個(gè)人理解transformer中為什么要加入MLP注意力機(jī)制是線性關(guān)系MLP是非線性理解注意力機(jī)制只是處理了句子之間不同token的關(guān)聯(lián)關(guān)系他只是線性的只有MLP引入非線性才能更好的理解復(fù)雜句子的含義。4 注意力機(jī)制參數(shù)和MLP參數(shù)含量不管是GPT還是deepseek還是通義是不是mlp的參數(shù)反而是占大多數(shù)的對(duì)嗎是不是注意力參數(shù)大約1/3MLP大約2/3模型系列注意力機(jī)制參數(shù)占比MLP參數(shù)占比典型配置GPT-3~33%~67%175B模型中116B參數(shù)在MLP層LLaMA-232-34%66-68%70B版本中MLP占46.2B參數(shù)通義千問(Qwen)~33%~67%Qwen-Max每層FFN維度4×隱藏維度DeepSeek~33%~67%遵循標(biāo)準(zhǔn)Transformer設(shè)計(jì)原則參考文獻(xiàn)圖解Transformer之MLP機(jī)制解讀什么是“感知機(jī)”它的缺陷為什么讓“神經(jīng)網(wǎng)絡(luò)”陷入低潮10 多層感知機(jī) 代碼實(shí)現(xiàn) - 動(dòng)手學(xué)深度學(xué)習(xí)v2