做雕塑網(wǎng)站,wordpress 短信登錄,app開發(fā)制作在哪里的,網(wǎng)站開發(fā)公司 上簡介 本文以Qwen2.5-32B大語言模型為例#xff0c;詳細解析大模型推理中Self-Attention模塊的算子計算邏輯。內(nèi)容包括Attention推理流程、QKV-Linear算子計算、RoPE位置編碼、GQA分組查詢注意力機制以及Output-Linear算子的具體實現(xiàn)。通過簡潔方式解釋各算子核心計算邏輯…簡介本文以Qwen2.5-32B大語言模型為例詳細解析大模型推理中Self-Attention模塊的算子計算邏輯。內(nèi)容包括Attention推理流程、QKV-Linear算子計算、RoPE位置編碼、GQA分組查詢注意力機制以及Output-Linear算子的具體實現(xiàn)。通過簡潔方式解釋各算子核心計算邏輯幫助讀者理解大模型中Self-Attention機制的工作原理適合AI工程師學習參考。此篇我將以 Qwen2.5-32B 大語言模型為例講述大語言模型推理中 Self-Attention 模塊的算子計算邏輯。PS文章以盡量簡潔的形式講述算子核心邏輯一些細節(jié)會被忽略比如 Linear 的加 Bias。一、Attention 的推理流程如上圖模型流程按從左到右看Attention 算子按從下往上看Activation 數(shù)據(jù)流轉(zhuǎn)到 Attention 模塊之后主要幾經(jīng)過以下幾個流程將同一個數(shù)據(jù)分別做 Q-LinearK-LinearV-Linear 分別得到 QKV 三個矩陣。再將 Q 與 K 轉(zhuǎn)置之后分別做 RoPE 位置編碼。再將 QK 位置編碼后的矩陣送到 GQA 模塊與 V 轉(zhuǎn)置后的矩陣一起做 GQA 的計算。最后 GQA 的輸出 Reshape 之后再做一次 O-Linear 矩陣乘得到整個 Attention 的輸出。BBatch表示輸入的請求個數(shù)。SSequence Length表示輸入請求的文本長度。例如 [B, S, 5120]表示的當前算子輸出 Activation 的 Shape。二、QKV-Linear 算子經(jīng)過 Embedding/RMSNorm 之后得到 Activation 的輸入數(shù)據(jù)是一個三維矩陣Shape 為 [B, S, 5120]。其中 Q 的權(quán)重寬為 512040*12840 表示 Head Num128 表示 Head Dim。每個 Batch 每個 Token 的 5120 個 Hidden States 值每行與權(quán)重中的 5120 個值每列乘累加得到 Q 的對應(yīng)位置的一個值。三、RoPE 算子以 Q 作為 RoPE 輸入為例Transpose 之后的 Shape 為 [B*40, S, 128]RoPE 分別對每 Head 數(shù)據(jù)操作。如下圖所示我們?nèi)∧硞€ Batch 的某個 Head 的某個 Token 的 128 個數(shù)據(jù) {x_0x_1…x_127}。將前 64 個數(shù)據(jù)與后 64 個數(shù)據(jù)一一對應(yīng)分別使用如下公式計算得到 RoPE 位置編碼之后的輸出 Q-RoPE。PS此處簡潔的形式介紹算子計算邏輯θ 的計算RoPE 算法原理我將長文本外擴章節(jié)介紹四、GQA 算子A. 如下圖中的 A 圖我們先將 Q 與 K 的對應(yīng) Batch對應(yīng) Head對應(yīng) Token 的128 個值做乘累加得到 QK 矩陣注意力分數(shù)矩陣。這里是 GQA不是 MHA嚴格來說是 Q 的每 5 個 Head對應(yīng) K 的 1 個 Head。B. 如下圖中的 B 圖防止點積結(jié)果過大導(dǎo)致 Softmax 梯度消失我們對 QK 矩陣的每個值除以一個縮放因子 √dk得到 QK/D 矩陣。C. 如下圖的 C 圖先對 QK/D 矩陣做一個倒三角 Mask可以簡單理解為只保留下三角的矩陣做 SoftmaxSoftmax 如圖中公式所示。例如對其中的某個 Batch某個 Head某個 Token 的數(shù)據(jù) {x_0x_1…x_s-n} 做 SoftMax 得到 QK/DS 矩陣中的 {y_0y_1…y_s-n}D. 如下圖的 D 圖我們將 QK/DS 矩陣與 V 的對應(yīng) Batch對應(yīng) Head對應(yīng) Token 的128 個值做乘累加得到 QK/DSV 矩陣。這里是 GQA不是 MHA嚴格來說是 QK/DS 的每 5 個 Head對應(yīng) V 的 1 個 Head。五、Output-Linear 算子如下圖我們將 QK/DSV Reshape 后的矩陣與 Output 權(quán)重做矩陣乘得到最終的 Attention 輸出 O-Output 矩陣因此而得到整個 Attention 模塊的前向輸出結(jié)果。?最后我在一線科技企業(yè)深耕十二載見證過太多因技術(shù)卡位而躍遷的案例。那些率先擁抱 AI 的同事早已在效率與薪資上形成代際優(yōu)勢我意識到有很多經(jīng)驗和知識值得分享給大家也可以通過我們的能力和經(jīng)驗解答大家在大模型的學習中的很多困惑。我整理出這套 AI 大模型突圍資料包?AI大模型學習路線圖?Agent行業(yè)報告?100集大模型視頻教程?大模型書籍PDF?DeepSeek教程?AI產(chǎn)品經(jīng)理入門資料完整的大模型學習和面試資料已經(jīng)上傳帶到CSDN的官方了有需要的朋友可以掃描下方二維碼免費領(lǐng)取【保證100%免費】??為什么說現(xiàn)在普通人就業(yè)/升職加薪的首選是AI大模型人工智能技術(shù)的爆發(fā)式增長正以不可逆轉(zhuǎn)之勢重塑就業(yè)市場版圖。從DeepSeek等國產(chǎn)大模型引發(fā)的科技圈熱議到全國兩會關(guān)于AI產(chǎn)業(yè)發(fā)展的政策聚焦再到招聘會上排起的長隊AI的熱度已從技術(shù)領(lǐng)域滲透到就業(yè)市場的每一個角落。智聯(lián)招聘的最新數(shù)據(jù)給出了最直觀的印證2025年2月AI領(lǐng)域求職人數(shù)同比增幅突破200%遠超其他行業(yè)平均水平整個人工智能行業(yè)的求職增速達到33.4%位居各行業(yè)榜首其中人工智能工程師崗位的求職熱度更是飆升69.6%。AI產(chǎn)業(yè)的快速擴張也讓人才供需矛盾愈發(fā)突出。麥肯錫報告明確預(yù)測到2030年中國AI專業(yè)人才需求將達600萬人人才缺口可能高達400萬人這一缺口不僅存在于核心技術(shù)領(lǐng)域更蔓延至產(chǎn)業(yè)應(yīng)用的各個環(huán)節(jié)。??資料包有什么①從入門到精通的全套視頻教程⑤⑥包含提示詞工程、RAG、Agent等技術(shù)點② AI大模型學習路線圖還有視頻解說全過程AI大模型學習路線③學習電子書籍和技術(shù)文檔市面上的大模型書籍確實太多了這些是我精選出來的④各大廠大模型面試題目詳解⑤ 這些資料真的有用嗎?這份資料由我和魯為民博士共同整理魯為民博士先后獲得了北京清華大學學士和美國加州理工學院博士學位在包括IEEE Transactions等學術(shù)期刊和諸多國際會議上發(fā)表了超過50篇學術(shù)論文、取得了多項美國和中國發(fā)明專利同時還斬獲了吳文俊人工智能科學技術(shù)獎。目前我正在和魯博士共同進行人工智能的研究。所有的視頻教程由智泊AI老師錄制且資料與智泊AI共享相互補充。這份學習大禮包應(yīng)該算是現(xiàn)在最全面的大模型學習資料了。資料內(nèi)容涵蓋了從入門到進階的各類視頻教程和實戰(zhàn)項目無論你是小白還是有些技術(shù)基礎(chǔ)的這份資料都絕對能幫助你提升薪資待遇轉(zhuǎn)行大模型崗位。智泊AI始終秉持著“讓每個人平等享受到優(yōu)質(zhì)教育資源”的育人理念?通過動態(tài)追蹤大模型開發(fā)、數(shù)據(jù)標注倫理等前沿技術(shù)趨勢?構(gòu)建起前沿課程智能實訓精準就業(yè)的高效培養(yǎng)體系。課堂上不光教理論還帶著學員做了十多個真實項目。學員要親自上手搞數(shù)據(jù)清洗、模型調(diào)優(yōu)這些硬核操作把課本知識變成真本事?????如果說你是以下人群中的其中一類都可以來智泊AI學習人工智能找到高薪工作一次小小的“投資”換來的是終身受益應(yīng)屆畢業(yè)生?無工作經(jīng)驗但想要系統(tǒng)學習AI大模型技術(shù)期待通過實戰(zhàn)項目掌握核心技術(shù)。零基礎(chǔ)轉(zhuǎn)型?非技術(shù)背景但關(guān)注AI應(yīng)用場景計劃通過低代碼工具實現(xiàn)“AI行業(yè)”跨界?。業(yè)務(wù)賦能 ?突破瓶頸傳統(tǒng)開發(fā)者Java/前端等學習Transformer架構(gòu)與LangChain框架向AI全棧工程師轉(zhuǎn)型?。獲取方式有需要的小伙伴可以保存圖片到wx掃描二v碼免費領(lǐng)取【保證100%免費】**?