徐州網站建設制作公司,很多網站開發(fā)沒有框架如何制作的,手機評測網站,社區(qū)電商平臺怎么做本文深入淺出地解析了大語言模型特別是ChatGPT的核心原理#xff0c;涵蓋生成式、預訓練與Transformer三大關鍵概念。文章詳細介紹了AI基礎知識、模型訓練方法(如SFT、PPO、RLHF)#xff0c;并重點解析了Transformer架構的工作機制#xff0c;包括詞向量映射、自注意力機制等…本文深入淺出地解析了大語言模型特別是ChatGPT的核心原理涵蓋生成式、預訓練與Transformer三大關鍵概念。文章詳細介紹了AI基礎知識、模型訓練方法(如SFT、PPO、RLHF)并重點解析了Transformer架構的工作機制包括詞向量映射、自注意力機制等核心組件。內容通俗易懂適合程序員和AI初學者系統(tǒng)理解大模型的基本原理與實現方式。1、什么是ChatGPTGPT 對應的是三個關鍵概念生成式Generative、預訓練Pre-Training和Transformer。生成式Generative是指通過學習歷史數據來生成全新的數據。當使用ChatGPT回答問題時是逐字或三四個字符一起生成的。在生成過程中每一個字或詞在英文中可能是詞根都可以被稱作一個 token。預訓練Pre-Training是指預先訓練模型。舉個簡單的例子我們想讓一個對英語一竅不通的同學去翻譯并總結一篇英語技術文章首先需要教會這個同學英語的26個字母、以及單詞語法等基礎知識然后讓他了解文章相關的技術內容最后才能完成任務。相比之下如果讓一個精通英語的同學來做這個任務就簡單多了他只需要大致了解文章的技術內容就能很好地總結出來。**「這就是預訓練的作用——提前訓練出一些通用能力。在人工智能中預訓練是通過不斷調整參數來實現的?！?*如果我們可以提前將這些通用能力相關的參數訓練好那么在特定場景中只需要進行簡單的參數微調即可從而大幅減少每個獨立訓練任務的計算成本。Transformer這是ChatGPT的核心架構是一種神經網絡模型。后文將對其進行詳細的說明。綜上ChatGPT就是一個采用了預訓練的生成式神經網絡模型能夠模擬人類的對話。2、ChatGPT核心任務ChatGPT核心任務就是生成一個符合人類書寫習慣的下一個合理的內容。具體實現邏輯就是根據大量的網頁、數字化書籍等人類撰寫內容的統(tǒng)計規(guī)律推測接下來可能出現的內容?！钢鹱?逐詞推測」在使用ChatGPT時如果細心觀察會發(fā)現它回答問題時是逐字或逐詞進行的。這正是ChatGPT的本質根據上下文對下一個要出現的字或詞進行推測。例如假設我們要讓ChatGPT預測“今天天氣真好”它的運行步驟如下輸入“今”這個字輸出可能是“天”“日”“明”這三個字其中結合上下文概率最高的是“天”字。輸入“今天”這兩個字輸出可能是“天”“好”“氣”這三個字其中結合上下文概率最高的是“氣”字。輸入“今天天”這三個字輸出可能是“氣”“好”“熱”這三個字其中結合上下文概率最高的是“氣”字。輸入“今天天氣”這四個字輸出可能是“真”“好”“熱”這三個字其中結合上下文概率最高的是“真”字。輸入“今天天氣真”這五個字輸出可能是“好”“熱”“美”這三個字其中結合上下文概率最高的是“好”字。由于ChatGPT學習了大量人類現有的各種知識它可以進行各種各樣的預測。這就是Transformer模型最終做的事情但實際原理要復雜得多。3、AI基礎知識在介紹 ChatGPT 的原理之前先學習一下人工智能的一些基礎知識機器學習 (Machine Learning, ML)機器學習是指從有限的觀測數據中學習或“猜測”出具有一般性的規(guī)律并將這些規(guī)律應用到未觀測數據樣本上的方法。主要研究內容是學習算法?；玖鞒淌腔跀祿a生模型利用模型預測輸出。目標是讓模型具有較好的泛化能力。舉一個經典的例子我們挑西瓜的時候是如何判斷一個西瓜是否成熟的呢每個人一開始都是不會挑選的但是隨著我們耳濡目染看了很多挑西瓜能手是怎么做的發(fā)現可以通過西瓜的顏色、大小、產地、紋路、敲擊聲等因素來判斷這就是一個學習的過程。神經網絡「與人腦的類比」神經網絡的設計靈感來源于人腦的工作方式。當信息進入大腦時神經元的每一層或每一級都會完成其特殊的工作即處理傳入的信息獲得洞見然后將它們傳遞到下一個更高級的層。神經網絡模仿了這一過程通過多層結構來處理和轉換輸入數據?！富拘问降娜斯ど窠浘W絡」最基本形式的人工神經網絡通常由三層組成輸入層這是數據進入系統(tǒng)的入口點。每個節(jié)點代表一個特征或屬性例如在預測房價的例子中輸入層可能包含房屋面積、臥室數量、浴室數量等特征。隱藏層這是處理信息的地方。隱藏層可以有多個每一層中的節(jié)點會對來自前一層的數據進行加權求和并通過激活函數如 ReLU、Sigmoid 或 Tanh進行非線性變換。隱藏層的數量和每層的節(jié)點數可以根據任務復雜度進行調整。輸出層這是系統(tǒng)根據數據決定如何繼續(xù)操作的位置。輸出層的節(jié)點數量取決于任務類型。例如在分類任務中輸出層可能對應于不同類別的概率分布在回歸任務中輸出層可能直接給出預測值。每一層的每一個節(jié)點都會對模型的某個參數進行調整計算。在大部分情況下每個當前節(jié)點與上層的所有節(jié)點都是相連的這種連接方式被稱為全連接fully connected。然而在某些特定的應用場景下完全連接的網絡可能會顯得過于復雜因此需要采用更高效的網絡結構。「卷積神經網絡Convolutional Neural Networks, CNNs」在處理圖像等具有特定已知結構的數據時使用卷積神經網絡CNN會更加高效。CNN 的設計是為了捕捉局部模式和空間關系其特點包括卷積層卷積層中的神經元布置在類似于圖像像素的網格上并且僅與網格附近的神經元相連。這種方式減少了參數數量同時保留了重要的局部信息。池化層用于降低特征圖的空間維度減少計算量并防止過擬合。常見的池化方法包括最大池化Max Pooling和平均池化Average Pooling。全連接層通常位于網絡的末端用于將提取到的特征映射到最終的輸出類別或預測值。參數/權重所有的AI都有一個模型這個模型可以簡單地被理解為我們數學里的一個公式比如一個線性公式。參數權重就是 和 。在 ChatGPT 中3.0 版本已經有了 1750 億個參數4.0 的參數規(guī)模未公布但可以猜測只會比 3.0 版本更多。因此在這樣巨大的參數規(guī)模中進行調參訓練是一個非常耗費計算資源如 GPU的工作所以需要大量的資金和機房支持。監(jiān)督學習 / 無監(jiān)督學習「監(jiān)督學習」簡單的理解就是給算法模型一批已經標記好的數據。例如我們提前給模型提供 1000 個西瓜并且標記好這 1000 個西瓜是否已經成熟然后由模型自己不斷去學習調整計算出一組最擬合這些數據的函數參數。這樣我們在拿到一個全新的西瓜時就可以根據這組參數來進行比較準確的預測。「無監(jiān)督學習」就是我們扔給模型 1000 個西瓜由算法自己去學習它們的特征然后把相似的類逐漸聚合在一起。在理想情況下我們希望聚合出 2 個類成熟和不成熟。過擬合 / 欠擬合在模型進行訓練時最終的目的就是訓練出一組參數來最大限度地擬合訓練數據的特征。但是訓練的過程總會出現各種問題比較經典的就是過擬合和欠擬合。其中直接舉例說明更直接一點如下圖我們希望模型能盡量好的來匹配我們的訓練數據理想狀態(tài)下模型的表現應當和中間的圖一致但實際訓練中可能就會出現左右兩種情況。左邊的欠擬合并并沒有很好的擬合數據預測一個新數據的時候準確率會比較低而右側看起來非常好把所有的數據都成功擬合了進去但是模型不具有泛化性也沒有辦法對新的數據進行準確預測。那么怎么解決過擬合和欠擬合的問題呢可以根據模型訓練中的實際表現情況來進行正則化處理、降低復雜度處理等方法這一點可以自行查閱相關資料。4、有監(jiān)督微調Supervised Fine-Tuning, SFT有監(jiān)督微調是一種用于機器學習的超參數調整方法它可以使用從未見過的數據來快速準確地調整神經網絡的權重參數以獲得最佳的性能。它可以幫助機器學習模型快速地從訓練數據中學習而不需要重新訓練整個網絡。5、強化學習模型Proximal Policy Optimization, PPO強化學習模型PPO是一種強化學習算法可以使智能體通過最大化獎勵信號來學習如何與環(huán)境進行交互。它使用剪裁目標函數和自適應學習率來避免大的策略更新。PPO 還具有學習可能不完全獨立和等分布數據的優(yōu)勢。6、人類反饋強化學習Reinforcement Learning with Human Feedback, RLHF人類反饋強化學習RLHF是訓練 GPT-3.5 系列模型而創(chuàng)建的一種方法。主要包括三個步驟旨在通過人類反饋來優(yōu)化語言模型的輸出質量?！甘褂帽O(jiān)督學習訓練語言模型」首先通過大量標記數據訓練一個基礎語言模型?！父鶕祟惼檬占容^數據并訓練獎勵模型」生成多個輸出并讓人類評估其質量訓練一個獎勵模型來預測這些輸出的質量分數?！甘褂脧娀瘜W習針對獎勵模型優(yōu)化語言模型」通過獎勵模型優(yōu)化語言模型使其生成更符合人類偏好的輸出。舉個例子假設我們要訓練一個能夠生成高質量對話的LLMRLHF具體步驟如下預訓練和微調使用大量的對話數據對 LLM 進行預訓練和微調使其能夠生成連貫的對話文本。生成多個輸出給 LLM 提供一個提示例如“今天天氣怎么樣”LLM 生成多個響應例如響應1今天天氣真好。響應2不知道我沒有查看天氣預報。響應3今天天氣晴朗適合外出。人工評估讓人類評估這些響應的質量并為每個響應分配一個分數。響應13響應21響應34訓練獎勵模型使用這些人工評估的數據來訓練一個獎勵模型。獎勵模型學習如何預測 LLM 生成文本的質量分數。強化學習循環(huán)創(chuàng)建一個強化學習循環(huán)LLM 的副本成為 RL 代理。在每個訓練集中LLM 從訓練數據集中獲取多個提示并生成文本。將生成的文本傳遞給獎勵模型獎勵模型提供一個分數來評估其與人類偏好的一致性。根據獎勵模型的評分更新 LLM 的參數使其生成的文本在獎勵模型上的得分更高。通過這種方式RLHF 能夠顯著提高 LLM 的輸出質量使其生成的文本更符合人類的偏好和期望。7、Transformer架構對于像ChatGPT這樣的大語言模型Transformer架構是其核心。與傳統(tǒng)的RNN和LSTM不同Transformer完全依賴于自注意力機制self-attention mechanism允許模型并行處理長序列數據而不需要逐個處理時間步。Transformer的主要組成部分包括編碼器Encoder負責將輸入序列轉換為上下文表示。每個編碼器層包含一個多頭自注意力機制Multi-Head Self-Attention Mechanism和一個前饋神經網絡Feed-Forward Neural Network兩者之間通過殘差連接Residual Connection和層歸一化Layer Normalization連接。解碼器Decoder負責生成輸出序列。解碼器層不僅包含自注意力機制和前饋神經網絡還包括一個編碼器-解碼器注意力機制Encoder-Decoder Attention Mechanism用于關注輸入序列中的相關信息。位置編碼Positional Encoding由于Transformer沒有內在的時間/順序概念位置編碼被添加到輸入嵌入中以提供關于單詞相對位置的信息。8、Transformer基本原理第一步Embedding在Transformer架構中embedding的過程可以簡單理解為將輸入的詞token映射成向量表示。這是因為神經網絡處理的是數值型數據而文本是由離散的符號組成的。因此需要一種方法將這些符號轉換為模型能夠理解和處理的連續(xù)向量形式?！窽oken Embedding」每個輸入的token通過一個查找表lookup table被映射到一個固定維度的稠密向量空間中。這個查找表實際上是一個可訓練的參數矩陣其中每一行對應于詞匯表中的一個token。例如在GPT-2中每個token會被轉化為長度為768的embedding向量而在更大型的模型如ChatGPT所基于的GPT-3中embedding向量的長度可能達到12288維。「Positional Encoding」由于Transformer沒有像RNN那樣的內在順序處理機制它無法直接感知序列中元素的位置信息。為了彌補這一點引入了位置編碼positional encoding它為每個位置添加了一個唯一的標識符使得模型能夠在處理過程中考慮到token的相對或絕對位置。位置編碼通常也是通過一個固定的函數生成或者是作為額外的可學習參數加入到模型中?！窽oken和Position Embedding的結合」最終的embedding是通過將token embedding和position embedding相加得到的。具體來說這種相加的方式并不是隨意選擇的而是經過大量實驗驗證后被認為有效的方法之一。其背后的原因在于保持原始信息通過簡單地相加既保留了token本身的語義信息又引入了位置信息。允許自適應調整即使初始設置不是最優(yōu)的隨著訓練的進行模型可以通過梯度下降等優(yōu)化算法自動調整這些embedding以更好地捕捉數據中的模式。簡化計算相比于其他復雜的組合方式簡單的相加操作更加高效并且不會增加太多額外的計算負擔。以字符串“天氣”為例假設我們使用GPT-2模型來處理Token Embedding首先“天”和“氣”這兩個字符分別被映射到它們對應的768維向量。Positional Encoding然后根據它們在句子中的位置第一個位置和第二個位置分別為這兩個字符生成相應的位置編碼向量。相加生成最終的embedding最后將上述兩個步驟得到的向量相加以形成最終的embedding向量序列。如上圖第一張圖中展示了token embedding其中縱向一列表示一個向量依次排列的是“天”和“氣”的embedding向量。第二張圖則顯示了位置的embedding反映了這兩個字符的位置信息。將這兩者相加后我們就得到了包含語義和位置信息的完整embedding序列。第二步Attention在Transformer架構中Attention機制是核心組件之一它使得模型能夠并行處理長序列數據并且有效地捕捉輸入序列中的依賴關系。Attention機制的核心思想是讓模型關注輸入序列的不同部分從而更好地理解上下文信息?！缸宰⒁饬elf-Attention」自注意力也稱為內部注意力是Transformer中的一種特殊形式的Attention它允許每個位置的token與序列中的所有其他位置進行交互。這意味著每個token都可以根據整個序列的信息來調整自己的表示而不僅僅是依賴于前一個或后一個token。「Attention Head」每個“注意力塊”Attention Block包含多個獨立的Attention Heads這些Head可以看作是不同視角下的Attention計算。每個Head都會獨立地作用于embedding向量的不同子空間這樣可以捕捉到更多樣化的信息。例如在GPT-3中有96個這樣的注意力塊每個塊中又包含多個Attention Heads?！窺、K、V 的生成」對于每個token的embedding向量我們通過線性變換即乘以三個不同的可訓練矩陣、和將其轉換為三個向量Query (Q)、Key (K) 和 Value (V)。這三個向量分別代表查詢、鍵和值。具體來說其中X是輸入的embedding向量、和是隨機初始化并在訓練過程中學習得到的權重矩陣?！窤ttention分數的計算」接下來我們需要計算每個token與其他所有token之間的Attention分數。這一步驟使用了Scaled Dot-Product Attention公式這里是Key向量的維度大小用于縮放點積結果以穩(wěn)定梯度。Softmax函數確保輸出的概率分布加起來等于1這樣可以突出最重要的部分。以上就是 Transformer 的大致原理用一張圖來表示上面的步驟如下所示。如何學習大模型 AI 由于新崗位的生產效率要優(yōu)于被取代崗位的生產效率所以實際上整個社會的生產效率是提升的。但是具體到個人只能說是“最先掌握AI的人將會比較晚掌握AI的人有競爭優(yōu)勢”。這句話放在計算機、互聯網、移動互聯網的開局時期都是一樣的道理。我在一線互聯網企業(yè)工作十余年里指導過不少同行后輩。幫助很多人得到了學習和成長。我意識到有很多經驗和知識值得分享給大家也可以通過我們的能力和經驗解答大家在人工智能學習中的很多困惑所以在工作繁忙的情況下還是堅持各種整理和分享。但苦于知識傳播途徑有限很多互聯網行業(yè)朋友無法獲得正確的資料得到學習提升故此將并將重要的AI大模型資料包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰(zhàn)學習等錄播視頻免費分享出來。這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】為什么要學習大模型我國在A大模型領域面臨人才短缺,數量與質量均落后于發(fā)達國家。2023年人才缺口已超百萬凸顯培養(yǎng)不足。隨著AI技術飛速發(fā)展預計到2025年,這一缺口將急劇擴大至400萬,嚴重制約我國AI產業(yè)的創(chuàng)新步伐。加強人才培養(yǎng),優(yōu)化教育體系,國際合作并進是破解困局、推動AI發(fā)展的關鍵。大模型入門到實戰(zhàn)全套學習大禮包1、大模型系統(tǒng)化學習路線作為學習AI大模型技術的新手方向至關重要。 正確的學習路線可以為你節(jié)省時間少走彎路方向不對努力白費。這里我給大家準備了一份最科學最系統(tǒng)的學習成長路線圖和學習規(guī)劃帶你從零基礎入門到精通2、大模型學習書籍文檔學習AI大模型離不開書籍文檔我精選了一系列大模型技術的書籍和學習文檔電子版它們由領域內的頂尖專家撰寫內容全面、深入、詳盡為你學習大模型提供堅實的理論基礎。3、AI大模型最新行業(yè)報告2025最新行業(yè)報告針對不同行業(yè)的現狀、趨勢、問題、機會等進行系統(tǒng)地調研和評估以了解哪些行業(yè)更適合引入大模型的技術和應用以及在哪些方面可以發(fā)揮大模型的優(yōu)勢。4、大模型項目實戰(zhàn)配套源碼學以致用在項目實戰(zhàn)中檢驗和鞏固你所學到的知識同時為你找工作就業(yè)和職業(yè)發(fā)展打下堅實的基礎。5、大模型大廠面試真題面試不僅是技術的較量更需要充分的準備。在你已經掌握了大模型技術之后就需要開始準備面試我精心整理了一份大模型面試題庫涵蓋當前面試中可能遇到的各種技術問題讓你在面試中游刃有余。適用人群第一階段10天初階應用該階段讓大家對大模型 AI有一個最前沿的認識對大模型 AI 的理解超過 95% 的人可以在相關討論時發(fā)表高級、不跟風、又接地氣的見解別人只會和 AI 聊天而你能調教 AI并能用代碼將大模型和業(yè)務銜接。大模型 AI 能干什么大模型是怎樣獲得「智能」的用好 AI 的核心心法大模型應用業(yè)務架構大模型應用技術架構代碼示例向 GPT-3.5 灌入新知識提示工程的意義和核心思想Prompt 典型構成指令調優(yōu)方法論思維鏈和思維樹Prompt 攻擊和防范…第二階段30天高階應用該階段我們正式進入大模型 AI 進階實戰(zhàn)學習學會構造私有知識庫擴展 AI 的能力?？焖匍_發(fā)一個完整的基于 agent 對話機器人。掌握功能最強的大模型開發(fā)框架抓住最新的技術進展適合 Python 和 JavaScript 程序員。為什么要做 RAG搭建一個簡單的 ChatPDF檢索的基礎概念什么是向量表示Embeddings向量數據庫與向量檢索基于向量檢索的 RAG搭建 RAG 系統(tǒng)的擴展知識混合檢索與 RAG-Fusion 簡介向量模型本地部署…第三階段30天模型訓練恭喜你如果學到這里你基本可以找到一份大模型 AI相關的工作自己也能訓練 GPT 了通過微調訓練自己的垂直大模型能獨立訓練開源多模態(tài)大模型掌握更多技術方案。到此為止大概2個月的時間。你已經成為了一名“AI小子”。那么你還想往下探索嗎為什么要做 RAG什么是模型什么是模型訓練求解器 損失函數簡介小實驗2手寫一個簡單的神經網絡并訓練它什么是訓練/預訓練/微調/輕量化微調Transformer結構簡介輕量化微調實驗數據集的構建…第四階段20天商業(yè)閉環(huán)對全球大模型從性能、吞吐量、成本等方面有一定的認知可以在云端和本地等多種環(huán)境下部署大模型找到適合自己的項目/創(chuàng)業(yè)方向做一名被 AI 武裝的產品經理。硬件選型帶你了解全球大模型使用國產大模型服務搭建 OpenAI 代理熱身基于阿里云 PAI 部署 Stable Diffusion在本地計算機運行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何優(yōu)雅地在阿里云私有部署開源大模型部署一套開源 LLM 項目內容安全互聯網信息服務算法備案…學習是一個過程只要學習就會有挑戰(zhàn)。天道酬勤你越努力就會成為越優(yōu)秀的自己。如果你能在15天內完成所有的任務那你堪稱天才。然而如果你能完成 60-70% 的內容你就已經開始具備成為一名大模型 AI 的正確特征了。這份完整版的大模型 AI 學習資料已經上傳CSDN朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】