企業(yè)網(wǎng)站如何制作,網(wǎng)站建設(shè)咨詢?cè)捫g(shù),寧波工業(yè)設(shè)計(jì)最好的公司,蘇州網(wǎng)站設(shè)計(jì)公司有哪些大模型訓(xùn)練分為預(yù)訓(xùn)練和微調(diào)兩階段。預(yù)訓(xùn)練用海量數(shù)據(jù)打造通才#xff0c;掌握基礎(chǔ)語言與知識(shí)#xff1b;微調(diào)通過SFT教模型什么是好答案#xff0c;再通過Alignment教模型什么是壞答案#xff0c;最終形成安全可靠的專業(yè)專家通才掌握基礎(chǔ)語言與知識(shí)微調(diào)通過SFT教模型什么是好答案再通過Alignment教模型什么是壞答案最終形成安全可靠的專業(yè)專家。這種訓(xùn)練范式平衡了通用能力與專業(yè)能力是當(dāng)前AI時(shí)代最核心的技術(shù)基礎(chǔ)。前排提示文末有大模型AGI-CSDN獨(dú)家資料包哦想象你在培養(yǎng)一個(gè)人才第一階段讓他接受通識(shí)教育學(xué)習(xí)語文、數(shù)學(xué)、歷史、科學(xué)……成為一個(gè)知識(shí)面廣博的通才第二階段根據(jù)職業(yè)方向進(jìn)行專業(yè)訓(xùn)練比如學(xué)醫(yī)學(xué)、法律或工程成為某個(gè)領(lǐng)域的專家大模型的訓(xùn)練過程與此驚人地相似。GPT-4、Claude、文心一言等大模型都不是一蹴而就的。它們的誕生經(jīng)歷了兩個(gè)關(guān)鍵階段預(yù)訓(xùn)練Pre-training和微調(diào)Fine-tuning。前者打造通才后者塑造專家。今天我們就來拆解這個(gè)從通用到專用的技術(shù)蛻變過程。預(yù)訓(xùn)練用海量數(shù)據(jù)打造通用智能什么是預(yù)訓(xùn)練預(yù)訓(xùn)練就是用海量文本數(shù)據(jù)訓(xùn)練一個(gè)什么都懂一點(diǎn)的通用大模型。這些數(shù)據(jù)可能來自互聯(lián)網(wǎng)上的網(wǎng)頁、論壇、博客數(shù)字化的書籍、論文、新聞代碼庫、維基百科、社交媒體……數(shù)據(jù)量有多大以GPT-3為例訓(xùn)練數(shù)據(jù)量達(dá)到45TB相當(dāng)于數(shù)千億個(gè)單詞。模型在這些數(shù)據(jù)中學(xué)習(xí)語言的語法和詞匯常識(shí)知識(shí)地球是圓的、水往低處流邏輯推理能力基礎(chǔ)的寫作、翻譯、代碼能力這個(gè)階段訓(xùn)練出來的模型我們稱之為Pre-trained Model預(yù)訓(xùn)練模型。它就像一個(gè)博學(xué)的通才對(duì)各種話題都有基礎(chǔ)理解但還不夠?qū)I(yè)。預(yù)訓(xùn)練的局限性預(yù)訓(xùn)練模型雖然強(qiáng)大但存在明顯短板1. 缺乏領(lǐng)域?qū)I(yè)性它能聊醫(yī)學(xué)常識(shí)但無法像專業(yè)醫(yī)生一樣診斷病情它能寫代碼但可能不符合你公司的編碼規(guī)范2. 不懂你想要什么你問它一個(gè)問題它可能給出冗長(zhǎng)的、不著重點(diǎn)的回答它不知道什么是好答案只是在統(tǒng)計(jì)規(guī)律上預(yù)測(cè)下一個(gè)詞3. 可能輸出有害內(nèi)容因?yàn)橛?xùn)練數(shù)據(jù)中包含互聯(lián)網(wǎng)上的各種內(nèi)容模型可能輸出偏見、錯(cuò)誤或不當(dāng)言論這就是為什么我們需要微調(diào)——把通才訓(xùn)練成符合特定需求的專家。微調(diào)第一步SFT教模型什么是好答案微調(diào)分為兩個(gè)關(guān)鍵階段。第一階段叫SFTSupervised Fine-Tuning監(jiān)督微調(diào)。SFT的核心思想樹立榜樣SFT就像給孩子樹立榜樣——告訴他“你應(yīng)該這樣做。”在這個(gè)階段我們需要準(zhǔn)備指令微調(diào)數(shù)據(jù)。每條數(shù)據(jù)包含兩個(gè)部分字段說明示例Input輸入用戶的問題“北京的天氣怎么樣”O(jiān)utput輸出標(biāo)準(zhǔn)答案“北京目前氣溫15°C多云空氣質(zhì)量良好?！睌?shù)據(jù)從哪來這些標(biāo)準(zhǔn)答案通常通過以下方式獲得1. 專家標(biāo)注雇傭大量專業(yè)人員針對(duì)每個(gè)問題給出高質(zhì)量答案比如醫(yī)療領(lǐng)域模型需要醫(yī)生標(biāo)注法律模型需要律師標(biāo)注2. 質(zhì)量篩選從現(xiàn)有數(shù)據(jù)中篩選出高質(zhì)量的問答對(duì)比如Stack Overflow上的高贊回答、知乎的優(yōu)質(zhì)答案3. 數(shù)據(jù)規(guī)模通常需要數(shù)千到數(shù)十萬條高質(zhì)量數(shù)據(jù)數(shù)據(jù)越多、質(zhì)量越高模型表現(xiàn)越好SFT訓(xùn)練后的效果通過SFT訓(xùn)練模型學(xué)會(huì)了按照人類期望的方式回答問題理解指令的意圖比如總結(jié)一下vs詳細(xì)解釋輸出結(jié)構(gòu)化、專業(yè)化的內(nèi)容我們把訓(xùn)練后的模型稱為SFT Model。但這還不夠——我們只告訴了模型該做什么還沒告訴它不該做什么。微調(diào)第二步Alignment教模型什么是壞答案這就引出了微調(diào)的第二階段Alignment對(duì)齊。Alignment的核心思想糾正錯(cuò)誤如果說SFT是樹立榜樣那么Alignment就是糾正錯(cuò)誤——告訴模型“這樣做不對(duì)應(yīng)該避免。”當(dāng)SFT模型上線后我們會(huì)收集用戶的真實(shí)反饋點(diǎn)贊說明回答質(zhì)量好點(diǎn)踩說明回答有問題啰嗦、答非所問、不當(dāng)內(nèi)容等這些反饋成為Alignment階段的重要數(shù)據(jù)來源。Alignment的數(shù)據(jù)格式Alignment數(shù)據(jù)與SFT數(shù)據(jù)不同。對(duì)于同一個(gè)問題我們提供一對(duì)正反答案字段說明示例Input用戶問題“如何快速減肥”Accepted接受的答案“健康減肥需要合理飲食適量運(yùn)動(dòng)建議咨詢營(yíng)養(yǎng)師。”Rejected拒絕的答案“不吃飯就能快速瘦”通過大量這樣的對(duì)比數(shù)據(jù)模型學(xué)會(huì)了避免輸出有害、錯(cuò)誤、不負(fù)責(zé)任的內(nèi)容拒絕回答不該回答的問題更精準(zhǔn)地理解什么是好答案訓(xùn)練后我們得到Aligned Model對(duì)齊模型——這是最終可以部署的生產(chǎn)級(jí)模型。Alignment數(shù)據(jù)的優(yōu)勢(shì)相比SFT數(shù)據(jù)Alignment數(shù)據(jù)更容易獲取1. 自動(dòng)收集用戶點(diǎn)贊/點(diǎn)踩自動(dòng)記錄AB測(cè)試中不同答案的表現(xiàn)對(duì)比日志分析識(shí)別用戶滿意度2. 持續(xù)優(yōu)化系統(tǒng)上線后數(shù)據(jù)源源不斷可以不斷進(jìn)行對(duì)齊訓(xùn)練持續(xù)提升模型質(zhì)量對(duì)齊算法PPO vs DPO在Alignment階段業(yè)界常用兩種算法PPOProximal Policy Optimization基于強(qiáng)化學(xué)習(xí)把模型當(dāng)作智能體通過獎(jiǎng)勵(lì)信號(hào)進(jìn)行訓(xùn)練優(yōu)點(diǎn)理論上更靈活能處理復(fù)雜的優(yōu)化目標(biāo)缺點(diǎn)訓(xùn)練過程復(fù)雜調(diào)參難度大計(jì)算成本高DPODirect Preference Optimization直接優(yōu)化偏好更簡(jiǎn)單直接地利用偏好數(shù)據(jù)優(yōu)點(diǎn)訓(xùn)練穩(wěn)定計(jì)算效率高易于實(shí)現(xiàn)缺點(diǎn)理論靈活性略低于PPO當(dāng)前趨勢(shì)DPO已成為主流選擇因其簡(jiǎn)單高效的特點(diǎn)在工業(yè)界廣泛應(yīng)用。完整流程回顧從通才到專家讓我們串聯(lián)整個(gè)流程階段一預(yù)訓(xùn)練輸入45TB海量文本數(shù)據(jù)過程學(xué)習(xí)語言、知識(shí)、邏輯輸出Pre-trained Model通用大模型特點(diǎn)知識(shí)面廣但不夠?qū)I(yè)階段二SFT監(jiān)督微調(diào)輸入數(shù)萬條專家標(biāo)注的輸入-輸出對(duì)過程學(xué)習(xí)什么是好答案輸出SFT Model特點(diǎn)能按人類期望回答但可能犯錯(cuò)階段三Alignment對(duì)齊輸入用戶反饋的接受-拒絕答案對(duì)過程學(xué)習(xí)什么是壞答案進(jìn)行糾正輸出Aligned Model特點(diǎn)安全、可靠、符合人類價(jià)值觀最終結(jié)果部署上線服務(wù)用戶并持續(xù)收集反饋進(jìn)行迭代優(yōu)化。預(yù)訓(xùn)練與微調(diào)通識(shí)教育與專業(yè)訓(xùn)練的完美結(jié)合回到開頭的類比預(yù)訓(xùn)練就像通識(shí)教育讓模型成為博學(xué)的通才具備廣泛的基礎(chǔ)能力SFT就像專業(yè)訓(xùn)練讓模型掌握如何正確完成任務(wù)Alignment就像職業(yè)倫理培訓(xùn)讓模型知道什么不該做這三個(gè)階段環(huán)環(huán)相扣缺一不可沒有預(yù)訓(xùn)練模型缺乏基礎(chǔ)能力沒有SFT模型不知道如何滿足人類需求沒有Alignment模型可能輸出有害內(nèi)容這也是為什么我們很少?gòu)牧阌?xùn)練大模型而是基于開源模型進(jìn)行微調(diào)——預(yù)訓(xùn)練成本高昂數(shù)百萬美元但微調(diào)相對(duì)廉價(jià)數(shù)千到數(shù)萬美元且能快速適配特定場(chǎng)景。大模型的訓(xùn)練藝術(shù)本質(zhì)上是通用能力與專業(yè)能力的平衡、效率與效果的權(quán)衡、技術(shù)實(shí)現(xiàn)與人類價(jià)值的對(duì)齊。掌握這套邏輯你就理解了當(dāng)今AI時(shí)代最核心的技術(shù)范式。無論是使用ChatGPT還是訓(xùn)練自己的行業(yè)模型這套預(yù)訓(xùn)練微調(diào)的框架都是你繞不開的基礎(chǔ)知識(shí)。你準(zhǔn)備好用微調(diào)武裝你的大模型了嗎讀者福利倘若大家對(duì)大模型感興趣那么這套大模型學(xué)習(xí)資料一定對(duì)你有用。針對(duì)0基礎(chǔ)小白如果你是零基礎(chǔ)小白快速入門大模型是可行的。大模型學(xué)習(xí)流程較短學(xué)習(xí)內(nèi)容全面需要理論與實(shí)踐結(jié)合學(xué)習(xí)計(jì)劃和方向能根據(jù)資料進(jìn)行歸納總結(jié)包括大模型學(xué)習(xí)線路匯總、學(xué)習(xí)階段大模型實(shí)戰(zhàn)案例大模型學(xué)習(xí)視頻人工智能、機(jī)器學(xué)習(xí)、大模型書籍PDF。帶你從零基礎(chǔ)系統(tǒng)性的學(xué)好大模型有需要的小伙伴可以保存圖片到wx掃描二v碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】AI大模型學(xué)習(xí)路線匯總大模型學(xué)習(xí)路線圖整體分為7個(gè)大的階段全套教程文末領(lǐng)取哈第一階段從大模型系統(tǒng)設(shè)計(jì)入手講解大模型的主要方法第二階段在通過大模型提示詞工程從Prompts角度入手更好發(fā)揮模型的作用第三階段大模型平臺(tái)應(yīng)用開發(fā)借助阿里云PAI平臺(tái)構(gòu)建電商領(lǐng)域虛擬試衣系統(tǒng)第四階段大模型知識(shí)庫應(yīng)用開發(fā)以LangChain框架為例構(gòu)建物流行業(yè)咨詢智能問答系統(tǒng)第五階段大模型微調(diào)開發(fā)借助以大健康、新零售、新媒體領(lǐng)域構(gòu)建適合當(dāng)前領(lǐng)域大模型第六階段以SD多模態(tài)大模型為主搭建了文生圖小程序案例第七階段以大模型平臺(tái)應(yīng)用與開發(fā)為主通過星火大模型文心大模型等成熟大模型構(gòu)建大模型行業(yè)應(yīng)用。大模型實(shí)戰(zhàn)案例光學(xué)理論是沒用的要學(xué)會(huì)跟著一起做要?jiǎng)邮謱?shí)操才能將自己的所學(xué)運(yùn)用到實(shí)際當(dāng)中去這時(shí)候可以搞點(diǎn)實(shí)戰(zhàn)案例來學(xué)習(xí)。大模型視頻和PDF合集這里我們能提供零基礎(chǔ)學(xué)習(xí)書籍和視頻。作為最快捷也是最有效的方式之一跟著老師的思路由淺入深從理論到實(shí)操其實(shí)大模型并不難。學(xué)會(huì)后的收獲? 基于大模型全棧工程實(shí)現(xiàn)前端、后端、產(chǎn)品經(jīng)理、設(shè)計(jì)、數(shù)據(jù)分析等通過這門課可獲得不同能力? 能夠利用大模型解決相關(guān)實(shí)際項(xiàng)目需求大數(shù)據(jù)時(shí)代越來越多的企業(yè)和機(jī)構(gòu)需要處理海量數(shù)據(jù)利用大模型技術(shù)可以更好地處理這些數(shù)據(jù)提高數(shù)據(jù)分析和決策的準(zhǔn)確性。因此掌握大模型應(yīng)用開發(fā)技能可以讓程序員更好地應(yīng)對(duì)實(shí)際項(xiàng)目需求? 基于大模型和企業(yè)數(shù)據(jù)AI應(yīng)用開發(fā)實(shí)現(xiàn)大模型理論、掌握GPU算力、硬件、LangChain開發(fā)框架和項(xiàng)目實(shí)戰(zhàn)技能學(xué)會(huì)Fine-tuning垂直訓(xùn)練大模型數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)蒸餾、大模型部署一站式掌握? 能夠完成時(shí)下熱門大模型垂直領(lǐng)域模型訓(xùn)練能力提高程序員的編碼能力大模型應(yīng)用開發(fā)需要掌握機(jī)器學(xué)習(xí)算法、深度學(xué)習(xí)框架等技術(shù)這些技術(shù)的掌握可以提高程序員的編碼能力和分析能力讓程序員更加熟練地編寫高質(zhì)量的代碼。獲取方式有需要的小伙伴可以保存圖片到wx掃描二v碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】