男女的做那個視頻網(wǎng)站,單頁網(wǎng)站制作系統(tǒng),公司網(wǎng)站備案信息查詢,易語言做電影網(wǎng)站源碼大語言模型訓(xùn)練類比人類學(xué)習(xí)過程#xff0c;分為三步#xff1a;預(yù)訓(xùn)練從互聯(lián)網(wǎng)學(xué)習(xí)基礎(chǔ)知識并構(gòu)建預(yù)測模型#xff1b;監(jiān)督微調(diào)通過問答數(shù)據(jù)教會模型回答問題#xff1b;強(qiáng)化學(xué)習(xí)讓模型自主探索最佳解決方案#xff0c;形成思維鏈。本質(zhì)上#xff0c;AI大語言模型是一個…大語言模型訓(xùn)練類比人類學(xué)習(xí)過程分為三步預(yù)訓(xùn)練從互聯(lián)網(wǎng)學(xué)習(xí)基礎(chǔ)知識并構(gòu)建預(yù)測模型監(jiān)督微調(diào)通過問答數(shù)據(jù)教會模型回答問題強(qiáng)化學(xué)習(xí)讓模型自主探索最佳解決方案形成思維鏈。本質(zhì)上AI大語言模型是一個基于統(tǒng)計(jì)學(xué)的預(yù)測器通過大量數(shù)據(jù)訓(xùn)練獲得智能其運(yùn)作方式可能與人類基于經(jīng)驗(yàn)的邏輯思維有相似之處。【前言】生活中 AI 用得已經(jīng)越來越多一直想要了解其大概原理這樣才能知道 AI 能做什么不能做什么。恰逢最近看了OpenAI 聯(lián)合創(chuàng)始人安德烈·卡帕西一個長達(dá) 3 小時的視頻用非常通俗易懂的方式講解了像 chatGPT 這樣的大語言模型是怎么一步步訓(xùn)練出來的像我這樣一個基本沒有技術(shù)背景的人也能看懂是非常優(yōu)秀的科普視頻。大家可以前往 B 站搜索“安德烈·卡帕西深入探索像ChatGPT這樣的大語言模型”即可觀看全文都有字幕不用擔(dān)心聽不懂。本文也從 3 小時的視頻中提煉出最核心的內(nèi)容希望能幫助你“不求甚解”地大概了解AI 大語言模型的基本訓(xùn)練原理?？傆[對大語言模型的訓(xùn)練跟我們?nèi)祟悓W(xué)習(xí)知識的邏輯是一脈相承的視頻中最讓我印象深刻的一點(diǎn)是安德烈·卡帕西把大語言模型的訓(xùn)練邏輯類比成我們上學(xué)讀書學(xué)習(xí)知識的過程竟然是出奇的一致?；叵胛覀冃r候的課本每個知識點(diǎn)的章節(jié)講解都包含三個步驟第一步、學(xué)習(xí)知識點(diǎn)單純地通過閱讀了解相關(guān)知識。完成這一步我們只掌握了知識的表層卻不知道如何使用。第二步、查看經(jīng)典題目與解法通過查看經(jīng)典題目了解知識點(diǎn)如何運(yùn)用來解決實(shí)際問題。完成這一步我們能模仿這些經(jīng)典解法去解決類似的問題。第三步、課后習(xí)題這個環(huán)節(jié)里面課本只會提供問題與答案需要我們自己研究如何解題。每個人的腦回路都不一樣適合的解法也都不一樣我們需要自己摸索各種可能的解法并找到最適合自己的解法。這個過程中甚至?xí)ぐl(fā)出比經(jīng)典解法更高效的方法。完成這一步我們就真正做到了對知識點(diǎn)的融會貫通。大語言模型訓(xùn)練的三個步驟也正正對應(yīng)著這三步即接下來逐一介紹每個步驟。第一步、預(yù)訓(xùn)練【核心流程】1、學(xué)習(xí)信息搜集要學(xué)習(xí)知識自然要先獲取信息而最豐富而免費(fèi)的信息自然是來自互聯(lián)網(wǎng)。因此最初的模型訓(xùn)練內(nèi)容主要來自對互聯(lián)網(wǎng)信息的爬取。當(dāng)然這里要做的不是簡單的爬取而是包含了過濾劣質(zhì)網(wǎng)站、文本提取、信息去重等一系列數(shù)據(jù)加工的過程。2、信息的編碼與壓縮生成“token”爬取到的信息都是文字人類能通過文字理解其所表達(dá)的內(nèi)容但計(jì)算機(jī)是不能的。那計(jì)算機(jī)能理解什么呢是數(shù)字與計(jì)算。因此要讓計(jì)算機(jī)能學(xué)習(xí)這些信息首先要把文字轉(zhuǎn)化為數(shù)字。這里也可以分為兩小步第一步對文字的基本單元做編碼例如英文而言自然是每個字母對應(yīng)一個數(shù)字 ID中文則是每個漢字對應(yīng)一個數(shù)字 ID第二步進(jìn)一步壓縮信息把信息中高頻出現(xiàn)的“單元序列組合”編碼出一個新的 數(shù)字ID這樣就可以用更短的 ID 序列更高效地表達(dá)一句話計(jì)算機(jī)需要理解的成本就會更低。例如在下圖這個案例中既有“你”、“的”這樣的獨(dú)立漢字用一個數(shù)字ID來表示也有“你好”、“今天”這樣的日常短語用一個數(shù)字 ID 來表示。而這里代表一個文字或短語的數(shù)字 ID就是所謂的大語言模型的“token”是計(jì)算機(jī)理解與輸出信息的最小“信息單元”。3、信息學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)“預(yù)測”模型的訓(xùn)練完成前面兩步后我們已經(jīng)有了用于學(xué)習(xí)的原材料數(shù)據(jù)接下來便可用于模型學(xué)習(xí)。那么什么是所謂的學(xué)習(xí)回到我們期望模型的效果是可以像人類一樣根據(jù)上文內(nèi)容輸出適合的下文內(nèi)容。也就是說根據(jù)上文“預(yù)測”下文的內(nèi)容。因此這一步我們使用統(tǒng)計(jì)學(xué)中最前沿的“預(yù)測”模型神經(jīng)網(wǎng)絡(luò)模型再基于我們搜集到的原材料數(shù)據(jù)訓(xùn)練出一個基于上文輸出下文的預(yù)測模型。淺顯地介紹下這個神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法所謂的神經(jīng)網(wǎng)絡(luò)模型其實(shí)就是一個巨大的包含大量參數(shù)計(jì)算的數(shù)學(xué)方程式但其核心目標(biāo)跟我們小學(xué)學(xué)的一元一次方程是類似的也是根據(jù)輸入的“x”上文跟模型的參數(shù)“w”一系列計(jì)算輸出一個結(jié)果“y”下文。但也有兩個區(qū)別一個是我們之前定義的 token 并不是一個具有數(shù)值計(jì)算意義的數(shù)字而只是一個代表對應(yīng)文字的“標(biāo)識符”ID一個是這里輸出的結(jié)果代表的是下文出現(xiàn)各個 token 的分別的概率值。參數(shù)訓(xùn)練一開始參數(shù)都是隨機(jī)的數(shù)據(jù)輸出的結(jié)果也是隨機(jī)的。我們把從互聯(lián)網(wǎng)上搜集到的學(xué)習(xí)材料都喂給模型進(jìn)行訓(xùn)練。模型以提升學(xué)習(xí)材料中“正確”的下文 token 的概率為計(jì)算目標(biāo)不斷地調(diào)整參數(shù)?！镜玫降某晒慨?dāng)我們把全部互聯(lián)網(wǎng)搜集到的知識都喂給這個擁有數(shù)十億級參數(shù)的超大模型完成參數(shù)的訓(xùn)練后。我們就得到了一個可以根據(jù)“上文”預(yù)測下文的預(yù)測模型。而在預(yù)測時1、每一次預(yù)測都根據(jù)上文輸入的全部內(nèi)容只輸出一個下文“token”2、根據(jù)上文輸入的全部內(nèi)容本質(zhì)輸出的結(jié)果是各個 token 出現(xiàn)的“概率”然后基于這個概率進(jìn)行一次抽樣輸出一個下文“token”。正因?yàn)榇嬖谶@個抽樣而不是直接就只取概率最大的 token因此即使一樣的上文每一次得到的下文都是不完全一樣的。我們得到的只是一個根據(jù)上文不斷預(yù)測下文 token的預(yù)測器 且是隨機(jī)的每次的預(yù)測結(jié)果都不一樣還并不是一個能回答問題的助理assistant。我們把這一步得到的模型叫做 base model。案例下圖這個例子很有意思。模型之所以能回答這個問題并不是因?yàn)樗斫饬诉@個問題以及會進(jìn)行計(jì)算而是大概率 22 這樣的問題在喂給模型的訓(xùn)練數(shù)據(jù)中出現(xiàn)過模型能夠回憶出來。而如果放任模型不斷地輸出下文它就開始走向了跟問題完全沒關(guān)系的哲學(xué)領(lǐng)域的內(nèi)容當(dāng)中…此時的模型還不知道應(yīng)該如何正確地回答問題?！具@個預(yù)測模型的本質(zhì)】base model 的本質(zhì)是互聯(lián)網(wǎng)內(nèi)容的模擬器。相當(dāng)于把整個互聯(lián)網(wǎng)的內(nèi)容都壓縮成一堆參數(shù)。而且這些內(nèi)容是模糊的/有損的、概率性的/統(tǒng)計(jì)性的。特性它是一個token級別的互聯(lián)網(wǎng)內(nèi)容模擬器具有隨機(jī)性/概率性——每次運(yùn)行都會得到不同的結(jié)果它能憑借記憶逐字復(fù)述一些訓(xùn)練文檔模型的參數(shù)有點(diǎn)像互聯(lián)網(wǎng)的一個有損壓縮文件大量有用的世界知識存儲在模型的參數(shù)中通過巧妙設(shè)計(jì)提示詞你可以激活其記憶輸出與提示詞相關(guān)的內(nèi)容但我們還能讓模型變得更好于是咱們來到了模型訓(xùn)練的第二步。第二步、后訓(xùn)練之“監(jiān)督微調(diào)”【背景】完成預(yù)訓(xùn)練后我們已經(jīng)得到了一個可以根據(jù)“上文”預(yù)測“下文”的預(yù)測模型了唯一的問題是它還不大會處理“問答”這種場景中的下文預(yù)測。要解決這個問題很容易想到那就是增加“問答類內(nèi)容”的樣本量再訓(xùn)練一下模型對這方面“上文”的處理能力。這就是”監(jiān)督微調(diào)“的核心原理。這個階段的模型訓(xùn)練方法與預(yù)訓(xùn)練階段是相同的唯一改變的是數(shù)據(jù)集的類型變成了一系列“對話問答”類的內(nèi)容。【核心流程】1、構(gòu)建對話問答類 token 序列我們構(gòu)建了|im_start|、|im_sep|、|im_end|等在預(yù)訓(xùn)練時沒有的全新人為定義的特殊token用于把對話內(nèi)容結(jié)構(gòu)化變成一種對話內(nèi)容特有的 token 序列。這些特殊 token 就像對話的‘分隔符’明確告訴模型‘|im_start|user’后面是用戶的問題‘|im_start|assistant’后面是正確回答幫助模型學(xué)會‘問答對應(yīng)’”。2、構(gòu)造海量的對話問答類內(nèi)容用于模型訓(xùn)練接下來我們構(gòu)建海量的涉及各個領(lǐng)域的對話問答內(nèi)容供給模型進(jìn)行訓(xùn)練。這一步需要耗費(fèi)非常非常大的人力投入。所謂沒有“人工”何來“智能”。而隨著現(xiàn)在大語言模型的不斷進(jìn)步也會通過大語言模型來生成這些數(shù)據(jù)用于新的模型訓(xùn)練?！镜玫降某晒客瓿捎?xùn)練后我們就得到了一個能夠回答問題的模型我們稱之為SFTsupervise fine tuning 監(jiān)督微調(diào) model。這個模型的本質(zhì)是結(jié)合了預(yù)訓(xùn)練知識 以及從后訓(xùn)練數(shù)據(jù)集中習(xí)得的模仿人類回答問題方式的一個預(yù)測模型。聽起來是不是很像我們在學(xué)習(xí)完課本的經(jīng)典題目的解法后依樣畫葫蘆地解決類似的問題案例完成這一步模型已經(jīng)能很標(biāo)準(zhǔn)地回答一些常見問題了。【關(guān)于幻覺產(chǎn)生的原因以及其緩解方法】幻覺產(chǎn)生的原因如上文描述模型的本質(zhì)是一個概率預(yù)測模型回答會基于統(tǒng)計(jì)學(xué)從概率中抽樣給出一個答案即使答案的概率本身在模型計(jì)算結(jié)果中非常低也有出現(xiàn)的可能。案例下圖這個例子中后訓(xùn)練數(shù)據(jù)集曾經(jīng)出現(xiàn)過”who is“這樣的問題案例。在模型完成訓(xùn)練后回答類似問題時即使向模型提問一個完全不存在的人orson kovacs模型也會模仿后訓(xùn)練中這類問題的回答方式基于預(yù)訓(xùn)練的知識模擬出一個答案即使這個答案在模型計(jì)算結(jié)果中概率是非常低的模型也會選擇進(jìn)行輸出因此就會出現(xiàn)胡編亂造的回答。緩解方法1、讓模型學(xué)會說不知道豐富后訓(xùn)練數(shù)據(jù)集添加會回答”不知道“的案例2、讓模型學(xué)會借助工具對于模型不懂的內(nèi)容讓模型使用包括聯(lián)網(wǎng)搜索、計(jì)算工具等能力讓搜索結(jié)果、計(jì)算結(jié)果成為模型的信息源也就是成為輸入進(jìn)模型的“上文”的一部分再輸出答案要緩解幻覺問題可以引入以下幾類訓(xùn)練數(shù)據(jù)第三步、后訓(xùn)練之“強(qiáng)化學(xué)習(xí)”【背景】在監(jiān)督微調(diào)的過程中后訓(xùn)練數(shù)據(jù)集的提供者教會了模型按他們的方式去回答問題模型是他們的模仿者。但對于一個問題是有多種解法的。而我們作為人類其實(shí)并不了解模型我們并不知道哪個解法是更能幫助模型獲得正確答案的。就像小時候做數(shù)學(xué)題每道題都有幾種解法而我們每個人的腦回路是不一樣的并不是書本給的經(jīng)典解法就最適合自己最終需要我們自己摸索出最適合自己的最舒適的解法可以幫助我們自己獲得最高的準(zhǔn)確率這個摸索過程中甚至能迸發(fā)出比經(jīng)典解法更優(yōu)的全新解法。而這就是我們這一步需要做的事情。我們只給到題目與答案然后讓模型自己摸索出最適合自己的解法?！竞诵牧鞒獭?、我們提供問題然后讓模型自己去生成一系列的解法2、這些解法中只有一部分是正確的3、我們再從這些解法中找到最優(yōu)秀的解法既準(zhǔn)確又精簡高效的4、把這個優(yōu)秀解法作為訓(xùn)練數(shù)據(jù)集去用于模型訓(xùn)練5、如此往復(fù)重復(fù)很多很多次…【得到的成果】通過強(qiáng)化學(xué)習(xí)我們得到了兩個喜人的效果1、模型產(chǎn)生了思維鏈chains of thought。這就是我們使用 DeepSeek 等最前沿的大模型的時候看到的思考過程。因此我們把他們稱之為推理模型reasoning model。思維鏈的一個很重要的特點(diǎn)在于讓模型有了思考的過程而不是一上來就回答問題。而這個思考的過程都會成為“上文”的一部分還記得大模型的預(yù)測原理是基于全部的上文推測出下一個 token因此上文的內(nèi)容越長越完整預(yù)測出來的“下文”質(zhì)量自然也會越高。2、模型能產(chǎn)生超越人類已有知識的全新解法。強(qiáng)化學(xué)習(xí)第一次出圈就是擊敗人類最強(qiáng)圍棋手的 alpha go。它正是通過強(qiáng)化學(xué)習(xí)人類只告訴了它圍棋的規(guī)則跟目標(biāo)然后它通過自己不斷的訓(xùn)練最終訓(xùn)練出了人類圍棋歷史上從來未有過的落子方法最終超越了人類。如果它只是限制在模仿學(xué)習(xí)人類圍棋手的歷史案例那它是不可能超越人類的。當(dāng)然大語言模型的訓(xùn)練要比 alpha go難得多。 因?yàn)閲逯皇且粋€閉合領(lǐng)域問題規(guī)則有限而大語言模型要面對的是一個開放領(lǐng)域問題要解決各種各樣的問題。因此需要找多足夠多的練習(xí)題給到模型進(jìn)行訓(xùn)練。總結(jié)最后再回顧一下模型訓(xùn)練的三個環(huán)節(jié)1、預(yù)訓(xùn)練獲取基本知識2、監(jiān)督微調(diào)查看大量實(shí)例模仿專家回答問題的方式3、強(qiáng)化學(xué)習(xí)提供習(xí)題讓模型自己不斷訓(xùn)練、試驗(yàn)、糾錯直到找到正確的解法在上述訓(xùn)練方法的基礎(chǔ)上模型不斷進(jìn)化并發(fā)展到現(xiàn)在支持多模態(tài)、多流程任務(wù)的模型。反思預(yù)測就等于邏輯嗎了解完大語言模型的訓(xùn)練原理后最讓我驚訝的是我們現(xiàn)在使用的可以解決這么多復(fù)雜問題甚至連高深數(shù)學(xué)題目都能解答的AI本質(zhì)上只是一個統(tǒng)計(jì)學(xué)的“預(yù)測模型”嗎我們?nèi)祟惇?dú)有的所謂“邏輯”能力就這么簡單被一個“預(yù)測”模型所戰(zhàn)勝了但轉(zhuǎn)念一想會不會是我把“邏輯”想的太高深了。會不會是我們所擁有的“邏輯”本質(zhì)上也是一種我們基于過去經(jīng)驗(yàn)而對當(dāng)前事情的一種“預(yù)測”當(dāng)我們面對一個問題時所想到的解題路徑也是我們基于自己過往經(jīng)歷類似事情時的成功或失敗的反饋而得到的屬于自己的一個解法。恰逢最近聽了孟巖《無盡的探索》那期播客里面提到了美國計(jì)算機(jī)科學(xué)家、神經(jīng)科學(xué)家杰夫·霍金斯的一本書《千腦智能》里面對大腦機(jī)制的闡述正是類似的或許我們?nèi)祟愖栽偑?dú)有的“邏輯”與“智慧”就真的只是一種“預(yù)測模型”而已……或許硅基生命已然誕生正在以一種獨(dú)特的方式重走著碳基智能的進(jìn)化之路……AI時代未來的就業(yè)機(jī)會在哪里答案就藏在大模型的浪潮里。從ChatGPT、DeepSeek等日常工具到自然語言處理、計(jì)算機(jī)視覺、多模態(tài)等核心領(lǐng)域技術(shù)普惠化、應(yīng)用垂直化與生態(tài)開源化正催生Prompt工程師、自然語言處理、計(jì)算機(jī)視覺工程師、大模型算法工程師、AI應(yīng)用產(chǎn)品經(jīng)理等AI崗位。掌握大模型技能就是把握高薪未來。那么普通人如何抓住大模型風(fēng)口AI技術(shù)的普及對個人能力提出了新的要求在AI時代持續(xù)學(xué)習(xí)和適應(yīng)新技術(shù)變得尤為重要。無論是企業(yè)還是個人都需要不斷更新知識體系提升與AI協(xié)作的能力以適應(yīng)不斷變化的工作環(huán)境。因此這里給大家整理了一份《2025最新大模型全套學(xué)習(xí)資源》包括2025最新大模型學(xué)習(xí)路線、大模型書籍、視頻教程、項(xiàng)目實(shí)戰(zhàn)、最新行業(yè)報告、面試題等帶你從零基礎(chǔ)入門到精通快速掌握大模型技術(shù)由于篇幅有限有需要的小伙伴可以掃碼獲取1. 成長路線圖學(xué)習(xí)規(guī)劃要學(xué)習(xí)一門新的技術(shù)作為新手一定要先學(xué)習(xí)成長路線圖方向不對努力白費(fèi)。這里我們?yōu)樾率趾拖胍M(jìn)一步提升的專業(yè)人士準(zhǔn)備了一份詳細(xì)的學(xué)習(xí)成長路線圖和規(guī)劃。2. 大模型經(jīng)典PDF書籍書籍和學(xué)習(xí)文檔資料是學(xué)習(xí)大模型過程中必不可少的我們精選了一系列深入探討大模型技術(shù)的書籍和學(xué)習(xí)文檔它們由領(lǐng)域內(nèi)的頂尖專家撰寫內(nèi)容全面、深入、詳盡為你學(xué)習(xí)大模型提供堅(jiān)實(shí)的理論基礎(chǔ)。書籍含電子版PDF3. 大模型視頻教程對于很多自學(xué)或者沒有基礎(chǔ)的同學(xué)來說書籍這些純文字類的學(xué)習(xí)教材會覺得比較晦澀難以理解因此我們提供了豐富的大模型視頻教程以動態(tài)、形象的方式展示技術(shù)概念幫助你更快、更輕松地掌握核心知識。4. 大模型項(xiàng)目實(shí)戰(zhàn)學(xué)以致用當(dāng)你的理論知識積累到一定程度就需要通過項(xiàng)目實(shí)戰(zhàn)在實(shí)際操作中檢驗(yàn)和鞏固你所學(xué)到的知識同時為你找工作和職業(yè)發(fā)展打下堅(jiān)實(shí)的基礎(chǔ)。5. 大模型行業(yè)報告行業(yè)分析主要包括對不同行業(yè)的現(xiàn)狀、趨勢、問題、機(jī)會等進(jìn)行系統(tǒng)地調(diào)研和評估以了解哪些行業(yè)更適合引入大模型的技術(shù)和應(yīng)用以及在哪些方面可以發(fā)揮大模型的優(yōu)勢。6. 大模型面試題面試不僅是技術(shù)的較量更需要充分的準(zhǔn)備。在你已經(jīng)掌握了大模型技術(shù)之后就需要開始準(zhǔn)備面試我們將提供精心整理的大模型面試題庫涵蓋當(dāng)前面試中可能遇到的各種技術(shù)問題讓你在面試中游刃有余。為什么大家都在學(xué)AI大模型隨著AI技術(shù)的發(fā)展企業(yè)對人才的需求從“單一技術(shù)”轉(zhuǎn)向 “AI行業(yè)”雙背景。企業(yè)對人才的需求從“單一技術(shù)”轉(zhuǎn)向 “AI行業(yè)”雙背景。金融AI、制造AI、醫(yī)療AI等跨界崗位薪資漲幅達(dá)30%-50%。同時很多人面臨優(yōu)化裁員近期科技巨頭英特爾裁員2萬人傳統(tǒng)崗位不斷縮減因此轉(zhuǎn)行AI勢在必行這些資料有用嗎這份資料由我們和魯為民博士(北京清華大學(xué)學(xué)士和美國加州理工學(xué)院博士)共同整理現(xiàn)任上海殷泊信息科技CEO其創(chuàng)立的MoPaaS云平臺獲Forrester全球’強(qiáng)勁表現(xiàn)者’認(rèn)證服務(wù)航天科工、國家電網(wǎng)等1000企業(yè)以第一作者在IEEE Transactions發(fā)表論文50篇獲NASA JPL火星探測系統(tǒng)強(qiáng)化學(xué)習(xí)專利等35項(xiàng)中美專利。本套AI大模型課程由清華大學(xué)-加州理工雙料博士、吳文俊人工智能獎得主魯為民教授領(lǐng)銜研發(fā)。資料內(nèi)容涵蓋了從入門到進(jìn)階的各類視頻教程和實(shí)戰(zhàn)項(xiàng)目無論你是小白還是有些技術(shù)基礎(chǔ)的技術(shù)人員這份資料都絕對能幫助你提升薪資待遇轉(zhuǎn)行大模型崗位。大模型全套學(xué)習(xí)資料已整理打包有需要的小伙伴可以微信掃描下方CSDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】