可信網(wǎng)站權(quán)威性怎么樣,蘭州網(wǎng)頁,wordpress 媒體庫函數(shù),網(wǎng)站及推廣本文將求根溯源#xff0c;從歷史時(shí)間線發(fā)展的角度一起來看看AI是如何誕生的#xff0c;以及在誕生后這幾十年的發(fā)展過程中經(jīng)歷了哪些變革和演進(jìn)#xff0c;在演進(jìn)的過程中我會(huì)介紹大量涉及到的細(xì)分技術(shù)模塊#xff0c;希望大家對(duì)AI整體的技術(shù)模塊及互相之間的關(guān)系都有系統(tǒng)…本文將求根溯源從歷史時(shí)間線發(fā)展的角度一起來看看AI是如何誕生的以及在誕生后這幾十年的發(fā)展過程中經(jīng)歷了哪些變革和演進(jìn)在演進(jìn)的過程中我會(huì)介紹大量涉及到的細(xì)分技術(shù)模塊希望大家對(duì)AI整體的技術(shù)模塊及互相之間的關(guān)系都有系統(tǒng)化的了解由于篇幅有限不會(huì)非常深入垂直的去講某一個(gè)技術(shù)大家對(duì)任一細(xì)分技術(shù)感興趣可以單獨(dú)交流。最后我會(huì)結(jié)合自己親自參與的一些AI案例來一起看如何更好的應(yīng)用AI來幫助我們的業(yè)務(wù)提升價(jià)值同時(shí)展望AI未來的前景及發(fā)展。在如今信息爆炸及互聯(lián)網(wǎng)飛速發(fā)展的時(shí)代AI成為了這幾年全世界最炙手可熱的科技話題而我們每天會(huì)面對(duì)無數(shù)的AI資訊無論是大模型、智能體還是各行各業(yè)的AI應(yīng)用而這都被動(dòng)的把大家推到了AI的風(fēng)口浪尖上在這個(gè)時(shí)代不去擁抱AI可能就會(huì)被AI淘汰。但隨著AI的發(fā)展涉及到了大量的細(xì)分技術(shù)模塊及專業(yè)術(shù)語大部分想去嘗試AI的同學(xué)可能都沒有好好思考過到底什么是AIAI到底怎么去結(jié)合自己的業(yè)務(wù)更好的應(yīng)用AI未來的發(fā)展前景如何一、前世AI出現(xiàn)前1、唯一的高等智慧動(dòng)物-人類人類在地球上最早以人猿的方式出現(xiàn)經(jīng)歷了幾百萬年的進(jìn)化和發(fā)展人類成為了地球食物鏈的頂端也成為了唯一的高等智慧動(dòng)物具備了復(fù)雜的多語言、推理和抽象思維、創(chuàng)造、發(fā)明以及最重要的多文明體系。而人類能發(fā)展成為這樣背后最重要的原因是人類大腦的獨(dú)特性人類大腦能支撐抽象思維、推理思維、語言創(chuàng)造、知識(shí)學(xué)習(xí)和傳承、發(fā)明和創(chuàng)造、文明建立和傳承等多維度能力而這些正是人類的“智能”能力。人類大腦的簡(jiǎn)要結(jié)構(gòu)圖-圖片來源于AI生成而通過上圖我會(huì)發(fā)現(xiàn)除了左腦、右腦這些分區(qū)結(jié)構(gòu)外還有樹突、軸突這些專業(yè)名詞而這些專業(yè)名詞正是大腦里**“神經(jīng)元”的一部分而人類大腦擁有將近860億個(gè)“神經(jīng)元”這些“神經(jīng)元”承擔(dān)了所有信息的處理和傳遞工作所有大腦的活動(dòng)都依賴其協(xié)同工作。這也很顯而易見的讓人類具備了感知、思維、情緒、運(yùn)動(dòng)控制、語言交流等多維度的智能**能力。人類大腦“神經(jīng)元”的工作原理-圖片來源于AI生成在人類幾百萬年的發(fā)展過程中人類依靠大腦具備了非常強(qiáng)大的智能能力這是地球上其他動(dòng)物無法比及的人類也在發(fā)展的過程形成了各個(gè)地區(qū)的語言和文明。人類用各自的語言交流、建設(shè)和發(fā)展各自的文明在數(shù)百萬年中都非常穩(wěn)定但后來人類發(fā)現(xiàn)雖然大腦很強(qiáng)大擁有幾百億的神經(jīng)元但記性和效率太差了比如正常人背1000個(gè)數(shù)字會(huì)顯得非常困難算100遍乘法會(huì)懵。那么人類就在想是不是可以解放大腦、讓機(jī)器代替人類去打工2、第一臺(tái)計(jì)算機(jī)誕生第一臺(tái)計(jì)算機(jī)誕生-圖片來源于AI生成這就催生了第一臺(tái)計(jì)算機(jī)的出現(xiàn)第一臺(tái)計(jì)算機(jī)在1946年被莫奇利和埃克特發(fā)明開創(chuàng)性的解決了“快速算、精準(zhǔn)存”的問題但有一個(gè)問題是這臺(tái)計(jì)算機(jī)只是聽話但不會(huì)思考比如你讓他計(jì)算1000遍乘法可以迅速給你算出來但他不會(huì)思考這些乘法之間的規(guī)則或關(guān)聯(lián)以便下次更好的計(jì)算。直到后來科學(xué)家發(fā)現(xiàn)人類大腦的厲害之處不在于有860億個(gè)神經(jīng)元而在于860億個(gè)神經(jīng)元像“億級(jí)路由器”一樣互相聯(lián)通形成了極其復(fù)雜的**“神經(jīng)網(wǎng)絡(luò)”而“神經(jīng)網(wǎng)絡(luò)”可以讓大腦具備自我學(xué)習(xí)、提煉規(guī)律的智能能力于是他們想能不能模仿神經(jīng)網(wǎng)絡(luò)造一個(gè)“機(jī)器神經(jīng)網(wǎng)絡(luò)”**這其實(shí)就有了AI的雛形我們?cè)谙乱徽鹿?jié)和大家一一道來。二、今生AI初生期1956-19891、AI概念定義在1956年達(dá)特茅斯會(huì)議上約翰·麥卡錫等科學(xué)家首次提出“人工智能Artificial Intelligence 縮寫為AI”的專業(yè)術(shù)語明確提出了“讓機(jī)器模擬人類智能”的研究目標(biāo)這是AI成為獨(dú)立學(xué)科的起點(diǎn)。那么我們可以來看看到底什么是“人工智能AI”這里其實(shí)已經(jīng)有明確定義了人工智能AI是讓機(jī)器模擬人類智能的技術(shù)總稱。那么問題來了到底是什么**“人類智能”我們基于上一章節(jié)的內(nèi)容可以簡(jiǎn)要概括為“人類智能”即**是讓機(jī)器具備“感知、思考、決策、執(zhí)行”的能力。過馬路示意-圖片來源于AI生成我們來通過一個(gè)“過馬路”的例子來解釋到底什么是“感知、思考、決策、執(zhí)行”●“感知”對(duì)人類而言有耳朵和眼睛等器官我們?cè)谶^馬路時(shí)可以看到紅綠燈在變化也可以聽到汽車經(jīng)過時(shí)的鳴笛聲而這些“看”和“聽”其實(shí)就是我們的“感知”能力我們可以通過感知能力獲取到這些信息?！?**“思考”**當(dāng)有了“感知”能力獲取到信息后我們會(huì)用我們的大腦進(jìn)行分析和推理這其實(shí)就是我們的“思考”能力比如我們?cè)谶^馬路時(shí)看到紅綠燈是紅燈后我們會(huì)停下來等待變成綠燈后再通過這其實(shí)就是一個(gè)“思考”的過程● **“決策”**我們還以過馬路例子來分析我們遇到紅綠燈時(shí)我們其實(shí)有多個(gè)選擇比如“闖紅燈”亦或者是“等待綠燈再通過”但我們最后選擇了后者也是為了我們的安全第一這其實(shí)就是“決策”● **“執(zhí)行”**仍然以過馬路這個(gè)例子來分析當(dāng)我們最終“決策”了等待綠燈后再通過的決定后等綠燈亮起時(shí)這時(shí)我們邁開腿走過人行道到達(dá)馬路對(duì)面這個(gè)過程其實(shí)就是“執(zhí)行”人類以上的“感知、思考、決策、執(zhí)行”構(gòu)成了“智能”能力但如果要讓機(jī)器具備這些“智能”能力會(huì)有什么難點(diǎn)最大的難點(diǎn)其實(shí)首先是機(jī)器不懂我們的語言所以就更別談分析、推理、思考之類的能力了這時(shí)候另一個(gè)學(xué)科就可以很好的結(jié)合進(jìn)來自然語言處理Natural Language Processing 縮寫為NLP。2、自然語言處理NLP其實(shí)“自然語言處理NLP”并不是AI出現(xiàn)后才出來第一臺(tái)計(jì)算機(jī)在1946年出現(xiàn)在之后的1950年圖靈就提出“如果一臺(tái)機(jī)器能通過文本對(duì)話讓人類無法分辨它是人還是機(jī)器那它就具有了智能”這其實(shí)便是“自然語言處理NLP”的目標(biāo)。只不過AI誕生后剛好有了這個(gè)契機(jī)“自然語言處理NLP”也成為了AI早期發(fā)展最重要的相輔相成的模塊。那么我們來解釋一下到底什么是**“自然語言處理NLP”**首先看什么是“自然語言”“自然語言”是“人類在日常生活中自然而然發(fā)展和使用的語言”比如早期的甲骨文、象形文字等以及發(fā)展到現(xiàn)在的各種語言包含地方方言等但我們通常涉及的編程語言就不算是“自然語言”。而**“自然語言處理NLP”就是讓計(jì)算機(jī)能夠理解、解釋、操縱和生成人類自然語言通俗點(diǎn)講就是教計(jì)算機(jī)“聽懂人話、說人話、看懂人寫的字、寫出人能看懂的內(nèi)容”。**我們可以來通過例子簡(jiǎn)單分析下1、人與人之間通常是這么語言溝通的圖片來源于《深度學(xué)習(xí)進(jìn)階-自然語言處理》2、而人和動(dòng)物之間動(dòng)物其實(shí)是聽不懂我們的話的這也是科學(xué)難題之一期待未來有所突破圖片來源于《深度學(xué)習(xí)進(jìn)階-自然語言處理》3、而試想一下有了自然語言處理NLP人類和機(jī)器之間就可以溝通了圖片來源于《深度學(xué)習(xí)進(jìn)階-自然語言處理》3、AI初生期案例分析在**自然語言處理NLP**的加持下AI初步在一些場(chǎng)景取得了應(yīng)用比如早期的機(jī)器翻譯早期機(jī)器翻譯原理示意-圖片來源于AI生成大家可以發(fā)現(xiàn)在早期機(jī)器翻譯中有詞典、語法規(guī)則庫、轉(zhuǎn)換規(guī)則等等約定好的規(guī)則庫而這些規(guī)則庫決定了翻譯功能的具體實(shí)現(xiàn)。下面我們以一個(gè)具體的例子來說明The apple is red.這個(gè)英文句子相信大家都能翻譯出來也比較簡(jiǎn)單我們看看機(jī)器翻譯的原理第一步查詞典計(jì)算機(jī)會(huì)把句子拆成單詞然后去一個(gè)巨大的電子詞典里查每個(gè)詞的意思。英文單詞詞典里給的主要中文意思The這/這個(gè)/那通常放在最前面apple蘋果is是red紅色的好現(xiàn)在計(jì)算機(jī)得到了一堆中文詞【這】【蘋果】【是】【紅色的】。第二步調(diào)整順序計(jì)算機(jī)會(huì)用上一條非常簡(jiǎn)單的語法規(guī)則英語的 **[主詞] [is] [形容詞]**結(jié)構(gòu)對(duì)應(yīng)中文的[主詞] [是] [形容詞] 的。它發(fā)現(xiàn) The apple是主詞is是系動(dòng)詞red是形容詞。完美匹配規(guī)則所以它把這些詞按照規(guī)則排列起來。 最終翻譯結(jié)果這蘋果是紅色的。問題暴露哪里不對(duì)勁這個(gè)翻譯對(duì)嗎其實(shí)按字面意思都對(duì)了本身語法也都對(duì)但有一個(gè)地方做的不夠好● **不地道的表達(dá)**雖然“蘋果是紅色的”語法正確但在日常口語中我們可能更常說“這個(gè)蘋果是紅的”或者直接說“蘋果很紅”而機(jī)器無法理解這種語言習(xí)慣和微妙差別。這個(gè)簡(jiǎn)單例子揭示的根本缺陷● **缺乏靈活性**機(jī)器只會(huì)死板地應(yīng)用規(guī)則無法像人一樣根據(jù)語境或上下文或情感翻譯出更合適的內(nèi)容● **沒有“語感”**它不知道什么樣的中文聽起來更地道和自然所以翻譯出來也會(huì)比較死板4、AI初生期小結(jié)通過這個(gè)機(jī)器翻譯的例子我們會(huì)發(fā)現(xiàn)在AI初生期1956-1989雖然有**自然語言處理NLP**的加持但AI基本都是死板的按人類制定的規(guī)則去執(zhí)行比較死板不夠靈活。如果把AI比作一個(gè)人類我認(rèn)為這一階段他最多算是一個(gè)只會(huì)死記硬背的小學(xué)生不懂變通一旦遇到超出自己死記硬背以外的其他內(nèi)容就一無所知我們暫且把這一階段的AI稱作**“規(guī)則式AI”**。而這也是AI進(jìn)一步后續(xù)發(fā)展很重要的原因我們將在下一章節(jié)詳細(xì)展開。三、今生AI成長(zhǎng)期1990-2016在AI初生期1956-1989AI基本都以既定規(guī)則去應(yīng)用這也導(dǎo)致了AI成長(zhǎng)期1990-2016的進(jìn)一步發(fā)展。1、機(jī)器學(xué)習(xí)出現(xiàn)這一階段一個(gè)很重要的概念出現(xiàn)機(jī)器學(xué)習(xí)Machine Learning 縮寫為ML。那么什么是機(jī)器學(xué)習(xí)讓機(jī)器從數(shù)據(jù)中自己學(xué)習(xí)規(guī)律而不是僅僅依靠人類為它編寫固定的指令。大家會(huì)發(fā)現(xiàn)相比之前的“規(guī)則式AI”機(jī)器學(xué)習(xí)的方式會(huì)讓機(jī)器不再死板不通過人類給定的既定規(guī)則而是通過機(jī)器自己學(xué)習(xí)大量的內(nèi)容在這些內(nèi)容中找到規(guī)律然后再去應(yīng)用。2、AI成長(zhǎng)期案例分析我們以一個(gè)大家日常工作中場(chǎng)景都在用的例子來去說明垃圾郵件過濾系統(tǒng)。垃圾郵件示意-圖片來源于AI生成如果在AI初生期1956-1989只能按照既定規(guī)則來比如● 如果郵件標(biāo)題里出現(xiàn) “免費(fèi)” 這個(gè)詞就標(biāo)記為垃圾郵件● 如果發(fā)件人地址包含 “spam” 就標(biāo)記為垃圾郵件● 等等…這種方法的缺點(diǎn)非常明顯● 變種很難防范比如除了“免費(fèi)”外可能會(huì)有“免-費(fèi)”或“Free”這時(shí)你的規(guī)則就失效了。你必須不停地發(fā)現(xiàn)新套路然后手動(dòng)添加新規(guī)則● 可能會(huì)誤殺比如你的好朋友發(fā)了一個(gè)標(biāo)題是“有個(gè)免費(fèi)的講座你想?yún)⒓訂帷钡泥]件。那么如果在AI成長(zhǎng)期1990-2016我們可以怎么做第一步準(zhǔn)備“學(xué)習(xí)資料”你給機(jī)器一大堆已經(jīng)分好類的郵件● 1000封已知的垃圾郵件 標(biāo)為“垃圾”● 1000封已知的正常郵件 標(biāo)為“正?！钡诙阶寵C(jī)器自己“找規(guī)律”機(jī)器會(huì)開始埋頭苦讀這些郵件并進(jìn)行統(tǒng)計(jì)分析。他會(huì)自動(dòng)發(fā)現(xiàn)● 在“垃圾郵件”里詞語“免費(fèi)”、“優(yōu)惠”、“發(fā)票”出現(xiàn)的概率非常高?！?在“正常郵件”里詞語 “會(huì)議”、“項(xiàng)目”、“放假”、“通知” 出現(xiàn)的概率非常高。最終機(jī)器形成了一套自己的判斷標(biāo)準(zhǔn) 。第三步實(shí)際運(yùn)作這時(shí)一封新郵件來了標(biāo)題是 “關(guān)于國慶放假的通知” 。這時(shí)機(jī)器會(huì)分析這封郵件的內(nèi)容。他發(fā)現(xiàn)“放假”、“通知”這些詞在他的記憶里和“正常郵件”的關(guān)聯(lián)度非常高。而“免費(fèi)”、“優(yōu)惠”這些垃圾郵件高頻詞一個(gè)都沒出現(xiàn)。于是機(jī)器認(rèn)為這是一封正常郵件。垃圾郵件技術(shù)原理-圖片來源于AI生成通過這個(gè)案例我們會(huì)發(fā)現(xiàn)有了機(jī)器學(xué)習(xí)的加持AI從“規(guī)則式”的死板應(yīng)用加上了“AI模型分析”機(jī)器會(huì)自己學(xué)習(xí)、自己總結(jié)規(guī)律了。3、AI模型出現(xiàn)那么機(jī)器通過自己學(xué)習(xí)自己總結(jié)出的規(guī)律這其實(shí)就是AI模型Model那么到底什么是AI模型一個(gè)通過大量數(shù)據(jù)訓(xùn)練出來的、能夠識(shí)別特定模式或規(guī)律的數(shù)學(xué)函數(shù)或程序。通俗點(diǎn)講就是從數(shù)據(jù)中提煉出的“規(guī)律”或“經(jīng)驗(yàn)”本身。AI模型的三大核心要素● 輸入接收新的數(shù)據(jù)如收到一封郵件● 處理運(yùn)用學(xué)到的規(guī)律進(jìn)行計(jì)算或判斷這個(gè)郵件● 輸出產(chǎn)生結(jié)果判斷這個(gè)郵件是不是垃圾郵件通過上面的案例我們點(diǎn)出了AI模型這個(gè)基礎(chǔ)的概念。4、機(jī)器學(xué)習(xí)方法監(jiān)督學(xué)習(xí)還有一個(gè)概念大家可以發(fā)現(xiàn)我們給了機(jī)器2000個(gè)分類好的郵件“正?！被颉袄弊寵C(jī)器根據(jù)我們標(biāo)注好的結(jié)果去學(xué)習(xí)和總結(jié)規(guī)律這其實(shí)便是機(jī)器學(xué)習(xí)的方法之一我們把這種方法稱為**“監(jiān)督學(xué)習(xí)”即給機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)都帶有明確的“標(biāo)簽”如標(biāo)注好“垃圾”還是“正常”。**那么還有沒有其他機(jī)器學(xué)習(xí)的方法當(dāng)然有這個(gè)會(huì)在下一章節(jié)中和大家逐步介紹。5、AI成長(zhǎng)期小結(jié)**如果還是把AI比作一個(gè)人類我認(rèn)為這一階段他可以算是一個(gè)靠刷題總結(jié)規(guī)律的中學(xué)生了**比如可能針對(duì)中學(xué)的生物這門課刷了大量的題包含答案能自己總結(jié)出規(guī)律和方法再遇到同樣類型題的時(shí)候這位中學(xué)生能得心應(yīng)手的回答上來。而通過統(tǒng)計(jì)大量題或內(nèi)容然后總結(jié)規(guī)律我們可以暫且把這階段的AI稱為**“統(tǒng)計(jì)式AI”**。但是有一個(gè)很重要的問題這位中學(xué)生刷的是某一學(xué)科的題雖然很厲害但他可能偏科比如沒有去刷物理的題在遇到物理學(xué)科一個(gè)他從沒做過的題他可能還是做不出來?；氐奖菊鹿?jié)我們講的AI成長(zhǎng)期1990-2016這一階段雖然AI通過機(jī)器學(xué)習(xí)變得強(qiáng)大了當(dāng)我們給到一定的學(xué)習(xí)數(shù)據(jù)的時(shí)候能自己學(xué)習(xí)自己總結(jié)規(guī)律了。但有一個(gè)問題一旦超出了我們?cè)瓉斫o的那些學(xué)習(xí)數(shù)據(jù)AI就不會(huì)了。這也是這階段AI發(fā)展面臨最大的問題而這個(gè)問題將在接下來的AI發(fā)展階段中得到解決也就是我們接下來要講的下一章節(jié)而這一章節(jié)也是我這篇文章要和大家分享的重中之重。四、今生AI爆發(fā)期2017年至今我們?cè)贏I成長(zhǎng)期1990-2016這一階段發(fā)現(xiàn)AI雖然出現(xiàn)了機(jī)器學(xué)習(xí)的概念并且通過機(jī)器學(xué)習(xí)的方式訓(xùn)練出了AI模型但這個(gè)AI模型太“偏科”了一旦涉及到它訓(xùn)練數(shù)據(jù)以外領(lǐng)域的知識(shí)他就可能不知道了。那么又如何解決這個(gè)問題1、AI模型架構(gòu)演進(jìn)我們還是以上一章節(jié)中的“垃圾郵件過濾系統(tǒng)”來整體回顧和延展分析一下如果在AI初生期1956-1989按照既定規(guī)則來比如如果郵件標(biāo)題里出現(xiàn) “免費(fèi)” 這個(gè)詞就標(biāo)記為垃圾郵件。這種方法非常死板也沒有用到模型的概念。如果在AI成長(zhǎng)期1990-2016我們通過機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)訓(xùn)練出了AI模型通常用**“樸素貝葉斯模型架構(gòu)”**讓模型自己判斷收到的郵件是不是垃圾郵件看起來更高效了。但實(shí)際上有個(gè)缺點(diǎn)他是個(gè)“拆詞專家”他會(huì)把郵件拆成一堆零散的詞不會(huì)關(guān)心詞的順序和句子意思 比如“錢轉(zhuǎn)給你”和“你把錢轉(zhuǎn)走”對(duì)他來說都是一堆含有“錢”、“轉(zhuǎn)”的詞意思差不多。他無法理解前者是正常收款后者可能是詐騙預(yù)警。這時(shí)候RNN架構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)出來了他不再拆散郵件而是嘗試逐詞閱讀整個(gè)句子并努力記住前面讀過的內(nèi)容。他終于有了初步的“上下文”概念能理解一些簡(jiǎn)單的句子結(jié)構(gòu)了。但他有個(gè)關(guān)鍵的問題他有“健忘癥”如果郵件很長(zhǎng)他讀到結(jié)尾時(shí)早就忘了開頭說了什么。比如郵件開頭說“關(guān)于上次開會(huì)的項(xiàng)目報(bào)告…”結(jié)尾說“…請(qǐng)支付費(fèi)用”他可能就忘了開頭是正經(jīng)事只記得結(jié)尾要錢從而誤判。因?yàn)橛小敖⊥钡膯栴}所以CNN架構(gòu)卷積神經(jīng)網(wǎng)絡(luò)出來了他每次只關(guān)注相鄰的幾個(gè)詞。比如看到“難以置信的”和“優(yōu)惠”時(shí)他能敏銳地感覺到這是個(gè)廣告短語。看到“驗(yàn)證您的”和“賬戶”時(shí)他知道這可能是個(gè)安全提示。通過這種方式可以讓他的效率變得更高可以同時(shí)處理多個(gè)相鄰詞擅長(zhǎng)捕捉局部短語特征。通過這種方式其實(shí)可以變相解決“健忘”的問題但有一個(gè)關(guān)鍵問題他無法同時(shí)看到郵件全文比如一封郵件可能開頭很長(zhǎng)一段都是正常的商務(wù)溝通只在最后一句巧妙植入詐騙鏈接他可能因?yàn)榍懊娑际钦＞植啃畔⒍胚^它。而這也導(dǎo)致了他難以理解郵件整體的邏輯和核心意圖。我們簡(jiǎn)單總結(jié)一下以上的AI模型通過架構(gòu)的優(yōu)化和演進(jìn)能力在逐步提升但他們也有明顯的缺陷● “不懂語法”只看零散關(guān)鍵詞。● “認(rèn)真但健忘”處理長(zhǎng)文效率低。● “眼光狹隘”缺乏全局觀。2、Transformer架構(gòu)出現(xiàn)而因?yàn)橛辛诉@些缺陷2017年Google的研究團(tuán)隊(duì)發(fā)表了一篇名為《Attention Is All You Need》的論文正式提出了Transformer架構(gòu)。Transformer架構(gòu)因此誕生我們來看看Transformer架構(gòu)到底是怎么工作的我們還是以郵件垃圾過濾為例假設(shè)有一封可疑郵件內(nèi)容是“尊敬的客戶恭喜您獲得10W獎(jiǎng)金請(qǐng)點(diǎn)擊唯一鏈接 http://xxx.com領(lǐng)取”第一步同時(shí)查看所有關(guān)鍵信息并行處理以前的RNN架構(gòu)要一個(gè)字一個(gè)字讀而Transformer架構(gòu)可以一瞬間看到所有詞第二步劃重點(diǎn)并分析自注意力機(jī)制他會(huì)給詞與詞之間畫上“關(guān)聯(lián)線”比如 “獎(jiǎng)金”和哪個(gè)詞關(guān)聯(lián)最強(qiáng)他發(fā)現(xiàn)“獎(jiǎng)金”和 “鏈接” 、“領(lǐng)取” 關(guān)聯(lián)非常緊密。這種“中獎(jiǎng)-鏈接-領(lǐng)取”的模式經(jīng)典得就像它的辦案手冊(cè)里寫的“詐騙三件套”。第三步全局推理看穿意圖他看清了整封郵件的邏輯 “這是一封群發(fā)郵件尊敬的客戶用虛假的好消息巨額獎(jiǎng)金作為誘餌其最終意圖是誘導(dǎo)收件人點(diǎn)擊一個(gè)可疑鏈接http://xxx.com?！彼斫獾氖青]件的整體意圖而不是機(jī)械的匹配關(guān)鍵詞。第四步做出最終決定他非常有把握地得出結(jié)論 “這是一封釣魚詐騙郵件” 然后將它扔進(jìn)垃圾箱。通過這個(gè)例子我們看到用了Transformer架構(gòu)的垃圾郵件過濾器通過**“自注意力機(jī)制”**可以做出精準(zhǔn)的判斷那么什么是“自注意力機(jī)制”通俗點(diǎn)理解即是模型在處理一句話時(shí)能瞬間看到所有的詞并智能地判斷出哪些詞之間關(guān)系更重要。正是Transformer架構(gòu)的革命性突破成為了引爆AI爆發(fā)期最關(guān)鍵的技術(shù)基石。3、AI大模型出現(xiàn)有了Transformer架構(gòu)那么AI模型就可以得到革命性的改進(jìn)和優(yōu)化基于這個(gè)契機(jī)OpenAI在2018年推出了生成式模型GPT-1GPT-1擁有1.17億參數(shù)那這里的“參數(shù)”是指什么大家還是否記得本文的第一章節(jié)介紹了人類大腦的強(qiáng)大之處在于有數(shù)百億個(gè)“神經(jīng)元”構(gòu)成了“神經(jīng)網(wǎng)絡(luò)”而AI模型這里的“參數(shù)”就類似大腦神經(jīng)網(wǎng)絡(luò)里的“神經(jīng)元”。在諸如之后快速發(fā)展OpenAI相繼在2019年推出了GPT-2參數(shù)擴(kuò)大到15億、在2020年推出了GPT-3參數(shù)規(guī)模達(dá)到1750億 。隨著參數(shù)規(guī)模不斷擴(kuò)大的AI模型出現(xiàn)這也正是為了解決AI成長(zhǎng)期1990-2016AI模型“偏科”的問題讓AI模型具備更通用更強(qiáng)大的知識(shí)儲(chǔ)備可以覆蓋多個(gè)領(lǐng)域。**基于此大模型 Large Model 縮寫為****LM**由此而生那么什么叫大模型基礎(chǔ)定義為大規(guī)模人工智能模型。那么這里的**“大規(guī)?！本唧w是什么即泛指參數(shù)規(guī)模巨大的模型。通常我們把參數(shù)規(guī)模在10億以上的可以算是入門級(jí)的大模型**但發(fā)展到今天2025我們通常把**參數(shù)規(guī)模在100億以上算作大模型**類如混元大模型旗下的TurboS大模型參數(shù)量為5600億。4、大模型、中模型、小模型那么既然有了大模型是否有小模型中模型答案是當(dāng)然有我在下表會(huì)簡(jiǎn)要比較一下大模型、中模型和小模型的差異大家其實(shí)發(fā)現(xiàn)中小模型在特定場(chǎng)景也有非常高效但對(duì)于大部分正在讀這篇文章的大家而言無論是工作還是生活場(chǎng)景大模型的應(yīng)用是最多的所以我們還是回到大模型本身繼續(xù)探討。5、大語言模型在AI初生期1956-1989大家發(fā)現(xiàn)AI和“自然語言處理NLP”相輔相成發(fā)展那是因?yàn)槿祟愒贏I的探索上最初都是以自然語言處理為切入我們和機(jī)器溝通、讓機(jī)器理解我們的語言都算是在語言層面最直接的應(yīng)用那在大模型出來后最初的形式就是大語言模型 Large Language Model 縮寫為L(zhǎng)LM ● Large大指參數(shù)數(shù)量巨大另外還指訓(xùn)練的數(shù)據(jù)量巨大● Language語言自然語言?！?Model模型 能識(shí)別特定模式或規(guī)律的計(jì)算模型而我們之前提到的在2020年推出的GPT-3可謂是實(shí)實(shí)在在的大語言模型擁有1750億參數(shù)再到后來繼續(xù)演進(jìn)OpenAI在2023年正式推出了GPT-4參數(shù)量相比GPT-3更大而且更強(qiáng)大的是GPT-3只能處理文本而GPT-4既可以處理文本也可以處理圖像。類似的大語言模型還有我們鵝廠的Turbos、Deepseek等等。6、除了大語言模型還有哪些模型上面提到了大語言模型的具體定義和介紹大語言模型作為AI大模型最早期也是最核心和基礎(chǔ)的形式在后面的內(nèi)容我們還會(huì)提到文生圖、圖生視頻等大模型從類別上來看現(xiàn)在已經(jīng)遠(yuǎn)遠(yuǎn)不止是大語言模型的應(yīng)用了整體大模型宇宙我會(huì)在下圖和大家分享大模型宇宙7、機(jī)器學(xué)習(xí)方法無監(jiān)督學(xué)習(xí)大家是否還記得在AI成長(zhǎng)期1990-2016“機(jī)器學(xué)習(xí)”的概念開始出現(xiàn)通過機(jī)器學(xué)習(xí)當(dāng)時(shí)用了監(jiān)督學(xué)習(xí)的方法可以讓機(jī)器自己學(xué)習(xí)和總結(jié)規(guī)律來得到我們的AI模型。那么GPT之類的AI大模型是怎么訓(xùn)練這階段通常稱為“預(yù)訓(xùn)練”出來的呢其實(shí)同樣也是用了機(jī)器學(xué)習(xí)但可能會(huì)更“深度”這里的“深度”主要指在機(jī)器學(xué)習(xí)的過程中分很多步驟每一步驟學(xué)到一些不同的規(guī)律從簡(jiǎn)單到復(fù)雜逐步深入。因?yàn)榇竽Ｐ偷膮?shù)量非常大給到模型訓(xùn)練的數(shù)據(jù)量也巨大我們不能再通過只給模型2000個(gè)數(shù)據(jù)標(biāo)注的方式讓他自己學(xué)習(xí)和總結(jié)規(guī)律。GPT之類的通用大模型基本要吃掉互聯(lián)網(wǎng)當(dāng)下存在的所有知識(shí)人工不可能給某一條知識(shí)都去做標(biāo)記告訴模型哪些是對(duì)的哪些是錯(cuò)的只能塞給機(jī)器無數(shù)的知識(shí)但要讓機(jī)器自己去總結(jié)規(guī)律得出相應(yīng)的“正確”或“錯(cuò)誤”在監(jiān)督學(xué)習(xí)下原來應(yīng)該是人工標(biāo)注的工作。那么這種機(jī)器學(xué)習(xí)的方法我們稱之為“無監(jiān)督學(xué)習(xí)”。8、深度神經(jīng)網(wǎng)絡(luò)、深度機(jī)器學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)而因?yàn)橛捎诖竽Ｐ途薮蟮膮?shù)量和訓(xùn)練量需要更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。之前提到的RNN、CNN、Transformer等都屬于“**深度神經(jīng)網(wǎng)絡(luò)”**的范疇。有了“深度神經(jīng)網(wǎng)絡(luò)”的支撐我們通常把對(duì)大模型預(yù)訓(xùn)練時(shí)的機(jī)器學(xué)習(xí)范式稱為“深度機(jī)器學(xué)習(xí)”也可以簡(jiǎn)稱為“深度學(xué)習(xí)”那么再回到AI成長(zhǎng)期1990-2016當(dāng)時(shí)其實(shí)也用了機(jī)器學(xué)習(xí)我們把這階段的機(jī)器學(xué)習(xí)范式稱之為“傳統(tǒng)機(jī)器學(xué)習(xí)”。9、以ChatGPT、SD等案例分析OK聊到這里其實(shí)大模型已經(jīng)比較完善了不僅僅是GPT系列還有諸如Google的Gemini 、百度的文心一言、阿里的通義千問以及騰訊的混元等等但光有這些大模型好像和我們普通互聯(lián)網(wǎng)從業(yè)者沒有啥關(guān)系直到2023年ChatGPT正式問世ChatGPT聊天界面-圖片來源于AI生成大家可以通過ChatGPT去和AI聊天感受AI的淵博和強(qiáng)大同時(shí)又不乏趣味大家也第一次真正意義在應(yīng)用層感受到了大模型帶來的幫助和作用大家可以用ChatGPT去問任何自己感興趣的未知領(lǐng)域的話題也可以讓他幫我們工作做一定提效。而這也奠定了近幾年AI爆發(fā)的切入點(diǎn)近幾年大部分基于大模型的AI應(yīng)用基本都以對(duì)話形式出現(xiàn)如ChatGPT、豆包、元寶等等很重要的原因在于對(duì)話體驗(yàn)是最直接也是最簡(jiǎn)單的方式。而大家對(duì)話體驗(yàn)聊多了之后是不是覺得AI大模型能力可能就這樣了歸根到底也始終只是在對(duì)話幾乎在ChatGPT出來的同一時(shí)期Stable Diffusion縮寫為SD面世而SD是一個(gè)文生圖大模型已經(jīng)不再是傳統(tǒng)的對(duì)話生成文本的體驗(yàn)SD已經(jīng)可以根據(jù)輸入的文本生成圖。同時(shí)期還有Midjourney不過前者是開源后者是閉源Stable Diffusion界面-圖片來源于AI生成而類似SD、Midjourney這些文生圖大模型我們需要輸入一段文本來讓AI生成圖這個(gè)文本其實(shí)就是提示詞Prompt我們以一個(gè)例子來看看Prompt一只貓?jiān)诔燥灨?圖片來源于AI生成Prompt寫實(shí)風(fēng)格在一個(gè)陽光明媚的早晨一只金漸層貓?jiān)诓莸厣嫌米ψ幽弥粔K餅干往嘴里吃-圖片來源于AI生成10、提示詞工程提示詞工程是一門與AI有效溝通的鏈接方式通過以上例子我們可以稍微總結(jié)下整體原則你給AI的提示詞越清晰、越具體你得到的結(jié)果就越好。掌握這項(xiàng)技能你將能真正釋放大模型的巨大潛力。通過文生圖體驗(yàn)大家可以發(fā)現(xiàn)我們基于AI大模型不再是只能生成文本也能生成圖片了但是有一個(gè)很關(guān)鍵的問題只能輸入文本我怎么得到一定是我想要的圖片呢比如我希望上面例子里的貓和我家的貓長(zhǎng)一樣但光通過提示詞文本描述很難做到生成的貓和我家的貓一樣…那么有沒有解決辦法當(dāng)然有我們來直接看例子這是我家的貓一只美短名叫“小白”我把“小白”這張照片發(fā)給了AI大模型同時(shí)寫了一段提示詞生成出相關(guān)圖片Prompt寫實(shí)風(fēng)格在一個(gè)陽光明媚的早晨“小白”在草地上用爪子拿著一塊餅干往嘴里吃-圖片來源于AI生成可以看出生成的圖片更符合預(yù)期但大家有沒有發(fā)現(xiàn)一點(diǎn)我們向AI既輸入了文本又輸入了圖片小白的照片而AI給我們輸出了一個(gè)最終的圖片這和之前的ChatGPT體驗(yàn)可完全不一樣啊筆者注其實(shí)最新的ChatGPT已經(jīng)支持既輸入文本又輸入圖片基于GPT-4o大模型11、多模態(tài)、單模態(tài)而這種既能輸入文本又能輸入圖片的方式其實(shí)就是AI大模型的多模態(tài)Multimodal那么到底什么是多模態(tài)我們先來回憶一下AI模型的三要素● 輸入接收數(shù)據(jù)● 處理運(yùn)用學(xué)到的規(guī)律進(jìn)行思考、推理● 輸出產(chǎn)生結(jié)果我們關(guān)注到AI模型有很重要的輸入、輸出兩個(gè)環(huán)節(jié)我們可以把多模態(tài)這么定義**輸入或輸出端能同時(shí)處理、理解和關(guān)聯(lián)多種不同類型信息。**像我們剛剛的例子其實(shí)就是大模型在輸入端同時(shí)接受到了文本和圖像的信息然后去理解、推理在輸出端生成了一張新的圖片或一個(gè)新的視頻。那其實(shí)講了多模態(tài)對(duì)應(yīng)的還有**單模態(tài)Unimodal**對(duì)應(yīng)多模態(tài)的定義其實(shí)我們就比較好理解單模態(tài)了即**在輸入和輸出端分別專注于一種類型的信息處理。**像我們之前提到的GPT-3 GPT-4以及騰訊的混元Turbos等都是單模態(tài)大模型因?yàn)樗麄儾徽撛谳斎攵诉€是輸出端都只能處理文本。我們下面用一張圖來簡(jiǎn)單解釋“單模態(tài)”和“多模態(tài)”“單模態(tài)”和“多模態(tài)”對(duì)比12、開源、閉源大模型除了“單模態(tài)”和“多模態(tài)”的區(qū)分外還有個(gè)很重要的維度區(qū)分即是“開源”還是“閉源”如之前同時(shí)期的文生圖大模型既有SD又有Midjourney前者是開源后者是閉源那么我們來看看開源和閉源到底有什么區(qū)別其實(shí)“開源”或“閉源”并非誰對(duì)誰錯(cuò)也并非誰更好誰更差都是共同推動(dòng)了整個(gè)AI領(lǐng)域的飛速發(fā)展。開源是創(chuàng)新的源泉閉源是商業(yè)化應(yīng)用的標(biāo)桿。如果大家個(gè)人要去嘗試到底用什么模型來練手最重要的是根據(jù)自身的需求、技術(shù)能力和資源做出最合適的選擇。13、智能體的出現(xiàn)看完大模型整體的介紹其實(shí)我們發(fā)現(xiàn)不管是用單模態(tài)的ChatGPT基于GPT-4對(duì)話還是用多模態(tài)的ChatGPT基于GPT-4o去“文圖”生成圖都已經(jīng)算是在應(yīng)用層使用上AI大模型了。那么我們是否可以用ChatGPT去策劃一次旅行并做好預(yù)算呢你“幫我策劃一次三亞旅行”ChatGPT“好的為您規(guī)劃一個(gè)三亞5日游的行程框架供參考…”它可能會(huì)輸出一個(gè)非?；\統(tǒng)的模板式行程● Day 1: 抵達(dá)三亞入住酒店附近海灘漫步?！?Day 2…**你發(fā)現(xiàn)的問題**這太泛泛而談了完全沒有考慮你的預(yù)算、偏好比如是否喜歡潛水、是窮游還是舒適游而且信息是靜態(tài)的沒有實(shí)時(shí)價(jià)格。你“這個(gè)行程太簡(jiǎn)單了。我需要一個(gè)更詳細(xì)的計(jì)劃包括具體的航班時(shí)間、酒店名稱和價(jià)格參考。我的預(yù)算人均是8000元。”ChatGPT“好的基于人均8000元的預(yù)算這是一個(gè)更詳細(xì)的計(jì)劃示例…”● “航班可選擇北京-三亞的XX航空參考價(jià)格1500元往返。”● “酒店可入住XX酒店海景房參考價(jià)格600元/晚。”● “…”**你發(fā)現(xiàn)的問題**價(jià)格是過時(shí)的它無法聯(lián)網(wǎng)獲取真實(shí)實(shí)時(shí)價(jià)格這些價(jià)格毫無意義。**需要你驗(yàn)證**你得自己打開攜程或航司官網(wǎng)去逐個(gè)查詢這些航班和酒店的真實(shí)價(jià)格。決策點(diǎn)又拋回給你“XX酒店”真的好嗎它看不到真實(shí)用戶的評(píng)價(jià)。你“現(xiàn)在幫我查一下下個(gè)月從上海出發(fā)到三亞最便宜的非紅眼航班是哪天列出時(shí)間和價(jià)格?！蹦恪暗鹊劝杨A(yù)算表單獨(dú)做出來分機(jī)票、酒店、餐飲、門票、市內(nèi)交通幾項(xiàng)?！蹦恪銜?huì)發(fā)現(xiàn)所有的規(guī)劃先查什么、后查什么、如何取舍都需要你來思考你不斷在發(fā)出“下一步做什么”的指令。那么是否存在一種AI你只需要告訴它一個(gè)目標(biāo)它就能自己規(guī)劃、執(zhí)行直到把結(jié)果呈現(xiàn)在你面前當(dāng)然有這時(shí)候就不得不提到“**智能體Agent”**這個(gè)概念了其實(shí)“智能體”的概念出現(xiàn)不是這幾年才有在AI成長(zhǎng)期1990-2016前已經(jīng)有了基礎(chǔ)的定義來源于學(xué)者伍爾德里奇和詹寧斯智能體是一個(gè)位于特定環(huán)境中的計(jì)算機(jī)系統(tǒng)它能夠自主的行動(dòng)以實(shí)現(xiàn)其設(shè)計(jì)目標(biāo)。“智能體”演進(jìn)還有一個(gè)更好理解的定義是能夠感知環(huán)境、進(jìn)行決策并自主采取行動(dòng)以實(shí)現(xiàn)某種目標(biāo)的系統(tǒng)或程序。我們發(fā)現(xiàn)**“智能體”的幾個(gè)關(guān)鍵因素**是**“感知”、“決策”、“目標(biāo)”、“自主行動(dòng)”**而大家可以思考一下之前我們用ChatGPT輸入一個(gè)提示詞來生成了一張圖那么這階段的ChatGPT是智能體嗎我們可以來簡(jiǎn)單分析一下顯而易見如果僅僅是通過“文生圖”的ChatGPT并不算是一個(gè)“智能體”我們最多算它是“智能體雛形”或者可以稱作是一個(gè)“應(yīng)用”或“工具”?！爸悄荏w”的“自主行動(dòng)”通常不太好理解我們?cè)偻ㄟ^一個(gè)生活化的例子來幫助大家更好的理解場(chǎng)景一指揮一個(gè)“聽話的助手”這是非自主的你對(duì)他說“小C打開冰箱?！薄澳贸鑫骷t柿和雞蛋?！薄按蜷_燃?xì)庠睢！薄鞍彦仧裏岬褂?。”“先把雞蛋炒熟盛出來?！薄霸俪匆幌挛骷t柿?！薄白詈蟀央u蛋倒回去放鹽翻炒幾下出鍋。”你會(huì)發(fā)現(xiàn)每一步具體的動(dòng)作都需要你精確地下達(dá)指令。這個(gè)助手很能干但他沒有自己的主意完全依賴你的指揮。這就是“自動(dòng)化”缺乏自主行動(dòng)。場(chǎng)景二交給一個(gè)“靠譜的私人助理”這是有“自主行動(dòng)”的智能體你對(duì)他說“小王我有點(diǎn)餓了幫我做頓飯吃吧。然后你就可以去忙別的事了。這個(gè)“小王”智能體會(huì)展現(xiàn)出真正的“自主行動(dòng)”● 他內(nèi)心會(huì)盤算“老板餓了。我得先看看冰箱里有什么然后決定做什么再動(dòng)手?！薄?他自己決定打開冰箱看看有什么食材。感知● 他發(fā)現(xiàn)有意面、西紅柿和牛肉自己決定做番茄肉醬意面。決策● 他自己決定先后順序先燒水、同時(shí)切西紅柿、再炒肉醬……規(guī)劃● 發(fā)現(xiàn)鹽用完了他不會(huì)卡住而是自己決定用醬油代替。動(dòng)態(tài)調(diào)整● 發(fā)現(xiàn)意面煮多了他會(huì)自己決定先盛出一部分作為明天的午餐。靈活處理● 最終交付過了一會(huì)他端上一盤香噴噴的意面并告訴你“老板飯做好了。鹽用完了我用了點(diǎn)醬油調(diào)味你看合口味嗎”我們可以簡(jiǎn)要總結(jié)下“自主行動(dòng)”即是“扔給它一個(gè)目標(biāo)它自己能變出一套計(jì)劃、搞定過程、應(yīng)對(duì)變化最終給你結(jié)果”的能力。那我們可以試想一下如果ChatGPT同樣你給了他一段提示詞“生成一張貓吃餅干的圖片”這時(shí)他經(jīng)過思考“貓是什么貓比較好餅干是什么餅干應(yīng)該在什么場(chǎng)景更好”然后通過各種工具或方法生成了多張貓吃餅干的圖片然后讓我們選擇并且選擇后可以讓他繼續(xù)優(yōu)化。如果是這樣的方式是“智能體”嗎**答案是當(dāng)然是**完美滿足了“智能體”的“目標(biāo)”、“感知”、“決策”、“自主行動(dòng)”幾個(gè)關(guān)鍵維度的定義。請(qǐng)參閱最新豆包的文生圖的體驗(yàn)所以我們可以暫且把豆包當(dāng)作是一個(gè)智能體聊了這么多智能體的基礎(chǔ)定義還是為了大家能清晰的了解到什么是智能體。而我們?cè)倏幢疚闹疤崃舜罅筷P(guān)于大模型的基礎(chǔ)知識(shí)那么“大模型”和“智能體”到底有什么關(guān)系呢通俗點(diǎn)講大模型就像一個(gè)無所不知、超級(jí)博學(xué)的大腦而智能體則是擁有這個(gè)大腦后還擁有了手和腳能通過感官獲取到信息進(jìn)行思考決策后主動(dòng)去完成一個(gè)復(fù)雜任務(wù)的**“全能機(jī)器人”**。簡(jiǎn)要總結(jié)●大模型是智能體的 “能力基礎(chǔ)”沒有大模型智能體就不會(huì)理解和思考只能機(jī)械執(zhí)行固定指令。●智能體是大模型的 “落地延伸”光有大模型只能 “紙上談兵”智能體通過搭配工具、設(shè)定目標(biāo)、讓大模型的能力從 “說” 變成 “做”?！駜烧呤?“分工協(xié)作”大模型負(fù)責(zé) “想清楚”智能體負(fù)責(zé) “做到位”。14、如何開發(fā)一個(gè)智能體應(yīng)用那么如果我們自己想做一個(gè)智能體應(yīng)用該怎么做呢以及在過程中是否會(huì)遇到一些問題下面我以今年參與的三個(gè)AI項(xiàng)目來簡(jiǎn)要分享分別是瓦手AI放號(hào)官、瓦手AI搶ID、英雄聯(lián)盟AI賽事助手。而今天我會(huì)主要分享在之前文章沒有提及的一些內(nèi)容以我負(fù)責(zé)的三個(gè)項(xiàng)目為例如果要開發(fā)一個(gè)智能體應(yīng)用大概可以是以下流程1.**需求確認(rèn)及策劃 **明確項(xiàng)目到底要做什么想通過AI解決什么問題或者提升什么體驗(yàn)2.**技術(shù)選型及架構(gòu)設(shè)計(jì) **用什么大模型是智能體的大腦智能體平臺(tái)/框架選擇用什么工具鏈3.**核心開發(fā) **核心開發(fā)過程4.**智能體調(diào)優(yōu)及測(cè)試 **智能體調(diào)優(yōu)的方式5.**項(xiàng)目上線運(yùn)營與迭代**持續(xù)運(yùn)營及優(yōu)化迭代我們將我負(fù)責(zé)的三個(gè)案例按以上流程簡(jiǎn)要分析大家會(huì)發(fā)現(xiàn)整體開發(fā)一個(gè)智能體項(xiàng)目最關(guān)鍵的就在于需求確認(rèn)及策劃、技術(shù)選型及智能體調(diào)優(yōu)三個(gè)環(huán)節(jié)而智能體調(diào)優(yōu)又是我們?nèi)齻€(gè)環(huán)節(jié)中最重要的環(huán)節(jié)。為什么說“智能體調(diào)優(yōu)”這個(gè)環(huán)節(jié)最重要是因?yàn)槲覀冏鲆粋€(gè)AI智能體應(yīng)用AI效果有沒有達(dá)到我們的預(yù)期智能體調(diào)優(yōu)有沒有做到最好是最關(guān)鍵的而在上面三個(gè)項(xiàng)目的智能體調(diào)優(yōu)方法基本一致這也說明對(duì)于大部分智能體應(yīng)用調(diào)優(yōu)的方法是具備一定通用性的這里面的提示詞工程在前面已經(jīng)提到過我們不再贅述。我們會(huì)重點(diǎn)關(guān)注在新出現(xiàn)的兩個(gè)專業(yè)術(shù)語“RAG”和“微調(diào)”我們?cè)谙旅媛齺硖接憽?5、檢索增強(qiáng)生成RAG**檢索增強(qiáng)生成Retrieval-Augmented Generation 縮寫為RAG**拆分一下解釋即是● **檢索**從外部知識(shí)庫中查找與問題相關(guān)的信息?！?**增強(qiáng)**用檢索到的信息來“增強(qiáng)”或“補(bǔ)充”大模型的知識(shí)?！?**生成**大模型基于這些補(bǔ)充的信息生成更準(zhǔn)確、更可靠的答案。**通俗易懂的一句話解釋就是**智能體的大腦大模型進(jìn)行輸出內(nèi)容之前先讓它主動(dòng)去一個(gè)龐大的知識(shí)庫如文檔、數(shù)據(jù)庫、互聯(lián)網(wǎng)中“查閱資料”然后根據(jù)查到的資料來組織和生成答案。如果一個(gè)智能體沒有RAG就有點(diǎn)像一個(gè)閉卷考試的學(xué)生他只能依靠記憶預(yù)訓(xùn)練階段學(xué)到的知識(shí)來答題。如果問題超出了他的記憶范圍他就可能答錯(cuò)或“胡編亂造”。如果給一個(gè)智能體加上RAG就有點(diǎn)像一個(gè)開卷考試的學(xué)生當(dāng)遇到問題時(shí)他可以先去翻閱指定的教科書和筆記檢索外部知識(shí)庫然后結(jié)合自己的理解模型的推理能力寫出一個(gè)有據(jù)可查、內(nèi)容準(zhǔn)確的答案。瓦手AI項(xiàng)目建立的知識(shí)庫-小部分示意16、微調(diào)基于監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)我們?cè)谥悄荏w調(diào)優(yōu)的過程中提示詞工程、RAG等方式其實(shí)都只是改變的是模型的輸入階段讓輸入更有效而想更好的去優(yōu)化智能體的輸出還要用到**微調(diào)。**提示詞、RAG等改變了輸入環(huán)節(jié)而微調(diào)本質(zhì)上則改變了AI模型對(duì)于開源大模型而言是模型副本對(duì)于閉源大模型而言是“適配層”。瓦手AI項(xiàng)目基于人工反饋的監(jiān)督學(xué)習(xí)而強(qiáng)化學(xué)習(xí)則是讓智能體通過試錯(cuò)自己學(xué)會(huì)一整套“決策鏈”或“策略”以最大化長(zhǎng)期獎(jiǎng)勵(lì)。我們以一個(gè)生活中訓(xùn)練狗狗的例子來告訴大家什么是強(qiáng)化學(xué)習(xí)小狗聽到到主人的指令“坐下”。它嘗試趴下動(dòng)作。馴獸師沒有給零食沒有獎(jiǎng)勵(lì)。小狗又嘗試坐下新動(dòng)作。馴獸師立刻給予零食給了獎(jiǎng)勵(lì)。通過無數(shù)次嘗試小狗學(xué)會(huì)了策略當(dāng)聽到“坐下”指令時(shí)執(zhí)行“坐下”動(dòng)作能最大化獲得零食的長(zhǎng)期收益。監(jiān)督學(xué)習(xí)是給了模型標(biāo)準(zhǔn)的答案比如我們告訴模型是goodcase還是badcase但大家試想一下如果這個(gè)數(shù)據(jù)量特別巨大每次讓人工去標(biāo)注所有的將非常不現(xiàn)實(shí)。而基于人工反饋的強(qiáng)化學(xué)習(xí)RLHF則是更高效的方法用一個(gè)評(píng)分獎(jiǎng)勵(lì)模型我們讓AI學(xué)習(xí)這個(gè)評(píng)分標(biāo)準(zhǔn)然后通過一次又一次的學(xué)習(xí)生成高分從而達(dá)到我們想要的效果。而通過以上的智能體調(diào)優(yōu)方法目的就是為了讓我們做出來的這個(gè)AI應(yīng)用更符合我們的預(yù)期比如AI回答的更準(zhǔn)確、更趣味。17、大模型的幻覺問題但其實(shí)我們?cè)陧?xiàng)目過程中有時(shí)還是會(huì)發(fā)現(xiàn)AI回答的不是100%正確而這正是大模型的“幻覺”問題**大模型生成看似合理但事實(shí)上錯(cuò)誤、荒謬或虛構(gòu)信息的行為**簡(jiǎn)單來說就是AI在一本正經(jīng)地胡說八道。而我們上面用到了一些智能體調(diào)優(yōu)的方法一定程度上本質(zhì)就是為了解決“幻覺”問題而“幻覺”問題產(chǎn)生的原因主要就是我們期待AI去輸出一些內(nèi)容但這些內(nèi)容又超出了AI的認(rèn)知時(shí)他可能就會(huì)亂說或說錯(cuò)。除了通過RAG、提示詞工程、微調(diào)等方法調(diào)優(yōu)智能體提升我們AI輸出的準(zhǔn)確性外我們還可以比如● 答案溯源讓模型增加二次校驗(yàn)要求模型在生成答案時(shí)注明引用的源文● 自我批判讓模型對(duì)自己生成的答案進(jìn)行一次自我審查● 高準(zhǔn)確性信息采用固定信源比如我們的AI賽事助手的賽程、賽事等信息讓AI去查固定的接口而不是走聯(lián)網(wǎng)搜索● 等等簡(jiǎn)要總結(jié)幻覺是當(dāng)前大模型的通用問題包括我們之前談到的GPT系列以及現(xiàn)在所有的通用大模型都會(huì)有“幻覺”問題而我們當(dāng)前所有的調(diào)優(yōu)手段如RAG、提示詞工程、SFT、RLHF等其重要目標(biāo)之一就是最大限度地管理和減少幻覺但其實(shí)并不能完全消除它。因此我們除了做好AI輸入階段的優(yōu)化外對(duì)AI的輸出階段同樣應(yīng)該保持謹(jǐn)慎這也是每個(gè)AI從業(yè)者應(yīng)有的重要意識(shí)。18、AI爆發(fā)期小結(jié)AI爆發(fā)期從2017年到現(xiàn)在短短的幾年時(shí)間AI經(jīng)歷了飛速的發(fā)展大模型百花齊放相關(guān)的智能體應(yīng)用也層出不窮。這階段也是我們正在經(jīng)歷的的AI我認(rèn)為他已經(jīng)是一個(gè)讀遍天下書的大學(xué)生擁有了豐富的知識(shí)積累加上了一定量的實(shí)習(xí)經(jīng)驗(yàn)下一階段就是未來他應(yīng)該會(huì)走上社會(huì)成為一個(gè)職場(chǎng)上的專業(yè)人員把多年積累下來的知識(shí)和實(shí)習(xí)期積累的經(jīng)驗(yàn)更好的應(yīng)用在職場(chǎng)上同樣的我們可以把這階段的AI稱為“深度學(xué)習(xí)/大模型AI”。五、未來不知道大家有沒有去看2025英偉達(dá)GTC大會(huì)這個(gè)大會(huì)點(diǎn)出了很多未來和AI更有想象空間的模塊如AGI、具身智能、量子計(jì)算、6G、人機(jī)協(xié)同等感興趣的同學(xué)可以去詳細(xì)了解。而我也聊聊我個(gè)人的AI觀AI從歷史時(shí)間線的發(fā)展來看已經(jīng)有幾十年但真正爆發(fā)的也就這幾年這背后原因其實(shí)是數(shù)據(jù)、算力、算法三個(gè)模塊的逐漸成熟● “數(shù)據(jù)”即是我們這幾十年所有的生活方式、工作方式等都向數(shù)字化轉(zhuǎn)變積累了大量的數(shù)據(jù)● “算力”即是云計(jì)算、GPU等不斷迭代和革新為AI提供了有效基礎(chǔ)支撐● “算法”即是以Transformer架構(gòu)為代表的深度學(xué)習(xí)給大模型提供了無限可能而在這三個(gè)模塊加持下AI從最初的自然語言處理發(fā)展到了多維度物理世界圖像、視頻、音頻等等的處理在具體應(yīng)用形態(tài)上也從最初的內(nèi)容生成AIGC到輔助辦公編碼提效、美術(shù)生產(chǎn)提效、產(chǎn)研提效等再到各個(gè)垂直行業(yè)如醫(yī)療、教育等的初步探索在這整個(gè)發(fā)展過程中AI從最初的“規(guī)則式AI”發(fā)展到“統(tǒng)計(jì)式AI”再到今天的“深度學(xué)習(xí)/大模型AI”如果把AI想象成一個(gè)人類他也從最初的小學(xué)生成長(zhǎng)成了現(xiàn)在的大學(xué)生而大部分互聯(lián)網(wǎng)從業(yè)者可能還只是停留在AI的應(yīng)用階段上或者看到AI出來立馬就想去用但很多時(shí)候更需要我們思考的是為什么要用AIAI現(xiàn)在能做什么以及未來能做什么用了AI后可以改變什么如果不用AI會(huì)怎么樣在未來AI不再是一個(gè)工具更是我們重要的“伙伴”。普通人如何抓住AI大模型的風(fēng)口領(lǐng)取方式在文末為什么要學(xué)習(xí)大模型目前AI大模型的技術(shù)崗位與能力培養(yǎng)隨著人工智能技術(shù)的迅速發(fā)展和應(yīng)用 大模型作為其中的重要組成部分 正逐漸成為推動(dòng)人工智能發(fā)展的重要引擎 。大模型以其強(qiáng)大的數(shù)據(jù)處理和模式識(shí)別能力 廣泛應(yīng)用于自然語言處理 、計(jì)算機(jī)視覺 、 智能推薦等領(lǐng)域 為各行各業(yè)帶來了革命性的改變和機(jī)遇 。目前開源人工智能大模型已應(yīng)用于醫(yī)療、政務(wù)、法律、汽車、娛樂、金融、互聯(lián)網(wǎng)、教育、制造業(yè)、企業(yè)服務(wù)等多個(gè)場(chǎng)景其中應(yīng)用于金融、企業(yè)服務(wù)、制造業(yè)和法律領(lǐng)域的大模型在本次調(diào)研中占比超過30%。隨著AI大模型技術(shù)的迅速發(fā)展相關(guān)崗位的需求也日益增加。大模型產(chǎn)業(yè)鏈催生了一批高薪新職業(yè)人工智能大潮已來不加入就可能被淘汰。如果你是技術(shù)人尤其是互聯(lián)網(wǎng)從業(yè)者現(xiàn)在就開始學(xué)習(xí)AI大模型技術(shù)真的是給你的人生一個(gè)重要建議最后只要你真心想學(xué)習(xí)AI大模型技術(shù)這份精心整理的學(xué)習(xí)資料我愿意無償分享給你但是想學(xué)技術(shù)去亂搞的人別來找我在當(dāng)前這個(gè)人工智能高速發(fā)展的時(shí)代AI大模型正在深刻改變各行各業(yè)。我國對(duì)高水平AI人才的需求也日益增長(zhǎng)真正懂技術(shù)、能落地的人才依舊緊缺。我也希望通過這份資料能夠幫助更多有志于AI領(lǐng)域的朋友入門并深入學(xué)習(xí)。真誠無償分享vx掃描下方二維碼即可加上后會(huì)一個(gè)個(gè)給大家發(fā)大模型全套學(xué)習(xí)資料展示自我們與MoPaaS魔泊云合作以來我們不斷打磨課程體系與技術(shù)內(nèi)容在細(xì)節(jié)上精益求精同時(shí)在技術(shù)層面也新增了許多前沿且實(shí)用的內(nèi)容力求為大家?guī)砀到y(tǒng)、更實(shí)戰(zhàn)、更落地的大模型學(xué)習(xí)體驗(yàn)。希望這份系統(tǒng)、實(shí)用的大模型學(xué)習(xí)路徑能夠幫助你從零入門進(jìn)階到實(shí)戰(zhàn)真正掌握AI時(shí)代的核心技能01教學(xué)內(nèi)容從零到精通完整閉環(huán)【基礎(chǔ)理論 →RAG開發(fā) → Agent設(shè)計(jì) → 模型微調(diào)與私有化部署調(diào)→熱門技術(shù)】5大模塊內(nèi)容比傳統(tǒng)教材更貼近企業(yè)實(shí)戰(zhàn)大量真實(shí)項(xiàng)目案例帶你親自上手搞數(shù)據(jù)清洗、模型調(diào)優(yōu)這些硬核操作把課本知識(shí)變成真本事?02適學(xué)人群應(yīng)屆畢業(yè)生?無工作經(jīng)驗(yàn)但想要系統(tǒng)學(xué)習(xí)AI大模型技術(shù)期待通過實(shí)戰(zhàn)項(xiàng)目掌握核心技術(shù)。零基礎(chǔ)轉(zhuǎn)型?非技術(shù)背景但關(guān)注AI應(yīng)用場(chǎng)景計(jì)劃通過低代碼工具實(shí)現(xiàn)“AI行業(yè)”跨界?。業(yè)務(wù)賦能突破瓶頸傳統(tǒng)開發(fā)者Java/前端等學(xué)習(xí)Transformer架構(gòu)與LangChain框架向AI全棧工程師轉(zhuǎn)型?。vx掃描下方二維碼即可本教程比較珍貴僅限大家自行學(xué)習(xí)不要傳播更嚴(yán)禁商用03入門到進(jìn)階學(xué)習(xí)路線圖大模型學(xué)習(xí)路線圖整體分為5個(gè)大的階段04視頻和書籍PDF合集從0到掌握主流大模型技術(shù)視頻教程涵蓋模型訓(xùn)練、微調(diào)、RAG、LangChain、Agent開發(fā)等實(shí)戰(zhàn)方向新手必備的大模型學(xué)習(xí)PDF書單來了全是硬核知識(shí)幫你少走彎路不吹牛真有用05行業(yè)報(bào)告白皮書合集收集70報(bào)告與白皮書了解行業(yè)最新動(dòng)態(tài)0690份面試題/經(jīng)驗(yàn)AI大模型崗位面試經(jīng)驗(yàn)總結(jié)誰學(xué)技術(shù)不是為了賺$呢找個(gè)好的崗位很重要07 deepseek部署包技巧大全由于篇幅有限只展示部分資料并且還在持續(xù)更新中…真誠無償分享vx掃描下方二維碼即可加上后會(huì)一個(gè)個(gè)給大家發(fā)