商城網(wǎng)站源碼下載,做幾個小網(wǎng)站還是做一個大網(wǎng)站,php企業(yè)網(wǎng)站開發(fā)實驗總結(jié),客戶關(guān)系管理策略六位一線AI工程師分享了構(gòu)建大模型應(yīng)用一年的實戰(zhàn)經(jīng)驗#xff0c;涵蓋提示詞工程、RAG、微調(diào)、Agent開發(fā)和評估監(jiān)測等方面。文章強(qiáng)調(diào)應(yīng)根據(jù)具體場景選擇技術(shù)路線#xff0c;建議從提示詞開始#xff0c;需要新知識時用RAG#xff0c;特定任務(wù)優(yōu)化時考慮微調(diào)。提出實習(xí)…六位一線AI工程師分享了構(gòu)建大模型應(yīng)用一年的實戰(zhàn)經(jīng)驗涵蓋提示詞工程、RAG、微調(diào)、Agent開發(fā)和評估監(jiān)測等方面。文章強(qiáng)調(diào)應(yīng)根據(jù)具體場景選擇技術(shù)路線建議從提示詞開始需要新知識時用RAG特定任務(wù)優(yōu)化時考慮微調(diào)。提出實習(xí)生測試等實用評估方法討論幻覺問題及解決方案為開發(fā)者提供全面實用的指導(dǎo)。六位一線AI工程師和創(chuàng)業(yè)者把在大模型應(yīng)用開發(fā)上摸爬滾打一整年的心得全分享了奇怪的六一兒童節(jié)大禮包出現(xiàn)了這篇干貨長文一時間成為開發(fā)者社區(qū)熱議的話題。有網(wǎng)友評價為大模型領(lǐng)域少有的**“有操作性”**的實用見解非常值得一讀。這6位作者來自不同背景比如有大廠工程師也有獨(dú)立開發(fā)者還有咨詢顧問。但他們的共同之處是過去一年里一直在大模型之上構(gòu)建真實應(yīng)用程序而不只是炫酷的Demo演示他們認(rèn)為現(xiàn)在正是非機(jī)器學(xué)習(xí)工程師或科學(xué)家也能把AI構(gòu)建到產(chǎn)品中的時候。在他們的一系列分享中網(wǎng)友熱議的亮點(diǎn)包括但不限于-何時用長上下文、何時RAG、何時微調(diào)模型多樣化輸出不止提高溫度改變提示詞中示例的順序也影響結(jié)果長上下文不會讓RAG過時“實習(xí)生測試”如果大學(xué)生能根據(jù)提示詞完成任務(wù)說明比較完善了每個大模型都有自己的偏好Claude更喜歡XML格式GPT系列更喜歡Markdown和JSON如果靠提示詞已完成了90%的任務(wù)微調(diào)可能就不值得投資大模型當(dāng)裁判評估結(jié)果可能起作用但不是萬能的……總之無論是大廠工程師、創(chuàng)業(yè)者還是參加個人開發(fā)者都值得一看。全程高能干貨分享提示詞、RAG和微調(diào)都是改善大模型輸出結(jié)果的有效方法。但是何時該用何種方法還沒有定論。作者們認(rèn)為需要根據(jù)具體的應(yīng)用場景、任務(wù)需求、成本效益和性能目標(biāo)來做出決策建議在開發(fā)新應(yīng)用程序時從提示詞開始需要大模型掌握新知識時優(yōu)先使用RAG當(dāng)需要針對特定任務(wù)優(yōu)化時再考慮微調(diào)最后他們還重點(diǎn)討論了對大模型應(yīng)用的評估和監(jiān)測認(rèn)為是應(yīng)該貫穿開發(fā)全流程的重要環(huán)節(jié)。提示詞篇很多開發(fā)者都陷入了一個誤區(qū)以為設(shè)計一個**涵蓋一切的“終極提示詞”**就能完美解決問題。就像過去軟件開發(fā)中也有希望一個類或函數(shù)可以完成所有事情的誤區(qū)。實際情況恰恰相反隨著需求的復(fù)雜化這樣的Prompt會越來越臃腫性能反而每況愈下。那么正確的做法是什么呢提示詞也應(yīng)該像代碼一樣保持簡潔以會議記錄總結(jié)場景來說可以分解為以下步驟將關(guān)鍵決策、待辦事項和執(zhí)行者提取為結(jié)構(gòu)化格式檢查提取的詳細(xì)信息與原始會議記錄的一致性從結(jié)構(gòu)化詳情生成簡明摘要通過拆分每個提示詞都簡單、突出重點(diǎn)且易于理解更重要的是接下來可以單獨(dú)迭代和評估每個提示詞。比如思維鏈鼓勵A(yù)I在最終回答之前寫下思維過程除了“一步一步思考”之外還可以用一些技巧顯著降低幻覺。還以會議記錄總結(jié)場景為例迭代后的提示詞示例為- 首先在草稿中列出關(guān)鍵決策、待辦事項和相關(guān)執(zhí)行者。 - 然后檢查草稿中的細(xì)節(jié)是否與文字記錄相符。 - 最后根據(jù)要點(diǎn)合成簡潔的總結(jié)。在提示詞方面作者們還提出了更多具體經(jīng)驗。對于給大模型提供示例的上下文學(xué)習(xí)提示詞中的示例數(shù)量追求≥5也不要害怕用上幾十個。太少會讓模型過度遵循特定示例、損害泛化能力。示例應(yīng)該反映預(yù)期的輸入分布。比如做電影劇情總結(jié)示例中不同類型電影的比例大致應(yīng)與實踐中期望看到的相同。不一定需要提供完整的輸入-輸出對。在許多情況下只有輸出的示例就足夠了。如果所用的大模型支持工具調(diào)用則示例也應(yīng)包含希望AI使用的工具。對于結(jié)構(gòu)化輸入輸出優(yōu)化上下文結(jié)構(gòu)讓模型更容易理解和處理。單純打包一堆文件人類看著頭疼AI看著也費(fèi)勁。只保留必要信息像雕刻藝術(shù)家一樣剔除冗余、自相矛盾和格式化錯誤。每個大模型都有自己的偏好Claude更喜歡xml格式GPT系列更喜歡Markdown和JSON。比如給Claude的提示詞甚至可以用xml tag來預(yù)填充輸出模板。RAG檢索增強(qiáng)生成篇不要忘記關(guān)鍵詞搜索基于Embedding的RAG演示很多讓人們?nèi)菀淄浶畔z索領(lǐng)域數(shù)十年來積累的經(jīng)驗。作者認(rèn)為向量檢索無疑是強(qiáng)大的工具但不是全部。雖然擅長捕獲高級語義相似性但它們可能難以處理更具體的關(guān)鍵字比如人名、首字母縮略詞或者ID。不要忘記傳統(tǒng)的關(guān)鍵詞匹配如BM25算法在大多數(shù)情況下混合關(guān)鍵字匹配和向量搜索效果最好先匹配最明顯的關(guān)鍵詞再對同義詞、上位概念和拼寫錯誤做向量查詢以及多模態(tài)向量查詢。RAG輸出的質(zhì)量取決于檢索文檔的質(zhì)量具體來說檢索文檔的質(zhì)量又取決于幾個因素。第一個也是最明顯的指標(biāo)是相關(guān)性。與傳統(tǒng)推薦系統(tǒng)一樣檢索到的項目的排名對大模型輸出產(chǎn)生重大影響要衡量這種影響可以試試打亂順序并觀察大模型行為變化。第二個是信息密度。如果兩份文檔同樣相關(guān)應(yīng)該選擇更簡潔、無關(guān)細(xì)節(jié)更少的那個。最后是信息的詳細(xì)程度附加的詳細(xì)信息可以幫助大模型更好地理解。優(yōu)先RAG而不是對新知識微調(diào)RAG和微調(diào)都可讓大模型掌握新知識并提高特定任務(wù)的性能。那么應(yīng)該優(yōu)先選擇哪一個呢微軟一篇論文比較RAG與無監(jiān)督微調(diào)又叫持續(xù)預(yù)訓(xùn)練發(fā)現(xiàn)對于新知識RAG性能始終優(yōu)于微調(diào)?！鱝rxiv.org/abs/2312.05934除了改進(jìn)性能之外RAG容易更新而且成本更低。如果知識庫中發(fā)現(xiàn)錯誤RAG方法只需簡單刪除有問題的文檔即可。RAG還可以給文檔權(quán)限提供更細(xì)粒度的控制確保每個用戶只能訪問自己有權(quán)限的文檔不會泄露信息。長上下文不會讓RAG過時首先即使上下文窗口達(dá)到一千萬tokens仍然需要一種方法來選擇要輸入模型的信息。其次除了簡單大海撈針評估之外還沒有看到令人信服的數(shù)據(jù)表明模型可以在如此大的上下文進(jìn)行有效的推理。如果沒有良好的檢索和排名干擾因素可能淹沒模型甚至可能用完全不相關(guān)的信息填滿了上下文窗口。最后還有成本問題ransformer的推理成本隨上下文長度二次增長過度依賴長上下文可能不劃算。微調(diào)篇當(dāng)最巧妙的提示詞設(shè)計也無法完成一些任務(wù)時可能就需要考慮微調(diào)了。雖然微調(diào)可能是有效的但它會帶來巨大的成本。必須注釋微調(diào)數(shù)據(jù)、執(zhí)行微調(diào)和評估模型并最終自行部署模型。因此請考慮較高的前期成本是否值得。作者們的經(jīng)驗是如果提示詞已完成了**90%**的任務(wù)那么微調(diào)可能不值得投資。如果確定要微調(diào)可以考慮合成數(shù)據(jù)或開源數(shù)據(jù)集降低人工收集注釋數(shù)據(jù)的成本。Agent與工作流最成功的Agent開發(fā)者可能也是工程師團(tuán)隊的管理者因為給AI制定計劃的過程和管理初級員工的方式類似。我們給人類新手明確的目標(biāo)和具體的計劃而不是模糊的開放式指示對Agent也應(yīng)該這樣做。優(yōu)先考慮確定性工作流程Agent被期待動態(tài)對用戶請求做反應(yīng)但隨著執(zhí)行步數(shù)增加失敗的可能性指數(shù)增加并且從錯誤中恢復(fù)的機(jī)會很小。一種有前途的方法是使用Agent系統(tǒng)來生成確定性計劃然后以結(jié)構(gòu)化、可重復(fù)的方式執(zhí)行這些計劃好處包括生成的計劃可以作為提示詞中的少數(shù)樣本或微調(diào)數(shù)據(jù)。使系統(tǒng)更加容易測試和調(diào)試失敗可以追溯到計劃中的具體步驟。生成的計劃可以表示為有向無環(huán)圖 (DAG)相對于靜態(tài)提示詞它更容易理解和適應(yīng)新情況。多樣化輸出不止提高溫度如果任務(wù)需要輸出的多樣性比如根據(jù)用戶之前購買過的產(chǎn)品推薦新產(chǎn)品簡單增加大模型的溫度參數(shù)可能會產(chǎn)生問題。如果溫度太高可能會生成不存在的產(chǎn)品甚至輸出亂碼。其他增加輸出多樣性的方法包括最簡單的是調(diào)整提示詞內(nèi)的元素順序打亂用戶歷史購買記錄的順序就可能產(chǎn)生顯著差異。還可以在上下文中保留前幾輪的輸出并要求大模型避免重復(fù)最近推薦過的產(chǎn)品。另一個策略是改變提示詞的措辭比如“選擇用戶喜歡經(jīng)常使用的產(chǎn)品”和“選擇用戶可能會推薦給朋友的產(chǎn)品”。評估與監(jiān)測大模型的輸入和輸出是任意文本要完成的任務(wù)是多種多樣的。盡管如此嚴(yán)格且深思熟慮的評估仍至關(guān)重要。從真實的輸入/輸出樣本中創(chuàng)建基于斷言的單元測試作者建議創(chuàng)建由生產(chǎn)中的輸入和輸出樣本組成的單元測試并基于至少3個指標(biāo)測試。3個指標(biāo)是實踐中總結(jié)出來的更少可能表明任務(wù)沒有充分定義或過于開放。這些單元測試應(yīng)該由工作流的任何更改觸發(fā)無論是編輯提示詞、通過RAG添加新上下文還是其他修改。大模型當(dāng)裁判可能起作用但不是萬能的作者認(rèn)為讓最強(qiáng)大的模型當(dāng)裁判、給其他模型的輸出打分用于定性比較優(yōu)劣可能有用但具體輸贏的幅度就沒什么參考價值了。不要讓大模型在量表上對單個輸出進(jìn)行評分而是提供兩個選項要求選擇更好的一個這往往會帶來更穩(wěn)定的結(jié)果。提供的選項順序可能會影響結(jié)果為了緩解這種情況請將每個成對比較進(jìn)行兩次每次交換順序。在某些情況下兩種選擇可能同樣好。因此允許大模型宣布平局這樣就不會武斷地選一個勝者。使用思維鏈要求大模型在給出最終偏好之前解釋其決定可以提高評估的可靠性還可以讓更小的模型獲得與大模型類似的結(jié)果。這部分流程通常處于并行批處理模式思維鏈帶來的額外延遲并不造成問題。大模型往往偏向于較長的回答為減少這種情況請確保成對的回答長度相似?！皩嵙?xí)生測試”如果將提示詞包括上下文作為一項任務(wù)交給相關(guān)專業(yè)的普通大學(xué)生他們能成功嗎需要多長時間如果大學(xué)生都做不到就該考慮如何給大模型提供更豐富的上下文資料了。如果根本無法通過改進(jìn)上下文來解決這個問題那么這就是對當(dāng)代大模型來說太難的任務(wù)。如果大學(xué)生能做到但需要一段時間?？梢試L試降低任務(wù)的復(fù)雜性。分解任務(wù)或某些方面是否可以更加模板化。如果大學(xué)生能做到而且很快但大模型不行。那么就該深入研究大模型反饋的數(shù)據(jù)了。嘗試找到失敗的模式讓模型在輸出之前或之后解釋自己。過分強(qiáng)調(diào)某些指標(biāo)可能影響整體著名的古德哈特定律表示“當(dāng)一項指標(biāo)成為目標(biāo)時它就不再是一項好指標(biāo)”。比如針對長上下文的**“大海撈針”測試最早是網(wǎng)友提出的迅速成為行業(yè)通用方法之后就很容易針對性優(yōu)化、刷榜**。更好的指標(biāo)可能正是復(fù)雜的實際任務(wù)比如“給定一個小時的會議記錄大模型能否總結(jié)出關(guān)鍵決策、待辦事項和相關(guān)負(fù)責(zé)人”。這項任務(wù)更切合實際超越了死記硬背的范疇還考慮到了解析復(fù)雜討論、識別相關(guān)信息和歸納總結(jié)的能力。在總結(jié)中強(qiáng)調(diào)事實一致性可能會導(dǎo)致摘要不那么具體因此不太可能與事實不一致也可能不那么相關(guān)。反之如果強(qiáng)調(diào)寫作風(fēng)格和口才則可能導(dǎo)致更多花哨的話術(shù)從而造成與事實不符的情況。LLMs甚至?xí)诓粦?yīng)該返回輸出時返回輸出大模型經(jīng)常會在不應(yīng)該生成輸出的情況下生成輸出?？赡苁菬o害但無意義的輸出也可能是更嚴(yán)重有害輸出。例如當(dāng)被要求從文檔中提取特定屬性或元數(shù)據(jù)時大模型可能會自信地返回不存在的結(jié)果?？梢試L試讓大模型回答“不適用”或“不知道”但也并非萬無一失。雖然謹(jǐn)慎的提示工程可以在一定程度上起作用但還應(yīng)輔之以強(qiáng)大的“護(hù)欄”機(jī)制以檢測和過濾/重新生成不受歡迎的輸出。例如OpenAI提供了一個內(nèi)容過濾API可識別不安全的響應(yīng)如仇恨言論、自殘或性內(nèi)容。同樣還有許多用于檢測個人身份信息 (PII) 的軟件包。這樣做的好處之一是”護(hù)欄”在很大程度上與場景無關(guān)因此可廣泛應(yīng)用于特定語言的所有輸出。此外通過精確檢索如果沒有相關(guān)文檔系統(tǒng)也可以確定地回答 “我不知道”。在實際應(yīng)用中最好持續(xù)記錄輸入和輸出以便進(jìn)行調(diào)試和監(jiān)控。幻覺很難徹底解決與安全問題不同幻覺可能很難被發(fā)現(xiàn)。根據(jù)作者們從大模型供應(yīng)商那里了解到的情況要將幻覺率降低到2%以下是非常困難的即使是在摘要等簡單任務(wù)中也是如此。為了解決這個問題可以將提示工程生成的上游和事實不一致護(hù)欄生成的下游結(jié)合起來。對于提示詞工程思維鏈等技術(shù)可以讓大模型在最終返回輸出之前解釋其推理從而幫助減少幻覺。然后可以應(yīng)用事實不一致護(hù)欄來評估摘要的事實性并過濾或重新生成。?最后我在一線科技企業(yè)深耕十二載見證過太多因技術(shù)卡位而躍遷的案例。那些率先擁抱 AI 的同事早已在效率與薪資上形成代際優(yōu)勢我意識到有很多經(jīng)驗和知識值得分享給大家也可以通過我們的能力和經(jīng)驗解答大家在大模型的學(xué)習(xí)中的很多困惑。我整理出這套 AI 大模型突圍資料包?AI大模型學(xué)習(xí)路線圖?Agent行業(yè)報告?100集大模型視頻教程?大模型書籍PDF?DeepSeek教程?AI產(chǎn)品經(jīng)理入門資料完整的大模型學(xué)習(xí)和面試資料已經(jīng)上傳帶到CSDN的官方了有需要的朋友可以掃描下方二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】??為什么說現(xiàn)在普通人就業(yè)/升職加薪的首選是AI大模型人工智能技術(shù)的爆發(fā)式增長正以不可逆轉(zhuǎn)之勢重塑就業(yè)市場版圖。從DeepSeek等國產(chǎn)大模型引發(fā)的科技圈熱議到全國兩會關(guān)于AI產(chǎn)業(yè)發(fā)展的政策聚焦再到招聘會上排起的長隊AI的熱度已從技術(shù)領(lǐng)域滲透到就業(yè)市場的每一個角落。智聯(lián)招聘的最新數(shù)據(jù)給出了最直觀的印證2025年2月AI領(lǐng)域求職人數(shù)同比增幅突破200%遠(yuǎn)超其他行業(yè)平均水平整個人工智能行業(yè)的求職增速達(dá)到33.4%位居各行業(yè)榜首其中人工智能工程師崗位的求職熱度更是飆升69.6%。AI產(chǎn)業(yè)的快速擴(kuò)張也讓人才供需矛盾愈發(fā)突出。麥肯錫報告明確預(yù)測到2030年中國AI專業(yè)人才需求將達(dá)600萬人人才缺口可能高達(dá)400萬人這一缺口不僅存在于核心技術(shù)領(lǐng)域更蔓延至產(chǎn)業(yè)應(yīng)用的各個環(huán)節(jié)。??資料包有什么①從入門到精通的全套視頻教程⑤⑥包含提示詞工程、RAG、Agent等技術(shù)點(diǎn)② AI大模型學(xué)習(xí)路線圖還有視頻解說全過程AI大模型學(xué)習(xí)路線③學(xué)習(xí)電子書籍和技術(shù)文檔市面上的大模型書籍確實太多了這些是我精選出來的④各大廠大模型面試題目詳解⑤ 這些資料真的有用嗎?這份資料由我和魯為民博士共同整理魯為民博士先后獲得了北京清華大學(xué)學(xué)士和美國加州理工學(xué)院博士學(xué)位在包括IEEE Transactions等學(xué)術(shù)期刊和諸多國際會議上發(fā)表了超過50篇學(xué)術(shù)論文、取得了多項美國和中國發(fā)明專利同時還斬獲了吳文俊人工智能科學(xué)技術(shù)獎。目前我正在和魯博士共同進(jìn)行人工智能的研究。所有的視頻教程由智泊AI老師錄制且資料與智泊AI共享相互補(bǔ)充。這份學(xué)習(xí)大禮包應(yīng)該算是現(xiàn)在最全面的大模型學(xué)習(xí)資料了。資料內(nèi)容涵蓋了從入門到進(jìn)階的各類視頻教程和實戰(zhàn)項目無論你是小白還是有些技術(shù)基礎(chǔ)的這份資料都絕對能幫助你提升薪資待遇轉(zhuǎn)行大模型崗位。智泊AI始終秉持著“讓每個人平等享受到優(yōu)質(zhì)教育資源”的育人理念?通過動態(tài)追蹤大模型開發(fā)、數(shù)據(jù)標(biāo)注倫理等前沿技術(shù)趨勢?構(gòu)建起前沿課程智能實訓(xùn)精準(zhǔn)就業(yè)的高效培養(yǎng)體系。課堂上不光教理論還帶著學(xué)員做了十多個真實項目。學(xué)員要親自上手搞數(shù)據(jù)清洗、模型調(diào)優(yōu)這些硬核操作把課本知識變成真本事?????如果說你是以下人群中的其中一類都可以來智泊AI學(xué)習(xí)人工智能找到高薪工作一次小小的“投資”換來的是終身受益應(yīng)屆畢業(yè)生?無工作經(jīng)驗但想要系統(tǒng)學(xué)習(xí)AI大模型技術(shù)期待通過實戰(zhàn)項目掌握核心技術(shù)。零基礎(chǔ)轉(zhuǎn)型?非技術(shù)背景但關(guān)注AI應(yīng)用場景計劃通過低代碼工具實現(xiàn)“AI行業(yè)”跨界?。業(yè)務(wù)賦能 ?突破瓶頸傳統(tǒng)開發(fā)者Java/前端等學(xué)習(xí)Transformer架構(gòu)與LangChain框架向AI全棧工程師轉(zhuǎn)型?。獲取方式有需要的小伙伴可以保存圖片到wx掃描二v碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】**?