淘寶客網(wǎng)站主機,萬能短視頻素材庫免費,網(wǎng)絡(luò)安裝,旅游網(wǎng)站策劃RAG技術(shù)解決了大模型的知識凍結(jié)和幻覺問題。文章通過代碼和圖解#xff0c;詳細介紹了RAG系統(tǒng)的三大構(gòu)建階段#xff1a;數(shù)據(jù)準備#xff08;切塊、向量化、入庫#xff09;、檢索工程#xff08;查詢翻譯、粗篩、精排#xff09;和結(jié)果生成。實…RAG技術(shù)解決了大模型的知識凍結(jié)和幻覺問題。文章通過代碼和圖解詳細介紹了RAG系統(tǒng)的三大構(gòu)建階段數(shù)據(jù)準備切塊、向量化、入庫、檢索工程查詢翻譯、粗篩、精排和結(jié)果生成。實戰(zhàn)部分提供了開源技術(shù)棧Llama 3.2、LlamaIndex、Qdrant和核心代碼實現(xiàn)同時指出RAG的局限性強調(diào)企業(yè)級項目中80%的時間用于數(shù)據(jù)清洗和檢索策略優(yōu)化。1、RAG系統(tǒng)基本介紹最近看了一份很不錯的教程《A Crash Course on Building RAG Systems》作者是 Akshay Pachaar 和 Avi Chawla。這份文檔好就好在它沒有上來就給你堆一堆數(shù)學公式講什么高維空間而是直接通過代碼和圖解把 RAG檢索增強生成這個被吹上天的概念還原成了最樸素的工程問題。我們之前聊過很多次 RAG今天借著這份資料咱們不聊虛的直接從原理到代碼把這套流程徹底跑通。看完你會發(fā)現(xiàn)RAG 其實非常簡單。一、為什么我們需要 RAG先說痛點。大模型LLM有兩個致命毛病知識凍結(jié)模型訓練完那天它的腦子就停在那一刻了。它不知道時事新聞、最新數(shù)據(jù)因為它沒見過?；糜X就是說胡話。再好的模型隨著上下文增長也會出現(xiàn)幻覺這是Attention機制所不能避免的。。要解決這個問題最笨的方法是微調(diào)Fine-tuning但這玩意兒成本高得離譜而且你今天調(diào)完明天數(shù)據(jù)又更新了模型還更好難道換模型重新調(diào)企業(yè)虧麻了。所以RAGRetrieval-Augmented Generation應(yīng)運而生。它的邏輯簡單粗暴既然腦子記不住那就給它一本參考書。在回答問題前搜索知識庫中的相關(guān)內(nèi)容把找到的內(nèi)容Context和問題一起扔給模型讓 LLM 根據(jù)參考資料回答。二、核心概念向量數(shù)據(jù)庫Vector Database要實現(xiàn) RAG繞不開一個東西向量數(shù)據(jù)庫。計算機不認識字它只認識數(shù)字。我們需要把文字、圖片變成一串數(shù)字Vector/Embedding。神奇的地方在于經(jīng)過 Embedding 模型處理后“蘋果”和“梨”的向量距離很近?！疤O果”和“卡車”的向量距離很遠。(圖注這就是語義空間意思相近的東西會聚在一起)傳統(tǒng)數(shù)據(jù)庫查關(guān)鍵詞比如 SQL 的LIKE向量數(shù)據(jù)庫查的是意思。哪怕你搜“紅色的水果”它也能給你找出“蘋果”雖然字面上完全不匹配。而神奇的是這些代表“語義”的數(shù)字竟然是可以像數(shù)學題一樣進行加減運算的最經(jīng)典的案例就是國王 - 男人 女人 ≈ 女王。神奇的是這是完全基于詞匯向量的加減法進行的推理。所以說語言所承載的信息本身可能就是一種智慧。。。三、RAG 的“洋蔥模型”從數(shù)據(jù)到答案結(jié)合文檔內(nèi)容一個標準的生產(chǎn)級 RAG 流程其實就是把數(shù)據(jù)掰開揉碎了存進去再讀出來的過程。我們可以把它拆解為 9 個步驟。不過實際項目中你就會發(fā)現(xiàn)這里面全是臟活累活。。。第一階段數(shù)據(jù)準備1. 切塊Chunking第一步是把你的文檔PDF、Word、網(wǎng)頁清洗干凈并切成小塊。為什么要切TOKEN長度有限整本書塞進去Token 瞬間爆炸模型直接死機。語義稀釋一段話只講一個知識點檢索才準。和做飯一樣語料太多混在一起十三香一樣模型根本搞不清它是什么味。PS1.切塊策略固定大小、語義分割策略很多是 RAG 效果好壞的第一道生死線之后會詳細寫一篇文章說明。2.數(shù)據(jù)清洗是也是工程中極具挑戰(zhàn)性的問題甚至是最費時間的比切塊還麻煩。本文優(yōu)先介紹RAG。2. 向量化Embedding切好塊后用 Embedding 模型把這些文字塊變成向量一串數(shù)字作為這段文字的提綱向量版。 這里用的不是簡單的詞匹配而是上下文嵌入模型比如雙向編碼器。它能聽懂“人話”知道“蘋果”和“手機”在某些語境下是相關(guān)的。3. 入庫Indexing把生成的向量存進向量數(shù)據(jù)庫Vector DB。 這是 RAG 的長時記憶機制來源。至此矢量數(shù)據(jù)庫已創(chuàng)建完成。注意這里存的不僅僅是向量還有原始文本和元數(shù)據(jù)比如頁碼、作者。這樣系統(tǒng)就可以基于向量指針搜索并引用原文。不然搜出來一堆數(shù)字。。。第二階段檢索工程4. 用戶查詢Query用戶“ 表面親和度是什么意思出處是哪個文件”背景資料{chunks}問題{query}請根據(jù)背景資料回答問題。5. 需求翻譯Query Embedding系統(tǒng)得把用戶的這句人話用同一個Embedding 模型也轉(zhuǎn)換成向量。注意必須是同一個模型不然就像用英語字典查中文幻覺會非常嚴重。6. 粗篩Retrieval拿著用戶問題的向量去數(shù)據(jù)庫里比對。 數(shù)據(jù)庫會通過“近似最近鄰搜索”ANN給你返回 Top-K 個最像的文本塊。 這一步叫召回。7. 精排Reranking這一步很多教程都沒講這是區(qū)分 Demo 和生產(chǎn)級系統(tǒng)的關(guān)鍵 向量檢索第6步雖然快但有時候不夠準。具體表現(xiàn)為相關(guān)性不佳Top 1 的結(jié)果通常沒問題但Top 2-5 的結(jié)果相關(guān)度非常隨機。這直接影響了最終給大模型LLM參考的上下文質(zhì)量。ANN算法的精度損失隨機性為了在大規(guī)模數(shù)據(jù)百萬/千萬級中實現(xiàn)毫秒級檢索向量數(shù)據(jù)庫通常使用ANN近似最近鄰算法其機制引入了隨機性導致召回的文檔排名并不完全準確最相關(guān)的文檔可能沒有排在最前面。所以我們需要一個更聰明的模型通常是 Cross-Encoder把撈回來的這些知識素材重新打個分把真正最相關(guān)的排到前面。Rerank 通過“粗排 精排”的兩階段策略在速度和精度之間找到了平衡根據(jù)Rerank模型計算出的精準分數(shù)對文檔重新進行排序最后截取分數(shù)最高的 Top N例如Top 5投喂給大模型。這個過程會重新排列數(shù)據(jù)塊以便優(yōu)先處理最相關(guān)的數(shù)據(jù)塊從而生成響應(yīng)。雖然這一步會增加一點延遲但為了準確率這是必須要做的。。。第三階段結(jié)果生成8. 生成結(jié)果Generation系統(tǒng)把排好序的最相關(guān)文本塊Context填進 Prompt 模板里連同用戶的問題一起扔給大模型LLM。這時候大模型就不再是瞎編了★“根據(jù)以下資料我們找出來的回答用戶的問題…”而后模型綜合這些上下文生成一句通順的人話交給用戶端?？偨Y(jié)一下前三步是臟活累活數(shù)據(jù)工程中間兩步是搜索技術(shù)檢索工程最后一步才是AI 生成。RAG也好AI也好別光盯著最后的大模型看沒有數(shù)據(jù)科學的基本功后面全是幻覺。。。四、動手實戰(zhàn)全開源技術(shù)棧光說不練假把式。文檔里給了一套完全開源的方案大家可以在自己的筆記本上跑起來試一試。工具棧大腦 (LLM): Llama 3.2 (通過 Ollama 運行輕量級)框架 (Framework): LlamaIndex (專門做 RAG 的框架)記憶 (Vector DB): Qdrant (開源向量庫Docker 一鍵起)核心代碼解析首先用 Docker 啟動 Qdrantdocker run -p 6333:6333 -p 6334:6334 -v $(pwd)/qdrant_storage:/qdrant/storage qdrant/qdrant然后用 LlamaIndex 加載數(shù)據(jù)并建立索引。這一步就是把 PDF 變成向量存進去from llama_index.core import VectorStoreIndex, SimpleDirectoryReaderfrom llama_index.vector_stores.qdrant import QdrantVectorStore# 1. 讀文件臟活documents SimpleDirectoryReader(./docs).load_data()# 2. 連數(shù)據(jù)庫vector_store QdrantVectorStore(clientclient, collection_namechat_with_docs)# 3. 建索引自動完成切塊、Embedding、存儲index VectorStoreIndex.from_documents( documents, storage_contextstorage_context)最后查詢并加入重排Reranking。這里用了一個SentenceTransformerRerank雖然慢點但精度提升巨大from llama_index.core.postprocessor import SentenceTransformerRerank# 設(shè)置重排模型rerank SentenceTransformerRerank( modelcross-encoder/ms-marco-MiniLM-L-2-v2, top_n3# 只取前3個最相關(guān)的)# 查詢引擎query_engine index.as_query_engine( similarity_top_k10, # 先撈10個 node_postprocessors[rerank] # 再精選3個)response query_engine.query(What exactly is DSPy?)print(response)代碼跑通你會發(fā)現(xiàn)模型能準確回答出 PDF 里的內(nèi)容此時恭喜你通過代碼搭建了RAG 的最小應(yīng)用潑盆冷水RAG 的局限性雖然 Demo 跑通了很爽但作為工程實戰(zhàn)派我得提醒大家?guī)讉€坑文檔最后也提到了非常真實語義稀釋Semantic Dilution 如果你的切塊太大里面混雜了無關(guān)信息檢索精度會直線下降。聚合類問題Aggregation是死穴 如果你問這100份文檔里哪一份提到的銷售額最高 RAG 通常回答不出。因為向量檢索是找相似而不是做統(tǒng)計。它很難把所有文檔掃一遍再比較。中間迷失Lost in the Middle LLM 有個毛病它對 Prompt 開頭和結(jié)尾的內(nèi)容印象深刻中間的內(nèi)容容易忽略。所以重排后的文檔順序也很重要。問題與答案不相似 有時候用戶問的問題和文檔里的答案在字面上完全不沾邊。這時候可能需要引入 HyDE假設(shè)性文檔嵌入這種高級技巧讓模型先自己生成一個假答案拿假答案去搜真答案。最后在真實的企業(yè)級AI項目中我們 80% 的時間其實不是在調(diào)大模型而是在清洗數(shù)據(jù)和優(yōu)化檢索策略。AI系統(tǒng)的本質(zhì)依然是數(shù)據(jù)工程系統(tǒng)。你可以把大模型理解成一個考試的考生而RAG、數(shù)據(jù)工程是背后那個遞小抄的人。RAG 可以讓大模型進行開卷考試而我們要做的所有工程上的努力就是確保在它提筆作答前把書翻到了最正確的那一頁。如何學習大模型 AI 由于新崗位的生產(chǎn)效率要優(yōu)于被取代崗位的生產(chǎn)效率所以實際上整個社會的生產(chǎn)效率是提升的。但是具體到個人只能說是“最先掌握AI的人將會比較晚掌握AI的人有競爭優(yōu)勢”。這句話放在計算機、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的開局時期都是一樣的道理。我在一線互聯(lián)網(wǎng)企業(yè)工作十余年里指導過不少同行后輩。幫助很多人得到了學習和成長。我意識到有很多經(jīng)驗和知識值得分享給大家也可以通過我們的能力和經(jīng)驗解答大家在人工智能學習中的很多困惑所以在工作繁忙的情況下還是堅持各種整理和分享。但苦于知識傳播途徑有限很多互聯(lián)網(wǎng)行業(yè)朋友無法獲得正確的資料得到學習提升故此將并將重要的AI大模型資料包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰(zhàn)學習等錄播視頻免費分享出來。這份完整版的大模型 AI 學習資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領(lǐng)取【保證100%免費】為什么要學習大模型我國在A大模型領(lǐng)域面臨人才短缺,數(shù)量與質(zhì)量均落后于發(fā)達國家。2023年人才缺口已超百萬凸顯培養(yǎng)不足。隨著AI技術(shù)飛速發(fā)展預計到2025年,這一缺口將急劇擴大至400萬,嚴重制約我國AI產(chǎn)業(yè)的創(chuàng)新步伐。加強人才培養(yǎng),優(yōu)化教育體系,國際合作并進是破解困局、推動AI發(fā)展的關(guān)鍵。大模型入門到實戰(zhàn)全套學習大禮包1、大模型系統(tǒng)化學習路線作為學習AI大模型技術(shù)的新手方向至關(guān)重要。 正確的學習路線可以為你節(jié)省時間少走彎路方向不對努力白費。這里我給大家準備了一份最科學最系統(tǒng)的學習成長路線圖和學習規(guī)劃帶你從零基礎(chǔ)入門到精通2、大模型學習書籍文檔學習AI大模型離不開書籍文檔我精選了一系列大模型技術(shù)的書籍和學習文檔電子版它們由領(lǐng)域內(nèi)的頂尖專家撰寫內(nèi)容全面、深入、詳盡為你學習大模型提供堅實的理論基礎(chǔ)。3、AI大模型最新行業(yè)報告2025最新行業(yè)報告針對不同行業(yè)的現(xiàn)狀、趨勢、問題、機會等進行系統(tǒng)地調(diào)研和評估以了解哪些行業(yè)更適合引入大模型的技術(shù)和應(yīng)用以及在哪些方面可以發(fā)揮大模型的優(yōu)勢。4、大模型項目實戰(zhàn)配套源碼學以致用在項目實戰(zhàn)中檢驗和鞏固你所學到的知識同時為你找工作就業(yè)和職業(yè)發(fā)展打下堅實的基礎(chǔ)。5、大模型大廠面試真題面試不僅是技術(shù)的較量更需要充分的準備。在你已經(jīng)掌握了大模型技術(shù)之后就需要開始準備面試我精心整理了一份大模型面試題庫涵蓋當前面試中可能遇到的各種技術(shù)問題讓你在面試中游刃有余。適用人群第一階段10天初階應(yīng)用該階段讓大家對大模型 AI有一個最前沿的認識對大模型 AI 的理解超過 95% 的人可以在相關(guān)討論時發(fā)表高級、不跟風、又接地氣的見解別人只會和 AI 聊天而你能調(diào)教 AI并能用代碼將大模型和業(yè)務(wù)銜接。大模型 AI 能干什么大模型是怎樣獲得「智能」的用好 AI 的核心心法大模型應(yīng)用業(yè)務(wù)架構(gòu)大模型應(yīng)用技術(shù)架構(gòu)代碼示例向 GPT-3.5 灌入新知識提示工程的意義和核心思想Prompt 典型構(gòu)成指令調(diào)優(yōu)方法論思維鏈和思維樹Prompt 攻擊和防范…第二階段30天高階應(yīng)用該階段我們正式進入大模型 AI 進階實戰(zhàn)學習學會構(gòu)造私有知識庫擴展 AI 的能力?？焖匍_發(fā)一個完整的基于 agent 對話機器人。掌握功能最強的大模型開發(fā)框架抓住最新的技術(shù)進展適合 Python 和 JavaScript 程序員。為什么要做 RAG搭建一個簡單的 ChatPDF檢索的基礎(chǔ)概念什么是向量表示Embeddings向量數(shù)據(jù)庫與向量檢索基于向量檢索的 RAG搭建 RAG 系統(tǒng)的擴展知識混合檢索與 RAG-Fusion 簡介向量模型本地部署…第三階段30天模型訓練恭喜你如果學到這里你基本可以找到一份大模型 AI相關(guān)的工作自己也能訓練 GPT 了通過微調(diào)訓練自己的垂直大模型能獨立訓練開源多模態(tài)大模型掌握更多技術(shù)方案。到此為止大概2個月的時間。你已經(jīng)成為了一名“AI小子”。那么你還想往下探索嗎為什么要做 RAG什么是模型什么是模型訓練求解器 損失函數(shù)簡介小實驗2手寫一個簡單的神經(jīng)網(wǎng)絡(luò)并訓練它什么是訓練/預訓練/微調(diào)/輕量化微調(diào)Transformer結(jié)構(gòu)簡介輕量化微調(diào)實驗數(shù)據(jù)集的構(gòu)建…第四階段20天商業(yè)閉環(huán)對全球大模型從性能、吞吐量、成本等方面有一定的認知可以在云端和本地等多種環(huán)境下部署大模型找到適合自己的項目/創(chuàng)業(yè)方向做一名被 AI 武裝的產(chǎn)品經(jīng)理。硬件選型帶你了解全球大模型使用國產(chǎn)大模型服務(wù)搭建 OpenAI 代理熱身基于阿里云 PAI 部署 Stable Diffusion在本地計算機運行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何優(yōu)雅地在阿里云私有部署開源大模型部署一套開源 LLM 項目內(nèi)容安全互聯(lián)網(wǎng)信息服務(wù)算法備案…學習是一個過程只要學習就會有挑戰(zhàn)。天道酬勤你越努力就會成為越優(yōu)秀的自己。如果你能在15天內(nèi)完成所有的任務(wù)那你堪稱天才。然而如果你能完成 60-70% 的內(nèi)容你就已經(jīng)開始具備成為一名大模型 AI 的正確特征了。這份完整版的大模型 AI 學習資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認證二維碼免費領(lǐng)取【保證100%免費】