如何讓搜索引擎收錄你的網(wǎng)站,wifi小程序搭建,怎樣制作圖片網(wǎng)站,wordpress打開(kāi)慢 cdnRAG的工作流程涉及3個(gè)主要階段#xff1a;數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)召回和答案生成。 數(shù)據(jù)準(zhǔn)備階段包括識(shí)別數(shù)據(jù)源、從數(shù)據(jù)源提取數(shù)據(jù)、清洗數(shù)據(jù)并將其存儲(chǔ)在數(shù)據(jù)庫(kù)中。數(shù)據(jù)召回階段包括根據(jù)用戶(hù)輸入的查詢(xún)條件從數(shù)據(jù)庫(kù)中檢索相關(guān)數(shù)據(jù)。答案生成階段則是利用檢索到的數(shù)據(jù)和用戶(hù)輸入的查…RAG的工作流程涉及3個(gè)主要階段數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)召回和答案生成。數(shù)據(jù)準(zhǔn)備階段包括識(shí)別數(shù)據(jù)源、從數(shù)據(jù)源提取數(shù)據(jù)、清洗數(shù)據(jù)并將其存儲(chǔ)在數(shù)據(jù)庫(kù)中。數(shù)據(jù)召回階段包括根據(jù)用戶(hù)輸入的查詢(xún)條件從數(shù)據(jù)庫(kù)中檢索相關(guān)數(shù)據(jù)。答案生成階段則是利用檢索到的數(shù)據(jù)和用戶(hù)輸入的查詢(xún)條件生成輸出結(jié)果。輸出質(zhì)量的高低取決于數(shù)據(jù)質(zhì)量和檢索策略。數(shù)據(jù)召回是從大型文本數(shù)據(jù)庫(kù)中檢索與輸入相關(guān)的信息。召回的數(shù)量越大正確答案被召回的概率也就越高答案生成一旦檢索到用戶(hù)問(wèn)題相關(guān)的數(shù)據(jù)片段RAG系統(tǒng)就將其與用戶(hù)的問(wèn)題和相關(guān)數(shù)據(jù)一起傳遞給生成器LLM。LLM利用檢索到的數(shù)據(jù)和用戶(hù)的查詢(xún)或任務(wù)生成輸出。輸出的質(zhì)量取決于數(shù)據(jù)的質(zhì)量和檢索策略同時(shí)生成輸出的指令也會(huì)極大地影響輸出的質(zhì)量。不同類(lèi)型的數(shù)據(jù)庫(kù)向量存儲(chǔ)庫(kù)向量存儲(chǔ)庫(kù)非常適合存儲(chǔ)文本、圖像、音頻等非結(jié)構(gòu)化數(shù)據(jù)并根據(jù) 語(yǔ)義相似性搜索數(shù)據(jù)。向量模型用于為數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)生成向量嵌入。搜索引擎在RAG系統(tǒng)中可以從通用搜索引擎如百度、Bing等或內(nèi)部搜索引擎如Elasticsearch、Solr等中檢索數(shù)據(jù)。在RAG架構(gòu)的檢索階段使用問(wèn)題/任務(wù)詳細(xì)信息查詢(xún)搜索引擎搜索引擎返回最相關(guān)的文檔。圖數(shù)據(jù)庫(kù)圖數(shù)據(jù)庫(kù)以節(jié)點(diǎn)和邊的形式存儲(chǔ)數(shù)據(jù)。它適用于存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)如表格、文檔等并使用數(shù)據(jù)之間的關(guān)系搜索數(shù)據(jù)。RAG的優(yōu)缺點(diǎn)優(yōu)點(diǎn)高質(zhì)量的答案生成降低答案生成的幻覺(jué)在生成過(guò)程中檢索器可以從大量文檔中檢索問(wèn)題相關(guān)的信息然后基于這些信息生成回答。這使得整個(gè)系統(tǒng)能夠充分利用現(xiàn)有知識(shí)生成更準(zhǔn)確、更具深度的回答也意味著模型出現(xiàn)幻覺(jué)答案的概率更小?？蓴U(kuò)展性由于RAG采用了檢索—生成的框架因此只需更新檢索部分的數(shù)據(jù)就可以使模型適應(yīng)新的知識(shí)領(lǐng)域。這使得RAG在面對(duì)新領(lǐng)域或不斷更新的知識(shí)庫(kù)時(shí)具有很強(qiáng)的適應(yīng)性。模型可解釋性我們可以理解模型是如何生成回答的。由于RAG的特性我們可以很容易地追溯模型是從哪些文檔中提取信息的。這使得我們可以評(píng)估模型的回答是否基于可靠的數(shù)據(jù)來(lái)源從而提高模型的可信度。成本效益由于RAG的知識(shí)庫(kù)能夠與生成模型解耦因此只要擁有一定的數(shù)據(jù)量企業(yè)便可將RAG作為微調(diào)的替代方法而微調(diào)可能需要大量資源。這種模式對(duì)中小企業(yè)非常友好。從另一個(gè)角度來(lái)看由于企業(yè)的數(shù)據(jù)都是私有的提供相關(guān)文檔作為背景信息可以使生成結(jié)果更加準(zhǔn)確、更具實(shí)用性以滿(mǎn)足企業(yè)的特定任務(wù)需求。缺點(diǎn)依賴(lài)于檢索模塊RAG系統(tǒng)給出的答案極其依賴(lài)于檢索的質(zhì)量。依賴(lài)于現(xiàn)有的知識(shí)庫(kù)RAG依賴(lài)于一個(gè)現(xiàn)有的文檔數(shù)據(jù)庫(kù)進(jìn)行檢索。首先如果沒(méi)有一個(gè)大規(guī)模的知識(shí)庫(kù)就無(wú)法發(fā)揮RAG的優(yōu)點(diǎn)。其次如果知識(shí)庫(kù)覆蓋面不夠無(wú)法召回相應(yīng)的知識(shí)塊那么模型因?yàn)樾枰裱噶畹募s束而無(wú)法給出答案這就會(huì)影響到整個(gè)系統(tǒng)的問(wèn)題覆蓋率。推理耗時(shí)由于RAG系統(tǒng)需要先檢索文檔然后生成答案相比于純粹的大模型推理整個(gè)系統(tǒng)的推理耗時(shí)會(huì)更長(zhǎng)。在使用網(wǎng)頁(yè)端ChatGPT的時(shí)候它以流式打字機(jī)的模式展示并按字來(lái)輸出結(jié)果所以用戶(hù)可能不會(huì)感覺(jué)很慢。上下文窗口限制召回模塊輸出的文檔片段數(shù)量需要考慮到生成模型能處理的最大長(zhǎng)度RAG的使用場(chǎng)景文檔問(wèn)答RAG系統(tǒng)可以從大量文檔中檢索相關(guān)信息幫助回答用戶(hù)提出的問(wèn)題。這種方法可以顯著提高回答質(zhì)量和準(zhǔn)確性因?yàn)樗昧舜罅楷F(xiàn)有的知識(shí)資源。圖譜問(wèn)答知識(shí)圖譜是一種以三元組形式存儲(chǔ)各種知識(shí)的結(jié)構(gòu)化表示方法。它提供了一種統(tǒng)一、可維護(hù)和可擴(kuò)展的知識(shí)表示形式。在圖譜問(wèn)答場(chǎng)景中RAG系統(tǒng)可以從知識(shí)圖譜中檢索相關(guān)實(shí)體和關(guān)系以回答用戶(hù)的問(wèn)題。這種方法可以有效地處理復(fù)雜的問(wèn)題因?yàn)樗梢造`活地組合和推理知識(shí)圖譜中的多跳信息。工具召回在智能代理agent應(yīng)用中RAG系統(tǒng)可以根據(jù)用戶(hù)的問(wèn)題從預(yù)先配置好的工具列表中檢索出對(duì)問(wèn)題回復(fù)有幫助的工具然后模型會(huì)判斷是否調(diào)用某個(gè)工具生成一個(gè)觀(guān)察結(jié)果來(lái)確定最終的答案。這種方法可以提高回答的實(shí)用性和針對(duì)性因?yàn)樗梢愿鶕?jù)問(wèn)題的具體情況選擇合適的工具。示例召回在傳統(tǒng)的FAQ問(wèn)答系統(tǒng)中人工會(huì)提前配置好各種可能的問(wèn)答對(duì)。當(dāng)用戶(hù)咨詢(xún)新的問(wèn)題時(shí)RAG系統(tǒng)可以檢索出與問(wèn)題相關(guān)的問(wèn)答對(duì)并進(jìn)行回復(fù)。這種方法可以提高回答的速度和準(zhǔn)確性因?yàn)樗昧祟A(yù)先準(zhǔn)備好的、經(jīng)過(guò)驗(yàn)證的問(wèn)答對(duì)。通過(guò)不斷更新和擴(kuò)展問(wèn)答對(duì)庫(kù)RAG系統(tǒng)可以持續(xù)提高其性能和覆蓋范圍。除此之外還有一些衍生的場(chǎng)景例如會(huì)話(huà)召回、上下文召回等。伸縮法則是指隨著模型的大小、數(shù)據(jù)集的大小以及用于訓(xùn)練的計(jì)算量的增加模型的性能會(huì)提升。