甘肅交通建設(shè)監(jiān)理公司網(wǎng)站,云端建站快車,wordpress訪問顯示502,什么是順聯(lián)網(wǎng)絡(luò)營銷同樣是做 RAG#xff0c;有些人效果顯著#xff0c;有些人卻表現(xiàn)不佳#xff0c;這很可能與所采用的分塊策略有關(guān)。 所謂分塊策略#xff0c;是指將一個大文本切割為“小塊”的策略。這些“小塊”可以是段落、句子、詞組或受token限制的片段。好的分塊策略具有極強(qiáng)的內(nèi)聚性…同樣是做 RAG有些人效果顯著有些人卻表現(xiàn)不佳這很可能與所采用的分塊策略有關(guān)。所謂分塊策略是指將一個大文本切割為“小塊”的策略。這些“小塊”可以是段落、句子、詞組或受token限制的片段。好的分塊策略具有極強(qiáng)的內(nèi)聚性和語義上下文完整性能夠在很大程度上優(yōu)化索引增強(qiáng)生成RAG的性能。既然分塊策略如此重要那么我們有必要了解一下常見的分塊策略。1.固定大小分塊策略圖1根據(jù)預(yù)先定義的字符數(shù)或token數(shù)將文本進(jìn)行切分在切分中為了保留各塊間關(guān)系快之間會保留一些重疊部分。圖2這種切分方法的優(yōu)勢包括實(shí)現(xiàn)簡單處理速度快不依賴復(fù)雜模型缺點(diǎn)包括可能破壞語義完整性。2.語義分塊策略圖3根據(jù)文本的語義相似度進(jìn)行切分確保每個切分塊內(nèi)主題高度相關(guān)。例如一句一句地進(jìn)行Embedding后然后逐句計算當(dāng)前句子與下一句的Emdedding相似度相似度低于某個閾值時進(jìn)行切分。這種切分方法的優(yōu)點(diǎn)是每個切分塊內(nèi)的語句在邏輯上都很連貫相關(guān)性強(qiáng)特別適合處理主題跳躍較多的文檔缺點(diǎn)是計算成本高處理速度較慢。3.基于遞歸分塊策略圖4從大到小拆分滿足限制條件停止。例如先按照段落拆分如果段落長度大于token限制再將該段落按照句子拆分如果句子長度依然大于token限制直接以token限制為固定長度拆分句子。這種拆分方式的優(yōu)點(diǎn)包括盡可能保留高級別的語義結(jié)構(gòu)段落-句子-片段)適應(yīng)性強(qiáng)缺點(diǎn)是實(shí)現(xiàn)較復(fù)雜性能開銷高于純固定大小分塊。4.基于文檔的分塊策略圖5利用文檔本身的元數(shù)據(jù)和結(jié)構(gòu)信息如標(biāo)題層級、表格、圖片說明等進(jìn)行切分。例如將一個一級標(biāo)題下的所有內(nèi)容作為一個拆分塊或者將每個表格作為一個拆分塊。這種拆分方式的優(yōu)點(diǎn)包括完美貼合特定類型文檔如法律合同、學(xué)術(shù)論文、報告的邏輯結(jié)構(gòu)信息組織性強(qiáng)缺點(diǎn)包括高度依賴文檔的結(jié)構(gòu)性也就是說對于普通文檔適用性不強(qiáng)。5.智能體分塊策略圖6根據(jù)Agent將要執(zhí)行的具體任務(wù)來決定如何分塊。Agent會先理解自己要執(zhí)行的任務(wù)然后自適應(yīng)地從文檔中提取和組織最相關(guān)的信息塊。例如任務(wù)是“總結(jié)”那么可能提取關(guān)鍵論點(diǎn)任務(wù)是“回答特定問題”則可能精準(zhǔn)定位相關(guān)證據(jù)。這種切分方式的優(yōu)點(diǎn)包括靈活性和針對性極高能最大化任務(wù)效果缺點(diǎn)包括實(shí)現(xiàn)復(fù)雜通常需要強(qiáng)大的規(guī)劃和推理能力目前還不普及。6.基于句子的分塊策略類似2圖7將文本切分成完整的句子確保每個切分塊都包含一個或多個完整的上下文。例如使用NLP工具如NLTKSpaCy識別句子邊界然后將幾個連續(xù)的句子組合成一個切分塊。這種切分方式的優(yōu)點(diǎn)包括保證了基本的語義單元完整避免了“半句話”問題缺點(diǎn)包括句子長度差異可能導(dǎo)致切分塊大小不均勻多個句子組合時仍需要確定最佳組合策略這個組合策略確定起來不容易。7.基于段落的分塊策略圖8通過提示符截取將整個文本劃分成多個段落比較適合結(jié)構(gòu)清晰的文檔例如保險條款、法律、論文等。這種切分方式的優(yōu)點(diǎn)包括自然分段語義完整缺點(diǎn)包括段落長度不一可能超過token長度限制。上面介紹了這么多切分方式那么選擇哪個呢推薦段落分塊-句子分塊-遞歸分塊-語義分塊。分塊閾值如何確定經(jīng)驗(yàn)值大小為5121024塊之間的重疊率為10%15%。最后多使用遞歸分塊和句子分塊語義分塊還不太靠譜。如何學(xué)習(xí)AI大模型我在一線互聯(lián)網(wǎng)企業(yè)工作十余年里指導(dǎo)過不少同行后輩。幫助很多人得到了學(xué)習(xí)和成長。我意識到有很多經(jīng)驗(yàn)和知識值得分享給大家也可以通過我們的能力和經(jīng)驗(yàn)解答大家在人工智能學(xué)習(xí)中的很多困惑所以在工作繁忙的情況下還是堅持各種整理和分享。但苦于知識傳播途徑有限很多互聯(lián)網(wǎng)行業(yè)朋友無法獲得正確的資料得到學(xué)習(xí)提升故此將并將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書籍手冊、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來。這份完整版的大模型 AI 學(xué)習(xí)和面試資料已經(jīng)上傳CSDN朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】第一階段從大模型系統(tǒng)設(shè)計入手講解大模型的主要方法第二階段在通過大模型提示詞工程從Prompts角度入手更好發(fā)揮模型的作用第三階段大模型平臺應(yīng)用開發(fā)借助阿里云PAI平臺構(gòu)建電商領(lǐng)域虛擬試衣系統(tǒng)第四階段大模型知識庫應(yīng)用開發(fā)以LangChain框架為例構(gòu)建物流行業(yè)咨詢智能問答系統(tǒng)第五階段大模型微調(diào)開發(fā)借助以大健康、新零售、新媒體領(lǐng)域構(gòu)建適合當(dāng)前領(lǐng)域大模型第六階段以SD多模態(tài)大模型為主搭建了文生圖小程序案例第七階段以大模型平臺應(yīng)用與開發(fā)為主通過星火大模型文心大模型等成熟大模型構(gòu)建大模型行業(yè)應(yīng)用。學(xué)會后的收獲? 基于大模型全棧工程實(shí)現(xiàn)前端、后端、產(chǎn)品經(jīng)理、設(shè)計、數(shù)據(jù)分析等通過這門課可獲得不同能力? 能夠利用大模型解決相關(guān)實(shí)際項目需求 大數(shù)據(jù)時代越來越多的企業(yè)和機(jī)構(gòu)需要處理海量數(shù)據(jù)利用大模型技術(shù)可以更好地處理這些數(shù)據(jù)提高數(shù)據(jù)分析和決策的準(zhǔn)確性。因此掌握大模型應(yīng)用開發(fā)技能可以讓程序員更好地應(yīng)對實(shí)際項目需求? 基于大模型和企業(yè)數(shù)據(jù)AI應(yīng)用開發(fā)實(shí)現(xiàn)大模型理論、掌握GPU算力、硬件、LangChain開發(fā)框架和項目實(shí)戰(zhàn)技能 學(xué)會Fine-tuning垂直訓(xùn)練大模型數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)蒸餾、大模型部署一站式掌握? 能夠完成時下熱門大模型垂直領(lǐng)域模型訓(xùn)練能力提高程序員的編碼能力 大模型應(yīng)用開發(fā)需要掌握機(jī)器學(xué)習(xí)算法、深度學(xué)習(xí)框架等技術(shù)這些技術(shù)的掌握可以提高程序員的編碼能力和分析能力讓程序員更加熟練地編寫高質(zhì)量的代碼。1.AI大模型學(xué)習(xí)路線圖2.100套AI大模型商業(yè)化落地方案3.100集大模型視頻教程4.200本大模型PDF書籍5.LLM面試題合集6.AI產(chǎn)品經(jīng)理資源合集獲取方式有需要的小伙伴可以保存圖片到wx掃描二v碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】