網(wǎng)站建設(shè)模板后臺,百度網(wǎng)盤app下載安裝 官方下載,餐飲公司網(wǎng)站模板下載,中文個(gè)人網(wǎng)站欣賞來自Illuin Technology、巴黎中央理工-高等電力學(xué)院、蘇黎世聯(lián)邦理工學(xué)院等機(jī)構(gòu)的團(tuán)隊(duì)#xff0c;在2025年ICLR會(huì)議上提出了顛覆性解決方案——ColPali模型與ViDoRe基準(zhǔn)測試#xff0c;直接通過文檔圖像生成嵌入向量#xff0c;完美融合文本與視覺信息#xff0c;徹底簡化檢…來自Illuin Technology、巴黎中央理工-高等電力學(xué)院、蘇黎世聯(lián)邦理工學(xué)院等機(jī)構(gòu)的團(tuán)隊(duì)在2025年ICLR會(huì)議上提出了顛覆性解決方案——ColPali模型與ViDoRe基準(zhǔn)測試直接通過文檔圖像生成嵌入向量完美融合文本與視覺信息徹底簡化檢索流程并實(shí)現(xiàn)性能飛躍。在RAG應(yīng)用、學(xué)術(shù)文獻(xiàn)檢索等實(shí)際場景中我們常遇到包含圖表、復(fù)雜布局、多語言內(nèi)容的“視覺豐富文檔”。傳統(tǒng)檢索系統(tǒng)要先經(jīng)過PDF解析、OCR提取、布局檢測等繁瑣步驟不僅耗時(shí)還容易丟失視覺信息導(dǎo)致檢索效果大打折扣。來自Illuin Technology、巴黎中央理工-高等電力學(xué)院、蘇黎世聯(lián)邦理工學(xué)院等機(jī)構(gòu)的團(tuán)隊(duì)在2025年ICLR會(huì)議上提出了顛覆性解決方案——ColPali模型與ViDoRe基準(zhǔn)測試直接通過文檔圖像生成嵌入向量完美融合文本與視覺信息徹底簡化檢索流程并實(shí)現(xiàn)性能飛躍。項(xiàng)目地址https://hf.co/vidore 論文地址https://arxiv.org/pdf/2407.0144901、痛點(diǎn)直擊傳統(tǒng)文檔檢索的兩大致命缺陷現(xiàn)代文檔檢索系統(tǒng)之所以難以應(yīng)對視覺豐富文檔核心問題集中在兩點(diǎn)預(yù)處理鏈路冗長脆弱標(biāo)準(zhǔn)PDF檢索需要經(jīng)過“PDF解析→OCR文字提取→布局檢測→文本分塊→視覺元素描述”等多步驟流程僅OCR和布局檢測就占用大量時(shí)間且每一步都可能引入誤差比如復(fù)雜表格的OCR識別錯(cuò)誤、分塊破壞語義連貫性等。視覺信息利用不足文檔中的圖表、配色、字體、空間布局等視覺元素往往承載著關(guān)鍵信息如折線圖的趨勢、表格的結(jié)構(gòu)關(guān)系但傳統(tǒng)系統(tǒng)要么直接忽略這些元素要么通過文本描述間接轉(zhuǎn)化導(dǎo)致信息丟失或扭曲。這些問題使得傳統(tǒng)系統(tǒng)在RAG、學(xué)術(shù)文獻(xiàn)檢索等實(shí)際場景中既無法保證檢索精度又難以滿足低延遲、高吞吐量的工業(yè)需求。02、核心貢獻(xiàn)兩大突破重新定義文檔檢索ViDoRe基準(zhǔn)測試首個(gè)視覺豐富文檔檢索的“全能評估平臺”此前的基準(zhǔn)測試要么只關(guān)注純文本檢索要么局限于自然圖像匹配無法全面評估視覺豐富文檔的檢索能力。ViDoRe的出現(xiàn)填補(bǔ)了這一空白其核心特點(diǎn)的是“全場景覆蓋”多維度任務(wù)設(shè)計(jì)涵蓋學(xué)術(shù)任務(wù)與實(shí)際任務(wù)兩大類別覆蓋文本、圖表、表格、信息圖表等多種模態(tài)涉及醫(yī)學(xué)、商業(yè)、科學(xué)、行政等多個(gè)領(lǐng)域支持英語、法語兩種語言。高質(zhì)量數(shù)據(jù)集構(gòu)建學(xué)術(shù)任務(wù)復(fù)用DocVQA、InfoVQA等經(jīng)典數(shù)據(jù)集共包含500-1600個(gè)查詢-頁面對聚焦特定視覺模態(tài)的檢索能力實(shí)際任務(wù)通過網(wǎng)絡(luò)爬蟲收集1000個(gè)文檔頁面/主題利用Claude-3 Sonnet生成查詢并經(jīng)人工篩選確保每個(gè)主題有100個(gè)高質(zhì)量查詢貼近工業(yè)實(shí)際場景。全面評估指標(biāo)不僅包含nDCG5、RecallK、MRR等標(biāo)準(zhǔn)檢索指標(biāo)還新增查詢延遲在線性能、索引吞吐量離線效率兩項(xiàng)工業(yè)關(guān)鍵指標(biāo)實(shí)現(xiàn)“性能效率”雙重評估。ViDoRe已開放公開排行榜https://huggingface.co/spaces/vidore/vidore-leaderboard為文檔檢索研究提供統(tǒng)一的評估標(biāo)準(zhǔn)。ColPali模型視覺語言模型驅(qū)動(dòng)的端到端檢索方案ColPali的核心創(chuàng)新是“直接從文檔圖像生成多向量嵌入”無需任何預(yù)處理步驟其架構(gòu)設(shè)計(jì)圍繞三大核心組件展開1基礎(chǔ)模型選型PaliGemma-3B的高效適配選擇PaliGemma-3B作為基礎(chǔ)模型原因在于它具備三大優(yōu)勢輕量化設(shè)計(jì)30億參數(shù)規(guī)模兼顧性能與效率跨模態(tài)對齊通過SigLIP視覺編碼器與Gemma-2B語言模型的融合實(shí)現(xiàn)圖像與文本的深度對齊靈活的前綴注意力支持圖像patch與文本指令的全注意力交互適合檢索任務(wù)的細(xì)粒度匹配需求。2核心機(jī)制多向量嵌入延遲交互這是ColPali超越傳統(tǒng)模型的關(guān)鍵多向量嵌入為文檔圖像的每個(gè)patch生成獨(dú)立嵌入向量再通過投影層映射到128維空間保留細(xì)粒度視覺與文本信息延遲交互Late Interaction查詢時(shí)計(jì)算每個(gè)查詢token與所有文檔patch嵌入的最大相似度再求和得到最終相關(guān)性分?jǐn)?shù)公式如下這種方式既保留了bi-encoder的高效性又具備cross-encoder的細(xì)粒度匹配能力。3訓(xùn)練策略對比學(xué)習(xí)數(shù)據(jù)增強(qiáng)訓(xùn)練數(shù)據(jù)118,695個(gè)查詢-頁面對包含63%學(xué)術(shù)數(shù)據(jù)集和37%合成數(shù)據(jù)網(wǎng)絡(luò)爬取PDFVLM生成偽查詢?nèi)⑽挠?xùn)練以驗(yàn)證零-shot跨語言能力損失函數(shù)采用批內(nèi)對比損失優(yōu)化正樣本相關(guān)文檔與負(fù)樣本最相似無關(guān)文檔的相似度差異公式如下優(yōu)化技巧使用LoRA低秩適配、8bit量化優(yōu)化、查詢增強(qiáng)添加5個(gè)unused0tokens等平衡訓(xùn)練效率與模型性能。03、實(shí)驗(yàn)結(jié)果全面碾壓傳統(tǒng)方案性能與效率雙豐收本次實(shí)驗(yàn)選取三類主流檢索系統(tǒng)作為對比基準(zhǔn)基于文本的檢索系統(tǒng)Text-Based Retrieval Systems使用Unstructured工具從PDF文檔中提取文本塊并使用BM25或BGE-M3嵌入模型進(jìn)行檢索。這些系統(tǒng)僅依賴于文本信息忽略了文檔中的視覺元素。增強(qiáng)型檢索系統(tǒng)Enhanced Retrieval SystemsUnstructured OCR在提取文本的基礎(chǔ)上對文檔中的圖表、表格和圖像進(jìn)行OCR處理并將這些視覺元素獨(dú)立索引。Unstructured Captioning使用視覺語言模型為視覺元素生成詳細(xì)的描述文本并將這些描述納入檢索流程。這些方法雖然能夠利用部分視覺信息但顯著增加了預(yù)處理的復(fù)雜性和延遲。對比學(xué)習(xí)視覺語言模型Contrastive Vision-Language Models評估了如Jina CLIP、Nomic Embed Vision、SigLIP等模型。這些模型雖然在圖像和文本對齊方面表現(xiàn)出色但在文檔檢索任務(wù)中表現(xiàn)欠佳。性能全場景霸榜視覺復(fù)雜任務(wù)提升顯著以nDCG5為核心評估指標(biāo)ColPali在所有任務(wù)中均展現(xiàn)出壓倒性優(yōu)勢尤其在依賴視覺信息的復(fù)雜場景中性能提升幅度達(dá)到20%-30%。BiSigLIP微調(diào)視覺模型在SigLIP基礎(chǔ)上對文本組件進(jìn)行文檔檢索專項(xiàng)微調(diào)后性能全面提升。ArxivQA科學(xué)圖表檢索任務(wù)中nDCG5從43.2提升至58.5TabFQuAD法語表格檢索從58.1提升至62.7證明針對文檔場景的微調(diào)能讓視覺語言模型更好地適配文本與視覺的聯(lián)合理解。BiPali將圖像patch輸入到LLM通過將圖像patch嵌入輸入Gemma-2B語言模型借助LLM的上下文理解能力增強(qiáng)視覺表示。在法語TabFQuAD任務(wù)中nDCG5達(dá)到76.9遠(yuǎn)超BiSigLIP的62.7即使訓(xùn)練數(shù)據(jù)中無法語樣本仍實(shí)現(xiàn)零-shot跨語言性能突破驗(yàn)證了LLM對多語言語義理解的遷移價(jià)值。ColPali多向量嵌入與延遲交互融合多向量表示與延遲交互機(jī)制后性能實(shí)現(xiàn)質(zhì)的飛躍。在InfographicVQA信息圖表任務(wù)中nDCG5達(dá)到81.8較BiSigLIP高出22.6個(gè)百分點(diǎn)ArxivQA科學(xué)圖表任務(wù)中79.1的得分較增強(qiáng)型檢索系統(tǒng)的最優(yōu)值UnstructuredCaptioningBGE-M3為40.1翻倍即使在文本密集的Government行政文檔、Healthcare醫(yī)療文檔任務(wù)中也以92.7、94.4的高分領(lǐng)先證明其對文本與視覺信息的全面捕捉能力。從整體表現(xiàn)來看ColPali的平均nDCG5達(dá)到81.3較增強(qiáng)型檢索系統(tǒng)的最優(yōu)均值67.0提升21.3%較最優(yōu)對比視覺語言模型SigLIP微調(diào)版58.6提升38.7%解決了傳統(tǒng)系統(tǒng)“視覺信息利用不足”的核心痛點(diǎn)。在線查詢低延遲適配工業(yè)需求在線查詢延遲直接影響用戶體驗(yàn)實(shí)驗(yàn)在NVIDIA L4 GPU上測試1000條查詢的平均延遲傳統(tǒng)檢索系統(tǒng)BGE-M3因僅需計(jì)算文本向量相似度延遲最低約22ms/查詢ColPali查詢編碼需處理文本與圖像的多向量交互延遲約30ms/查詢僅比BGE-M3高8ms對比優(yōu)化空間通過集成PLAID等高效延遲交互引擎可支持百萬級文檔庫檢索且延遲 degradation 可控完全滿足工業(yè)場景下“低延遲響應(yīng)”的核心需求。離線索引跳過預(yù)處理索引速度提升18倍離線索引的核心瓶頸在于文檔預(yù)處理流程ColPali通過直接處理文檔圖像徹底簡化了索引鏈路效率優(yōu)勢顯著。傳統(tǒng)檢索方法的局限性增強(qiáng)型檢索系統(tǒng)需經(jīng)過“布局檢測0.81s→OCR2.67s→Captioning3.71s→頁面編碼0.03s”等步驟單頁面索引總耗時(shí)達(dá)7.22s其中視覺元素處理占比超99%成為效率瓶頸。ColPali的優(yōu)勢直接接收文檔圖像輸入無需任何預(yù)處理單頁面索引僅需0.39s速度較增強(qiáng)型檢索系統(tǒng)提升18倍同時(shí)支持批量處理批大小4借助Flash Attention等優(yōu)化技術(shù)可充分利用GPU算力進(jìn)一步提升索引吞吐量滿足大規(guī)模文檔庫的快速構(gòu)建需求。Token池化冗余壓縮與性能平衡的最優(yōu)解針對圖像patch中的冗余信息如白色背景、空白區(qū)域Token池化技術(shù)可在不顯著損失性能的前提下降低存儲與計(jì)算成本核心原理基于CRUDE原則支持文檔動(dòng)態(tài)增刪對語義相似或無意義的patch嵌入進(jìn)行合并減少向量數(shù)量。實(shí)驗(yàn)結(jié)果當(dāng)池化因子為3時(shí)向量總數(shù)減少66.7%所有任務(wù)的平均相對性能保持在97.8%其中Energy能源文檔、InfoVQA信息圖表任務(wù)性能損失不足1%證明冗余patch的有效壓縮不會(huì)影響核心信息捕捉。特殊場景說明Shift數(shù)據(jù)集文本密集型文檔因冗余patch少池化后性能損失略高約5%建議此類信息密集型場景采用較小池化因子≤2平衡存儲與性能?？山忉屝钥梢暬瘺Q策過程提升信任度ColPali的延遲交互機(jī)制天然支持細(xì)粒度可視化通過延遲交互熱圖可直觀展示模型的匹配邏輯如圖3精準(zhǔn)文本匹配查詢tokenhour與圖像中“hourly”“hours”等文字patch形成高相似度匹配體現(xiàn)強(qiáng)大的隱式OCR能力視覺特征理解除文本外模型還關(guān)注圖表中表示小時(shí)的x軸、時(shí)間相關(guān)的坐標(biāo)軸刻度等非文本視覺元素證明其對視覺語義的深度理解實(shí)用價(jià)值可視化結(jié)果可幫助用戶驗(yàn)證檢索相關(guān)性的合理性尤其在學(xué)術(shù)、醫(yī)療等高精度需求場景中能顯著提升模型的可信任度。04、總結(jié)基于視覺檢索的方案如 ColPali為解決傳統(tǒng)基于文本的檢索范式問題提供了全新思路。通過直接對文檔圖像進(jìn)行編碼跳過復(fù)雜預(yù)處理步驟不僅將索引速度提升一個(gè)數(shù)量級更能完整保留文本、圖表、布局等多模態(tài)信息的原生關(guān)聯(lián)從根源上緩解了傳統(tǒng)范式的信息損耗問題。這種 “視覺空間檢索” 的創(chuàng)新范式尤其適配學(xué)術(shù)論文、金融報(bào)告、醫(yī)療文檔等視覺元素密集的場景實(shí)現(xiàn)了檢索能力的質(zhì)的飛躍。但與此同時(shí)視覺檢索也面臨著核心權(quán)衡一方面圖文對齊的鴻溝依然存在如何讓模型精準(zhǔn)理解圖像中文本的語義與視覺元素的關(guān)聯(lián)仍是需要持續(xù)優(yōu)化的關(guān)鍵另一方面與技術(shù)成熟的純文本檢索相比視覺檢索在早期面臨檢索精度波動(dòng)的問題尤其在文本密集、視覺冗余的場景中需通過多向量表示、延遲交互、專項(xiàng)微調(diào)等技術(shù)手段彌補(bǔ)差距。未來檢索策略的選擇不是 “非此即彼” 的二元對立而是需根據(jù)具體場景進(jìn)行個(gè)性化適配或融合設(shè)計(jì)。若處理以純文本為主、結(jié)構(gòu)簡單的文檔如新聞稿、普通郵件技術(shù)成熟、精度穩(wěn)定的傳統(tǒng)文本檢索仍是高效選擇若面對學(xué)術(shù)論文、金融報(bào)表、醫(yī)療影像報(bào)告等視覺元素密集的復(fù)雜文檔ColPali 這類視覺檢索方案能更好地發(fā)揮信息完整性與效率優(yōu)勢對于混合場景則可采用 “視覺檢索 文本檢索” 的融合策略通過互補(bǔ)機(jī)制兼顧各類文檔的檢索需求。如果你想更深入地學(xué)習(xí)大模型以下是一些非常有價(jià)值的學(xué)習(xí)資源這些資源將幫助你從不同角度學(xué)習(xí)大模型提升你的實(shí)踐能力。一、全套AGI大模型學(xué)習(xí)路線AI大模型時(shí)代的學(xué)習(xí)之旅從基礎(chǔ)到前沿掌握人工智能的核心技能?因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲取二、640套AI大模型報(bào)告合集這套包含640份報(bào)告的合集涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無論您是科研人員、工程師還是對AI大模型感興趣的愛好者這套報(bào)告合集都將為您提供寶貴的信息和啟示因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲取三、AI大模型經(jīng)典PDF籍隨著人工智能技術(shù)的飛速發(fā)展AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型如GPT-3、BERT、XLNet等以其強(qiáng)大的語言理解和生成能力正在改變我們對人工智能的認(rèn)識。 那以下這些PDF籍就是非常不錯(cuò)的學(xué)習(xí)資源。因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲取四、AI大模型商業(yè)化落地方案作為普通人入局大模型時(shí)代需要持續(xù)學(xué)習(xí)和實(shí)踐不斷提高自己的技能和認(rèn)知水平同時(shí)也需要有責(zé)任感和倫理意識為人工智能的健康發(fā)展貢獻(xiàn)力量。