哪家做網(wǎng)站好 成都,asp.net做網(wǎng)站Dreamver,做導(dǎo)航網(wǎng)站怎么盈利,淘客怎么做網(wǎng)站筆記整理#xff1a;呂恬雯#xff0c;浙江大學(xué)研究生#xff0c;研究方向?yàn)榇笳Z(yǔ)言模型、AI for Science論文鏈接#xff1a;https://openreview.net/pdf?idrTCJ29pkuA發(fā)表會(huì)議#xff1a;ICLR 20251. 動(dòng)機(jī)大型語(yǔ)言模型#xff08;LLMs#xff09;在處理知識(shí)圖譜#…筆記整理呂恬雯浙江大學(xué)研究生研究方向?yàn)榇笳Z(yǔ)言模型、AI for Science論文鏈接https://openreview.net/pdf?idrTCJ29pkuA發(fā)表會(huì)議ICLR 20251. 動(dòng)機(jī)大型語(yǔ)言模型LLMs在處理知識(shí)圖譜KGs方面取得了進(jìn)展但現(xiàn)有的方法存在很高的非檢索率non-retrieval rate。這種限制降低了基于知識(shí)圖譜問(wèn)答的準(zhǔn)確性。分析表明貪婪搜索greedy search和前向推理forward reasoning的結(jié)合是導(dǎo)致此問(wèn)題的主要原因。非檢索失敗的主要原因可分為三類(lèi)1誤導(dǎo)Misdirection占68.8%即正確的路徑與檢索到的路徑并行但模型在第一步選錯(cuò)后就很難再找到正確路徑。2深度限制Depth Limitation占25.2%正確路徑的長(zhǎng)度超過(guò)了最大允許的推理長(zhǎng)度。3路徑缺失Path Absence占6.0%?，F(xiàn)有方法的共同限制1基于子圖的檢索subgraph reasoning結(jié)構(gòu)化強(qiáng)但理解性弱。2基于 LLM 的迭代推理LLM reasoning如 ToG理解強(qiáng)但路徑容易走偏。兩者都依賴(lài)單一步的貪心策略導(dǎo)致錯(cuò)誤累積無(wú)法解決誤導(dǎo)和深度限制問(wèn)題。2. 貢獻(xiàn)本文的主要貢獻(xiàn)有1設(shè)計(jì)提出了超關(guān)系super-relations的概念即特定領(lǐng)域內(nèi)一組關(guān)系的集合。使用超關(guān)系可以通過(guò)包含大量關(guān)系來(lái)進(jìn)行高效推理同時(shí)增強(qiáng)推理路徑的深度和寬度以解決非檢索問(wèn)題。2框架提出了一個(gè)名為ReKnoSReason over Knowledge Graphs with Super-Relations的新型推理框架。該框架集成了超關(guān)系能同時(shí)表示多條關(guān)系路徑在不丟棄潛在連接的情況下顯著擴(kuò)展搜索空間。3實(shí)驗(yàn)在九個(gè)真實(shí)世界的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。結(jié)果表明ReKnoS在檢索成功率和搜索空間大小方面均顯著優(yōu)于傳統(tǒng)方法平均準(zhǔn)確率提高了2.92%。3. 方法本文提出的ReKnoS框架旨在利用超關(guān)系來(lái)擴(kuò)展搜索并提高檢索效率。1核心概念超關(guān)系Super-Relations超關(guān)系被定義為一組更細(xì)粒度的、詳細(xì)的關(guān)系的集合。例如超關(guān)系 music.featured_artist 可以包括 music.featured_artist.recordings 和 music.featured_artist.albums 等具體關(guān)系。在Wikidata等知識(shí)圖譜中這種層級(jí)關(guān)系是固有的例如將第二級(jí)關(guān)系視為超關(guān)系)。2ReKnoS 框架流程框架最多包含 L 個(gè)推理步驟。步驟 0分析器Analyzer從輸入問(wèn)題中提取查詢(xún)實(shí)體Topic Entity。步驟 1...L推理Reasoning Steps候選選擇Candidate Selection在第步框架首先確定候選超關(guān)系集這些超關(guān)系必須與第步選定的超關(guān)系集中的至少一個(gè)超關(guān)系相連。評(píng)分ScoringLLM 對(duì)中的所有候選超關(guān)系進(jìn)行評(píng)分范圍0到1。然后框架選擇得分最高的 N 個(gè)超關(guān)系組成新的超關(guān)系集。決策與實(shí)體提取Decision Entity ExtractionLLM 根據(jù)當(dāng)前檢索到的路徑和實(shí)體決定是a從當(dāng)前實(shí)體中提取答案還是b繼續(xù)進(jìn)行下一步推理。路徑選擇Path Selection框架會(huì)從多條可能的“超關(guān)系路徑”中選出得分最高的 K 條路徑路徑得分由其包含的超關(guān)系得分之和確定。最終實(shí)體選擇Final Entity Selection提取滿足這 K 條最優(yōu)超關(guān)系路徑的最終實(shí)體集。步驟 L1積分器IntegratorLLM 匯總所有收集到的推理路徑和最終實(shí)體生成最終答案。3效率優(yōu)勢(shì)與 ToG 等基線方法相比ReKnoS 的效率更高。ToG 需要評(píng)估的路徑數(shù)隨深度呈指數(shù)增長(zhǎng)。而 ReKnoS 在每一步中LLM 評(píng)估的超關(guān)系數(shù)量最多為 N即候選集大小與深度無(wú)關(guān)顯著減少了LLM的調(diào)用次數(shù)。4. 實(shí)驗(yàn)1數(shù)據(jù)集和基線數(shù)據(jù)集使用了9個(gè)數(shù)據(jù)集涵蓋多種KGQA任務(wù)如GrailQA、CWQ、WebQSP、SimpleQA以及T-REx、HotpotQA等。基線包括IO、CoT、Self-Consistency以及SOTA的KG推理方法StructGPT、Think-on-Graph (ToG) 和 KG-Agent。度量標(biāo)準(zhǔn)主要是 Hits1精確匹配準(zhǔn)確率。2核心結(jié)果性能對(duì)比ReKnoS 在大多數(shù)數(shù)據(jù)集上均優(yōu)于所有基線尤其是在需要復(fù)雜推理的數(shù)據(jù)集上如GrailQA和CWQ 。例如在GrailQA上使用GPT-3.5時(shí)ReKnoS (71.9%) 優(yōu)于 KG-Agent (68.9%)使用GPT-40-mini時(shí)ReKnoS (80.5%) 優(yōu)于 KG-Agent (77.5%) 。超關(guān)系分析ReKnoS 具有明顯更大的搜索空間。在GrailQA上其平均搜索空間大小即搜索過(guò)程中遇到的事實(shí)三元組數(shù)量比 KG-Agent 和 ToG 分別高出 42% 和 55%。這使得ReKnoS更有可能檢索到正確的答案三元組。效率分析ReKnoS 在保持卓越性能的同時(shí)實(shí)現(xiàn)了最低的平均LLM調(diào)用次數(shù)。例如在WebQSP上ReKnoS 平均調(diào)用 3.7 次而 ToG 為 15.3 次。ReKnoS的調(diào)用次數(shù)與搜索寬度 N 無(wú)關(guān)而 ToG 的調(diào)用次數(shù)則依賴(lài)于 N。超參數(shù)分析增加搜索寬度 N 和最大長(zhǎng)度 L 均能帶來(lái)性能提升。當(dāng) N 從 3 降到 1 時(shí)性能顯著下降例如 L3 時(shí)Hits1 從 81.1% 降至 76.2%表明 N即搜索寬度對(duì)框架性能至關(guān)重要。5. 總結(jié)本文提出了 ReKnoS 框架該框架利用“超關(guān)系”在知識(shí)圖譜推理過(guò)程中包含大量關(guān)系。通過(guò)實(shí)現(xiàn)多關(guān)系路徑的同時(shí)表示和探索ReKnoS 顯著擴(kuò)展了KG的推理搜索空間同時(shí)避免了有價(jià)值信息的丟失。大量實(shí)驗(yàn)證明ReKnoS 的性能超越了現(xiàn)有的SOTA基線展示了超關(guān)系在推進(jìn)復(fù)雜KG推理任務(wù)方面的潛力。OpenKGOpenKG中文開(kāi)放知識(shí)圖譜旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開(kāi)放、互聯(lián)及眾包并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開(kāi)源開(kāi)放。點(diǎn)擊閱讀原文進(jìn)入 OpenKG 網(wǎng)站。