做網(wǎng)站的背景怎么調(diào)整大小,網(wǎng)站生成靜態(tài),線上購(gòu)物網(wǎng)站開(kāi)發(fā),中山三水網(wǎng)站建設(shè)點(diǎn)擊下方卡片#xff0c;關(guān)注“自動(dòng)駕駛之心”公眾號(hào)戳我- 領(lǐng)取自動(dòng)駕駛近30個(gè)方向?qū)W習(xí)路線自動(dòng)駕駛前沿信息獲取→自動(dòng)駕駛之心知識(shí)星球論文作者 | Hongbin Lin等編輯 | 自動(dòng)駕駛之心港中文聯(lián)合小鵬最新的一篇工作#xff0c;很有意思。基于潛在思維鏈?zhǔn)澜缒Ｐ驮觥c(diǎn)擊下方卡片關(guān)注“自動(dòng)駕駛之心”公眾號(hào)戳我-領(lǐng)取自動(dòng)駕駛近30個(gè)方向?qū)W習(xí)路線自動(dòng)駕駛前沿信息獲取→自動(dòng)駕駛之心知識(shí)星球論文作者 | Hongbin Lin等編輯 | 自動(dòng)駕駛之心港中文聯(lián)合小鵬最新的一篇工作很有意思。基于潛在思維鏈?zhǔn)澜缒Ｐ驮鰪?qiáng)端到端的能力有一些值得業(yè)內(nèi)嘗試的改進(jìn)點(diǎn)自動(dòng)思考開(kāi)關(guān)判斷當(dāng)前場(chǎng)景是否需要Reasoning以生成更高質(zhì)量的軌跡適合復(fù)雜場(chǎng)景優(yōu)化思考模式基于潛在世界模型生成未來(lái)場(chǎng)景表征進(jìn)一步利用總結(jié)網(wǎng)絡(luò)Summarizer Network優(yōu)化生成軌跡即時(shí)模式適合簡(jiǎn)單場(chǎng)景直接利用總結(jié)網(wǎng)絡(luò)輸出自車(chē)軌跡這和前一段時(shí)間港中文提出的AdaDrive有異曲同工之處。這折射出一個(gè)觀點(diǎn)思維鏈?zhǔn)潜仨毜牡螘r(shí)使用思維鏈推理需要仔細(xì)設(shè)計(jì)。在自動(dòng)駕駛領(lǐng)域端到端規(guī)劃器從原始傳感器數(shù)據(jù)中學(xué)習(xí)場(chǎng)景表征并利用這些表征生成運(yùn)動(dòng)規(guī)劃或控制指令。然而僅依賴(lài)當(dāng)前場(chǎng)景進(jìn)行運(yùn)動(dòng)規(guī)劃在高度動(dòng)態(tài)的交通環(huán)境中可能導(dǎo)致次優(yōu)響應(yīng)——在這類(lèi)環(huán)境中自車(chē)行為會(huì)進(jìn)一步改變未來(lái)場(chǎng)景。為了建模未來(lái)場(chǎng)景的演變過(guò)程我們借助世界模型World Model來(lái)表征自車(chē)與其環(huán)境隨時(shí)間的相互作用及變化這一過(guò)程涉及復(fù)雜的推理。思維鏈通過(guò)預(yù)測(cè)一系列未來(lái)思考進(jìn)而指導(dǎo)軌跡優(yōu)化為解決該問(wèn)題提供了一種極具潛力的方案。本文提出FutureX一種思維鏈驅(qū)動(dòng)的流水線框架通過(guò)未來(lái)場(chǎng)景潛在推理與軌跡優(yōu)化增強(qiáng)端到端規(guī)劃器的復(fù)雜運(yùn)動(dòng)規(guī)劃能力。具體而言自動(dòng)思考開(kāi)關(guān)會(huì)分析當(dāng)前場(chǎng)景判斷是否需要額外推理以生成更高質(zhì)量的運(yùn)動(dòng)規(guī)劃。當(dāng)FutureX進(jìn)入思考模式時(shí)潛在世界模型會(huì)執(zhí)行思維鏈引導(dǎo)的滾動(dòng)預(yù)測(cè)生成未來(lái)場(chǎng)景表征進(jìn)而讓總結(jié)網(wǎng)絡(luò)對(duì)運(yùn)動(dòng)規(guī)劃進(jìn)行優(yōu)化否則FutureX將以即時(shí)模式Instant mode運(yùn)行通過(guò)前向傳播快速生成運(yùn)動(dòng)規(guī)劃適用于相對(duì)簡(jiǎn)單的場(chǎng)景。大量實(shí)驗(yàn)表明FutureX在不影響效率的前提下能增強(qiáng)現(xiàn)有方法的性能生成更合理的運(yùn)動(dòng)規(guī)劃減少碰撞事故實(shí)現(xiàn)整體性能的顯著提升——例如在NAVSIM數(shù)據(jù)集上FutureX使TransFuser的預(yù)測(cè)駕駛員模型得分PDMS提升了6.2。一、背景回顧端到端E2E自動(dòng)駕駛指的是通過(guò)完全可微分的映射直接將多模態(tài)原始傳感器數(shù)據(jù)流轉(zhuǎn)換為運(yùn)動(dòng)規(guī)劃或底層驅(qū)動(dòng)指令的技術(shù)流水線。該領(lǐng)域在算法方案和基準(zhǔn)測(cè)試兩方面均取得了快速發(fā)展。盡管面臨固有挑戰(zhàn)現(xiàn)有方法仍實(shí)現(xiàn)了顯著進(jìn)步。在這些成功背后現(xiàn)有端到端自動(dòng)駕駛系統(tǒng)通過(guò)單一神經(jīng)網(wǎng)絡(luò)直接將傳感器輸入映射為控制輸出執(zhí)行高效的一次性前向預(yù)測(cè)而無(wú)需進(jìn)一步“思考”。這導(dǎo)致它們?cè)趶?fù)雜環(huán)境中缺乏適應(yīng)性和可解釋性圖1第二行。在人類(lèi)認(rèn)知中駕駛員在執(zhí)行任何操作前都會(huì)在腦海中模擬可能的未來(lái)場(chǎng)景預(yù)測(cè)周?chē)?chē)輛的運(yùn)動(dòng)趨勢(shì)、場(chǎng)景的演變方向以及每種可能行為的潛在結(jié)果圖1第一行。這種內(nèi)在推理能力使人類(lèi)能夠做出安全且貼合場(chǎng)景的決策。因此對(duì)于端到端系統(tǒng)而言在高度動(dòng)態(tài)的交通環(huán)境中推斷未來(lái)場(chǎng)景至關(guān)重要。ChatGPT5、Qwen3等先進(jìn)大型語(yǔ)言模型通過(guò)思維鏈CoT機(jī)制展現(xiàn)出強(qiáng)大的推理能力。受此啟發(fā)近期自動(dòng)駕駛領(lǐng)域的相關(guān)研究嘗試將思維鏈風(fēng)格的推理融入規(guī)劃與決策過(guò)程。然而這些方法主要在文本領(lǐng)域運(yùn)作生成的語(yǔ)言解釋或高層邏輯依據(jù)與實(shí)際控制過(guò)程脫節(jié)——它們的“思考”僅以文字形式存在并未轉(zhuǎn)化為實(shí)際動(dòng)作。因此這類(lèi)思維鏈更多起到描述性注釋的作用而非提升規(guī)劃質(zhì)量或安全性的功能性推理機(jī)制。這一差距引發(fā)了一個(gè)新問(wèn)題如何使思維鏈推理具備可執(zhí)行性并嵌入決策過(guò)程本身為解決該問(wèn)題我們從狀態(tài)演變與動(dòng)作選擇的視角重新詮釋思維鏈。我們認(rèn)為思維鏈的核心并非文本形式而在于其逐步展開(kāi)未來(lái)、推理后續(xù)事件及對(duì)應(yīng)行動(dòng)的能力。為此我們提出潛在思維鏈推理latent CoT reasoning每個(gè)推理步驟對(duì)應(yīng)潛在世界模型的一次前向滾動(dòng)預(yù)測(cè)隨后進(jìn)行內(nèi)部策略評(píng)估。這一設(shè)計(jì)在推理思考與規(guī)劃動(dòng)作之間建立了可微分、可學(xué)習(xí)的接口?；谏鲜龆床煳覀兲岢鯢utureX——一種將思維鏈推理融入潛在世界模型的新型端到端駕駛框架。具體而言FutureX執(zhí)行迭代的“思考-模擬-行動(dòng)”think-simulate-act循環(huán)使模型在執(zhí)行運(yùn)動(dòng)規(guī)劃前能對(duì)假設(shè)的未來(lái)場(chǎng)景進(jìn)行推理。FutureX首先引入自動(dòng)思考開(kāi)關(guān)Auto-think Switch靈感源自ChatGPT5的自動(dòng)推理觸發(fā)機(jī)制該開(kāi)關(guān)通過(guò)評(píng)估當(dāng)前場(chǎng)景的規(guī)劃難度決定是否激活世界模型進(jìn)而輸出“思考”或“即時(shí)”信號(hào)。隨后基于潛在世界模型在潛在場(chǎng)景特征空間內(nèi)直接執(zhí)行潛在思維鏈推理實(shí)現(xiàn)對(duì)捕捉環(huán)境動(dòng)態(tài)的豐富時(shí)空表征的推理。最終總結(jié)器網(wǎng)絡(luò)Summarizer Network結(jié)合未來(lái)表征與初始運(yùn)動(dòng)規(guī)劃預(yù)測(cè)偏移量使策略網(wǎng)絡(luò)能夠基于額外的未來(lái)信息進(jìn)行規(guī)劃而非僅依賴(lài)當(dāng)前場(chǎng)景。在具有挑戰(zhàn)性的自動(dòng)駕駛基準(zhǔn)測(cè)試如NAVSIM上的實(shí)驗(yàn)表明FutureX相較于強(qiáng)大的端到端基線模型顯著提升了性能。本文的貢獻(xiàn)主要體現(xiàn)在三個(gè)方面1概念層面將端到端自動(dòng)駕駛中的思維鏈重新定義為潛在未來(lái)推理——即可學(xué)習(xí)的世界模型-策略循環(huán)內(nèi)的顯式狀態(tài)演變與動(dòng)作選擇2方法層面提出FutureX首個(gè)配備自動(dòng)思考開(kāi)關(guān)的思維鏈驅(qū)動(dòng)潛在世界模型能在不確定性場(chǎng)景下選擇性激活推理實(shí)現(xiàn)性能與效率的平衡滿(mǎn)足實(shí)時(shí)部署需求3實(shí)證層面即使基于傳統(tǒng)骨干網(wǎng)絡(luò)如LTF和TransFuserFutureX在純視覺(jué)和視覺(jué)-激光雷達(dá)camera-LiDAR兩種設(shè)置下均達(dá)到當(dāng)前最優(yōu)性能驗(yàn)證了所提方法的有效性與廣泛適用性。二、預(yù)備知識(shí)潛在世界模型世界模型World Model旨在從原始感官輸入中學(xué)習(xí)環(huán)境動(dòng)態(tài)的緊湊預(yù)測(cè)模型捕捉不同動(dòng)作作用下世界隨時(shí)間的演變規(guī)律。借助世界模型智能體在執(zhí)行實(shí)際動(dòng)作前可模擬更多可能的未來(lái)狀態(tài)從而實(shí)現(xiàn)基于想象的規(guī)劃。本文中我們將潛在世界模型定義為一個(gè)可微分的轉(zhuǎn)移函數(shù)其在抽象現(xiàn)實(shí)世界的潛在特征空間內(nèi)對(duì)環(huán)境的時(shí)間演變過(guò)程進(jìn)行建模。該模型并非在原始觀測(cè)空間中運(yùn)作而是通過(guò)結(jié)構(gòu)化的潛在狀態(tài)來(lái)表征復(fù)雜的場(chǎng)景動(dòng)態(tài)能夠高效、可微分地模擬基于自車(chē)動(dòng)作的未來(lái)狀態(tài)。思維鏈給定初始輸入和期望輸出思維鏈CoT推理通過(guò)引入一系列中間步驟即“思考”thoughts來(lái)提升復(fù)雜問(wèn)題的求解能力。思維鏈通常以自然語(yǔ)言解釋的形式實(shí)現(xiàn)可視為連接輸入與最終答案的逐步過(guò)程。然而若構(gòu)建一系列能將當(dāng)前狀態(tài)逐步轉(zhuǎn)化為期望結(jié)果的操作或路徑點(diǎn)這些“思考”也可在動(dòng)作空間中實(shí)例化。例如底層控制指令可根據(jù)動(dòng)態(tài)環(huán)境和自車(chē)意圖生成如“為行人減速→保持車(chē)道直至通過(guò)人行橫道→左轉(zhuǎn)變道”。這正是我們?yōu)樽詣?dòng)駕駛引入潛在思維鏈推理的核心原因——每個(gè)推理步驟均通過(guò)潛在世界模型的前向滾動(dòng)預(yù)測(cè)forward rollout模擬動(dòng)態(tài)環(huán)境并通過(guò)內(nèi)部策略評(píng)估實(shí)現(xiàn)自車(chē)在預(yù)測(cè)未來(lái)中的意圖。三、思維鏈驅(qū)動(dòng)的端到端自動(dòng)駕駛初始軌跡生成不失一般性我們定義流水線其包含一個(gè)場(chǎng)景編碼器用于從輸入中提取場(chǎng)景潛在特征。隨后策略網(wǎng)絡(luò)基于當(dāng)前潛在特征預(yù)測(cè)完整的自車(chē)軌跡其中每個(gè)路徑點(diǎn)定義于時(shí)刻的自車(chē)坐標(biāo)系和表示空間坐標(biāo)表示航向角。整個(gè)軌跡描述了自車(chē)在步時(shí)域內(nèi)的預(yù)期運(yùn)動(dòng)規(guī)劃。潛在思維鏈推理Latent Chain-of-Thought Reasoning如圖2底部所示潛在世界模型執(zhí)行思維鏈引導(dǎo)的滾動(dòng)預(yù)測(cè)基于當(dāng)前潛在特征和初始軌跡推理未來(lái)場(chǎng)景的潛在特征。思維鏈段構(gòu)建為實(shí)現(xiàn)結(jié)構(gòu)化推理將軌跡均勻劃分為個(gè)子軌跡其中的固定長(zhǎng)度為每個(gè)段代表一個(gè)用于單步推理的短期局部規(guī)劃。思維鏈引導(dǎo)的潛在世界模型rollout預(yù)測(cè)從當(dāng)前潛在狀態(tài)出發(fā)潛在世界模型執(zhí)行段級(jí)“假設(shè)分析”what-if模擬建模執(zhí)行該子軌跡時(shí)場(chǎng)景在潛在空間中的演變過(guò)程。其形式化定義為其中輸出更新后的潛在特征表征執(zhí)行該子軌跡后的想象潛在狀態(tài)。此過(guò)程生成一系列具備未來(lái)感知的潛在狀態(tài)這些狀態(tài)共同構(gòu)成潛在推理鏈——即自車(chē)規(guī)劃作用下環(huán)境演變的逐步內(nèi)部模擬。因此每個(gè)推理步驟對(duì)應(yīng)對(duì)未來(lái)某一段場(chǎng)景的“思考”。在實(shí)現(xiàn)中由堆疊的Transformer層構(gòu)成。首先將和融合形成輸入序列軌跡編碼器將編碼為與特征維度匹配的緊湊嵌入隨后將與沿序列維度拼接得到Transformer層的最終輸入序列。通過(guò)多頭自注意力機(jī)制模型融合軌跡條件動(dòng)態(tài)信息和時(shí)空上下文生成更新后的潛在狀態(tài)?；谒伎嫉能壽E優(yōu)化生成內(nèi)部推理鏈與初始軌跡后FutureX執(zhí)行推理總結(jié)步驟這與大型語(yǔ)言模型LLMs將中間思考整合為最終答案的過(guò)程類(lèi)似。如圖2所示總結(jié)器網(wǎng)絡(luò)以和為輸入預(yù)測(cè)優(yōu)化后的軌跡其中為優(yōu)化后的軌跡作為最終動(dòng)作輸出。具體而言基于預(yù)測(cè)的內(nèi)部推理鏈預(yù)測(cè)初始軌跡的偏移量使策略網(wǎng)絡(luò)能夠基于額外的未來(lái)潛在特征進(jìn)行規(guī)劃而非僅依賴(lài)當(dāng)前潛在特征。例如在兩側(cè)停放車(chē)輛的車(chē)道上思維鏈風(fēng)格的推理可幫助模型預(yù)判未來(lái)可能從車(chē)輛間隙沖出的行人從而保持更保守的行駛速度。該總結(jié)過(guò)程生成最終的思維鏈感知規(guī)劃確保所有內(nèi)部“思考”被連貫地提煉為統(tǒng)一、與未來(lái)場(chǎng)景一致的駕駛軌跡。自動(dòng)思考開(kāi)關(guān)自動(dòng)思考開(kāi)關(guān)對(duì)原始傳感器輸入提取的當(dāng)前場(chǎng)景潛在特征進(jìn)行評(píng)估通過(guò)估計(jì)場(chǎng)景難度決定是否激活潛在世界模型并輸出“思考”或“即時(shí)”信號(hào)如圖2頂部所示。具體來(lái)說(shuō)場(chǎng)景編碼器將原始傳感器輸入映射為統(tǒng)一表征?；谧詣?dòng)思考開(kāi)關(guān)在時(shí)刻輸出標(biāo)量的運(yùn)動(dòng)規(guī)劃難度分?jǐn)?shù)對(duì)于的標(biāo)簽首先計(jì)算初始軌跡和優(yōu)化軌跡相對(duì)于真實(shí)軌跡的損失隨后通過(guò)誤差的相對(duì)降低量衡量?jī)?yōu)化增益并推導(dǎo)開(kāi)關(guān)的二元監(jiān)督信號(hào)。定義改進(jìn)率和思考標(biāo)志的計(jì)算方式為其中確保數(shù)值穩(wěn)定性表示指示函數(shù)為預(yù)定義閾值用于調(diào)節(jié)思考模式的靈敏度。思維鏈中的監(jiān)督機(jī)制為實(shí)現(xiàn)FutureX的端到端訓(xùn)練我們同時(shí)對(duì)外部軌跡預(yù)測(cè)和內(nèi)部推理過(guò)程進(jìn)行監(jiān)督。具體定義三個(gè)損失項(xiàng)1軌跡規(guī)劃損失使優(yōu)化后的軌跡與人類(lèi)專(zhuān)家軌跡對(duì)齊2潛在一致性損失監(jiān)督思維鏈潛在世界模型3開(kāi)關(guān)監(jiān)督損失指導(dǎo)自動(dòng)思考開(kāi)關(guān)何時(shí)調(diào)用潛在推理。Latent一致性損失為優(yōu)化我們嘗試將預(yù)測(cè)的未來(lái)潛在特征與場(chǎng)景編碼器從對(duì)應(yīng)傳感器輸入中提取的真實(shí)未來(lái)潛在特征對(duì)齊。因此潛在一致性損失計(jì)算如下軌跡損失由于FutureX的軌跡輸出依賴(lài)自動(dòng)思考開(kāi)關(guān)通過(guò)式(8)得到的思考標(biāo)志最終軌跡損失計(jì)算為該損失使FutureX能夠通過(guò)額外的潛在推理處理復(fù)雜規(guī)劃任務(wù)同時(shí)在相對(duì)簡(jiǎn)單的場(chǎng)景中保持快速響應(yīng)。自動(dòng)思考損失基于式(6)的規(guī)劃難度分?jǐn)?shù)和式(8)的思考標(biāo)志采用交叉熵計(jì)算思考損失綜上FutureX的訓(xùn)練目標(biāo)函數(shù)為其中和為超參數(shù)。訓(xùn)練過(guò)程的偽代碼總結(jié)于算法1。實(shí)驗(yàn)結(jié)果五、結(jié)論本文提出一種將思維鏈推理融入潛在世界模型的端到端駕駛框架FutureX。該方法通過(guò)執(zhí)行迭代的“思考-模擬-行動(dòng)”循環(huán)在執(zhí)行動(dòng)作前對(duì)假設(shè)未來(lái)場(chǎng)景進(jìn)行推理。具體而言潛在世界模型基于豐富的場(chǎng)景表征進(jìn)行潛在思維鏈推理捕捉環(huán)境動(dòng)態(tài)隨后FutureX執(zhí)行推理總結(jié)步驟——類(lèi)似大型語(yǔ)言模型將中間思考整合為最終答案的過(guò)程生成最終的思維鏈感知規(guī)劃。為滿(mǎn)足實(shí)際部署需求自動(dòng)思考開(kāi)關(guān)決定是否激活潛在世界模型實(shí)現(xiàn)性能與時(shí)間開(kāi)銷(xiāo)的平衡。在NAVSIM和CARLA數(shù)據(jù)集上的實(shí)驗(yàn)表明FutureX在增強(qiáng)純視覺(jué)和多模態(tài)端到端自動(dòng)駕駛系統(tǒng)的性能方面具有有效性和適用性。自動(dòng)駕駛之心自動(dòng)駕駛之心企業(yè)培訓(xùn)咨詢(xún)端到端與VLA自動(dòng)駕駛小班課