建設(shè)網(wǎng)站成本預(yù)算,衡水林熠網(wǎng)站建設(shè)公司,做織夢網(wǎng)站的心得體會,網(wǎng)頁加速器有哪些視覺語言導(dǎo)航從入門到精通#xff08;一#xff09;#xff1a;基礎(chǔ)概念與背景介紹 本文是「視覺語言導(dǎo)航從入門到精通」系列的第一篇#xff0c;主要介紹VLN的基本概念、研究背景和發(fā)展歷程。 文章目錄 1. 什么是視覺語言導(dǎo)航#xff08;VLN#xff09;2. VLN的研究意義…視覺語言導(dǎo)航從入門到精通一基礎(chǔ)概念與背景介紹本文是「視覺語言導(dǎo)航從入門到精通」系列的第一篇主要介紹VLN的基本概念、研究背景和發(fā)展歷程。文章目錄1. 什么是視覺語言導(dǎo)航VLN2. VLN的研究意義3. VLN的核心挑戰(zhàn)4. VLN的發(fā)展歷程5. VLN與相關(guān)領(lǐng)域的關(guān)系6. 總結(jié)與展望1. 什么是視覺語言導(dǎo)航VLN1.1 定義視覺語言導(dǎo)航Vision-and-Language Navigation, VLN是一個跨模態(tài)的具身智能任務(wù)要求智能體Agent根據(jù)自然語言指令在真實或模擬的3D環(huán)境中進(jìn)行導(dǎo)航最終到達(dá)目標(biāo)位置。簡單來說VLN就是讓機(jī)器人聽懂人話看懂世界找到目的地。1.2 任務(wù)形式化定義給定 - 自然語言指令 I {w?, w?, ..., w?} - 起始位置 s? - 可導(dǎo)航的3D環(huán)境 E 目標(biāo) - 智能體需要生成一系列動作 A {a?, a?, ..., a?} - 使得最終位置 s? 盡可能接近目標(biāo)位置 g1.3 一個直觀的例子假設(shè)你對家用機(jī)器人說“從客廳出發(fā)穿過走廊進(jìn)入第二個房間在床頭柜旁邊停下。”機(jī)器人需要理解語言解析客廳、“走廊”、“第二個房間”、床頭柜等概念感知環(huán)境通過視覺觀察當(dāng)前環(huán)境規(guī)劃路徑根據(jù)指令和視覺信息規(guī)劃導(dǎo)航路徑執(zhí)行動作逐步執(zhí)行前進(jìn)、轉(zhuǎn)向等動作到達(dá)目標(biāo)在正確位置停止VLN 任務(wù)流程語言指令VLN Agent視覺觀察導(dǎo)航動作2. VLN的研究意義2.1 學(xué)術(shù)價值VLN是具身智能Embodied AI領(lǐng)域的核心任務(wù)之一它綜合考察了能力維度具體要求語言理解解析復(fù)雜的自然語言指令視覺感知理解3D環(huán)境中的物體、場景空間推理建立環(huán)境的空間表示決策規(guī)劃根據(jù)多模態(tài)信息做出導(dǎo)航?jīng)Q策常識推理利用常識知識輔助導(dǎo)航2.2 應(yīng)用前景家庭服務(wù)醫(yī)療護(hù)理工業(yè)物流無障礙輔助掃地機(jī)器人醫(yī)院導(dǎo)診倉儲搬運視障人士導(dǎo)航送餐機(jī)器人藥物配送快遞分揀老年人陪護(hù)智能管家病房巡檢巡檢機(jī)器人康復(fù)訓(xùn)練3. VLN的核心挑戰(zhàn)3.1 語言理解的挑戰(zhàn)# 指令示例不同粒度的描述instructions{粗粒度:去廚房,細(xì)粒度:從客廳出發(fā)左轉(zhuǎn)進(jìn)入走廊走到盡頭右轉(zhuǎn)穿過玻璃門進(jìn)入廚房,模糊指令:去那個做飯的地方,隱含指令:我餓了幫我拿點吃的# 需要推理出去廚房/冰箱}主要難點指令的歧義性和多樣性需要結(jié)合上下文理解隱含意圖的推理3.2 視覺感知的挑戰(zhàn)挑戰(zhàn)類型具體描述視角變化同一物體不同角度外觀差異大遮擋問題目標(biāo)物體可能被部分遮擋光照變化不同光照條件影響識別相似場景不同房間可能外觀相似動態(tài)環(huán)境環(huán)境中可能存在移動物體3.3 跨模態(tài)對齊的挑戰(zhàn)語言和視覺是兩種不同的模態(tài)如何建立它們之間的對應(yīng)關(guān)系是核心難題語言描述對齊視覺場景“紅色的沙發(fā)”?沙發(fā)圖像特征“左邊的門”?門的空間位置“穿過走廊”?走廊的視覺序列3.4 長程規(guī)劃的挑戰(zhàn)# 導(dǎo)航過程中的決策序列navigation_steps[{step:1,observation:客廳全景,action:forward},{step:2,observation:走廊入口,action:left},{step:3,observation:走廊中段,action:forward},# ... 可能需要數(shù)十步才能到達(dá)目標(biāo){step:n,observation:目標(biāo)位置,action:stop}]# 挑戰(zhàn)如何在長序列中保持對指令的理解和執(zhí)行3.5 泛化能力的挑戰(zhàn)泛化類型描述難度Seen環(huán)境訓(xùn)練時見過的環(huán)境低Unseen環(huán)境訓(xùn)練時未見過的環(huán)境高新指令風(fēng)格不同表達(dá)方式的指令中跨域泛化從模擬器到真實世界極高4. VLN的發(fā)展歷程4.1 發(fā)展時間線2023-2024 大模型時代VLN-VideoNavGPT3D-LLMLLM-based VLN2021-2022 成熟期VLN-DUETHAMTBEVBERTGridMM2019-2020 發(fā)展期EnvDropPREVALENTVLNBERTRecBERT2017-2018 起步期Speaker-FollowerR2R數(shù)據(jù)集Self-Monitoring4.2 重要里程碑2017 - R2R數(shù)據(jù)集Anderson等人提出Room-to-Room (R2R)數(shù)據(jù)集標(biāo)志著VLN研究的正式開始基于Matterport3D真實室內(nèi)環(huán)境2018-2019 - 基礎(chǔ)方法探索Seq2Seq Attention 基礎(chǔ)框架數(shù)據(jù)增強(qiáng)策略Speaker-Follower環(huán)境dropout等正則化方法2020-2021 - Transformer時代預(yù)訓(xùn)練語言模型引入VLN歷史信息編碼HAMT全局-局部雙流架構(gòu)2022-2023 - 多視角與3D表示BEV鳥瞰圖表示3D點云特征拓?fù)涞貓D構(gòu)建2024 - 大模型時代LLM作為導(dǎo)航規(guī)劃器多模態(tài)大模型端到端導(dǎo)航Zero-shot VLN能力4.3 LLM/VLM時代的代表性工作隨著大語言模型和視覺語言模型的快速發(fā)展VLN領(lǐng)域迎來了新的范式轉(zhuǎn)變方法分類類別一LLM作為規(guī)劃器 (LLM as Planner)方法核心思想發(fā)表NavGPT使用GPT-4進(jìn)行導(dǎo)航推理和規(guī)劃arXiv 2023LM-Nav語言模型驅(qū)動的導(dǎo)航策略CoRL 2023DiscussNav多LLM討論式導(dǎo)航?jīng)Q策arXiv 2023VLN-GPTGPT輔助的視覺語言導(dǎo)航ICRA 2024類別二VLM端到端導(dǎo)航 (VLM End-to-End)方法核心思想發(fā)表PaLM-E具身多模態(tài)大模型562B參數(shù)ICML 2023RT-2機(jī)器人Transformer視覺-語言-動作模型arXiv 2023EmbodiedGPT具身智能GPT端到端規(guī)劃執(zhí)行NeurIPS 2023類別三3D場景理解增強(qiáng)方法核心思想發(fā)表3D-LLM注入3D空間理解能力的語言模型NeurIPS 2023LEO具身世界模型場景級理解arXiv 2023SayNav基于場景圖的語言導(dǎo)航CVPR 2023NavGPT示例# NavGPT的核心思想將視覺觀察轉(zhuǎn)換為文本描述利用LLM推理classNavGPTAgent:def__init__(self):self.llmGPT4()self.captionerImageCaptioner()self.object_detectorObjectDetector()defnavigate(self,instruction,observation):# 1. 將視覺轉(zhuǎn)換為文本scene_descriptionself.captioner(observation)objectsself.object_detector(observation)# 2. 構(gòu)建提示詞promptf 任務(wù)指令:{instruction}當(dāng)前場景:{scene_description}可見物體:{objects}可選動作: [前進(jìn), 左轉(zhuǎn), 右轉(zhuǎn), 停止] 請分析當(dāng)前情況選擇最合適的動作并說明理由。 # 3. LLM推理responseself.llm(prompt)actionself.parse_action(response)returnaction不同方法的對比方法類型優(yōu)勢局限性傳統(tǒng)VLN針對性強(qiáng)效率高泛化能力有限LLM規(guī)劃器強(qiáng)推理能力可解釋性好依賴視覺-文本轉(zhuǎn)換信息損失VLM端到端直接處理多模態(tài)泛化強(qiáng)計算開銷大實時性挑戰(zhàn)5. VLN與相關(guān)領(lǐng)域的關(guān)系5.1 相關(guān)研究領(lǐng)域具身智能 (Embodied AI) 任務(wù)體系具身智能 Embodied AI視覺語言導(dǎo)航 VLN物體導(dǎo)航 ObjectNav具身問答 EQA視覺問答 VQA圖像描述 Image Captioning視覺定位 Visual Grounding機(jī)器人導(dǎo)航 Robot Navigation5.2 與其他導(dǎo)航任務(wù)的對比任務(wù)輸入目標(biāo)特點VLN語言指令 視覺到達(dá)指定位置需要語言理解PointGoal目標(biāo)坐標(biāo)到達(dá)坐標(biāo)點不需要語義理解ObjectNav目標(biāo)物體類別找到目標(biāo)物體需要物體識別ImageNav目標(biāo)圖像到達(dá)圖像位置圖像匹配AudioNav聲音信號找到聲源聲音定位6. 總結(jié)與展望6.1 本文總結(jié)本文介紹了視覺語言導(dǎo)航VLN的基本概念定義根據(jù)自然語言指令在3D環(huán)境中導(dǎo)航意義具身智能的核心任務(wù)應(yīng)用前景廣泛挑戰(zhàn)語言理解、視覺感知、跨模態(tài)對齊、長程規(guī)劃、泛化能力發(fā)展從Seq2Seq到Transformer再到大模型時代6.2 系列文章預(yù)告視覺語言導(dǎo)航從入門到精通 系列目錄第一篇基礎(chǔ)概念與背景介紹本文第二篇經(jīng)典數(shù)據(jù)集與評估指標(biāo)第三篇核心模型架構(gòu)詳解第四篇前沿方法與最新進(jìn)展第五篇實戰(zhàn)代碼與項目實踐參考文獻(xiàn)[1] Anderson P, Wu Q, et al. “Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments.”CVPR 2018.[2] Fried D, Hu R, et al. “Speaker-Follower Models for Vision-and-Language Navigation.”NeurIPS 2018.[3] Hong Y, Wu Q, et al. “VLN BERT: A Recurrent Vision-and-Language BERT for Navigation.”CVPR 2021.[4] Chen S, Guhur P L, et al. “History Aware Multimodal Transformer for Vision-and-Language Navigation.”NeurIPS 2021.關(guān)注博主獲取更多VLN系列教程如果覺得本文對您有幫助歡迎點贊、收藏、評論支持~下一篇視覺語言導(dǎo)航從入門到精通二經(jīng)典數(shù)據(jù)集與評估指標(biāo)