如何用ps做網(wǎng)站首頁(yè)的圖片,首頁(yè)設(shè)計(jì)網(wǎng)站 專(zhuān)注,賺錢(qián)平臺(tái),商品網(wǎng)站建設(shè)實(shí)驗(yàn)報(bào)告ABSTRACT 利用超高分辨率多時(shí)相遙感#xff08;RS#xff09;影像進(jìn)行建筑物變化檢測(cè)#xff0c;有助于深入理解城市化進(jìn)程和人類(lèi)活動(dòng)#xff0c;從而為城市規(guī)劃、資源配置和基礎(chǔ)設(shè)施建設(shè)提供科學(xué)決策依據(jù)。然而#xff0c;現(xiàn)有的建筑物變化檢測(cè)#xff08;Building Cha…ABSTRACT利用超高分辨率多時(shí)相遙感RS影像進(jìn)行建筑物變化檢測(cè)有助于深入理解城市化進(jìn)程和人類(lèi)活動(dòng)從而為城市規(guī)劃、資源配置和基礎(chǔ)設(shè)施建設(shè)提供科學(xué)決策依據(jù)。然而現(xiàn)有的建筑物變化檢測(cè)Building Change DetectionBCD方法通常忽視了遙感影像中存在的關(guān)鍵不確定性現(xiàn)象。這些不確定性主要來(lái)源于兩個(gè)方面首先現(xiàn)有建筑物變化檢測(cè)數(shù)據(jù)集的設(shè)計(jì)目標(biāo)主要是檢測(cè)建筑物變化而其他地物類(lèi)別的變化往往被統(tǒng)一標(biāo)注為未變化的背景。由于人工標(biāo)注過(guò)程的局限性與建筑物外觀相似的背景要素如道路和橋梁極易被誤標(biāo)為建筑物變化從而在數(shù)據(jù)層面引入了偶然不確定性aleatoric uncertainty。其次建筑物局部變化在不改變其語(yǔ)義含義的情況下卻會(huì)影響其外觀、紋理或風(fēng)格這類(lèi)變化被稱(chēng)為偽變化pseudo-changes再加上變化樣本與未變化樣本之間的類(lèi)別不平衡問(wèn)題共同在模型層面引入了認(rèn)知不確定性epistemic uncertainty。針對(duì)上述問(wèn)題本文提出了一種不確定性感知的建筑物變化檢測(cè)框架Uncertainty-Aware BCDUA-BCD。具體而言我們首先采用孿生金字塔視覺(jué)Transformer從雙時(shí)相影像中提取多層次特征并通過(guò)通用解碼器生成具有內(nèi)在不確定性的粗略變化圖。隨后引入偶然不確定性估計(jì)模塊對(duì)偶然不確定性進(jìn)行估計(jì)并將其嵌入特征空間中。接著提出一種知識(shí)引導(dǎo)的特征增強(qiáng)模塊利用粗略變化圖中蘊(yùn)含的先驗(yàn)知識(shí)對(duì)多層次特征進(jìn)行增強(qiáng)從而生成精細(xì)化的變化圖。最后我們?cè)O(shè)計(jì)了一種認(rèn)知不確定性估計(jì)器其以雙時(shí)相影像和精細(xì)變化圖為輸入輸出認(rèn)知不確定性的估計(jì)結(jié)果。該估計(jì)過(guò)程通過(guò)精細(xì)變化圖計(jì)算得到的熵進(jìn)行監(jiān)督從而保證UA-BCD框架能夠生成具有更低認(rèn)知不確定性的變化檢測(cè)結(jié)果。為全面驗(yàn)證UA-BCD框架的有效性本文采用了雙視角驗(yàn)證策略。在五個(gè)公開(kāi)建筑物變化檢測(cè)數(shù)據(jù)集上的大量實(shí)驗(yàn)結(jié)果表明所提出的方法相較于當(dāng)前最先進(jìn)的方法具有顯著優(yōu)勢(shì)。此外在中國(guó)武漢市東西湖區(qū)的大尺度應(yīng)用實(shí)驗(yàn)進(jìn)一步驗(yàn)證了該方法在大范圍建筑物變化檢測(cè)任務(wù)中的卓越性能。項(xiàng)目的源代碼已公開(kāi)地址為https://github.com/Henryjiepanli/UA-BCD。1. Introduction隨著超高分辨率Very High ResolutionVHR遙感Remote SensingRS影像獲取能力的不斷提升Huang et al., 2024在特定區(qū)域內(nèi)對(duì)地表變化進(jìn)行精確探測(cè)已成為可能從而在多個(gè)領(lǐng)域催生了廣泛的應(yīng)用前景。建筑物作為城市環(huán)境中最基本的人造結(jié)構(gòu)在城市發(fā)展與社會(huì)進(jìn)步中發(fā)揮著關(guān)鍵作用Li et al., 2023。基于多時(shí)相遙感影像對(duì)建筑物變化進(jìn)行準(zhǔn)確探測(cè)與持續(xù)監(jiān)測(cè)對(duì)于科學(xué)的城市規(guī)劃Chen et al., 2024、全面的環(huán)境監(jiān)測(cè)Zhang et al., 2017、及時(shí)的災(zāi)害評(píng)估Gupta et al., 2019乃至應(yīng)急響應(yīng)策略的優(yōu)化Zheng et al., 2021都具有重要意義。此外這種高精度的變化檢測(cè)能力還有助于監(jiān)管和識(shí)別違法建筑活動(dòng)Suresh and Jain, 2013評(píng)估相關(guān)政策調(diào)整所帶來(lái)的影響并為實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo)提供有力支撐。因此充分利用VHR遙感影像開(kāi)展建筑物變化檢測(cè)Building Change DetectionBCD代表著向智能化、韌性化城市管理與治理實(shí)踐邁出的重要一步。在過(guò)去的幾十年中變化檢測(cè)Change DetectionCD領(lǐng)域的研究隨著大量方法的提出而取得了顯著進(jìn)展。最初研究者主要采用多種傳統(tǒng)技術(shù)來(lái)應(yīng)對(duì)這一復(fù)雜任務(wù)。人工解譯方法Schwert et al., 2013由于依賴(lài)專(zhuān)家經(jīng)驗(yàn)和專(zhuān)業(yè)知識(shí)具有較高的可靠性但同時(shí)也存在耗時(shí)長(zhǎng)、勞動(dòng)強(qiáng)度大的問(wèn)題Li et al., 2022b, 2024c。隨后一系列代數(shù)運(yùn)算與變換方法被引入作為替代方案。例如影像差分Quarmby and Cushnie, 1989、影像回歸Ludeke et al., 1990、影像比值Rignot and Van Zyl, 1993以及變化向量分析Change Vector AnalysisCVAChen et al., 2003等技術(shù)被提出用于從雙時(shí)相數(shù)據(jù)中有效識(shí)別變化區(qū)域。與此同時(shí)數(shù)據(jù)降維方法在抑制輸入影像中相關(guān)信息、突出差異特征方面發(fā)揮了重要作用。主成分分析Principal Component AnalysisPCAFung and LeDrew, 1987Nielsen and Canty, 2008、纓帽變換Tasseled Cap TransformationKTHan et al., 2007、多變量變化檢測(cè)Multivariate Alteration DetectionMADNielsen et al., 1998、Gram–SchmidtGS變換Rosa et al., 2015以及卡方檢驗(yàn)chi-squareVázquez-Jiménez et al., 2017等方法為提升變化檢測(cè)精度提供了有力支撐。此外對(duì)比分類(lèi)Hasanlou and Seydi, 2018、多重分類(lèi)Im and Jensen, 2005以及直接分類(lèi)Lu et al., 2004等策略也被廣泛應(yīng)用這些方法從不同角度改進(jìn)了變化檢測(cè)流程。然而上述傳統(tǒng)方法在應(yīng)對(duì)大氣條件變化、季節(jié)性差異、衛(wèi)星傳感器不一致性以及太陽(yáng)高度角變化等復(fù)雜因素時(shí)往往表現(xiàn)不足Han et al., 2023a。因此亟需發(fā)展更加魯棒和自適應(yīng)的變化檢測(cè)技術(shù)以克服這些固有局限。得益于計(jì)算機(jī)視覺(jué)技術(shù)的快速發(fā)展變化檢測(cè)CD的研究重心逐漸轉(zhuǎn)向深度學(xué)習(xí)Deep LearningDL方法。其中卷積神經(jīng)網(wǎng)絡(luò)Convolutional Neural NetworksCNNsKrizhevsky et al., 2012作為代表性技術(shù)顯著提升了變化檢測(cè)的精度與效率。隨后全卷積網(wǎng)絡(luò)Fully Convolutional NetworkFCNLong et al., 2015的提出更是推動(dòng)了該領(lǐng)域的變革其創(chuàng)新性的編碼器–解碼器結(jié)構(gòu)為像素級(jí)變化檢測(cè)提供了有效框架。目前基于FCN的變化檢測(cè)方法大體可分為兩類(lèi)主流范式單流結(jié)構(gòu)和雙流結(jié)構(gòu)。單流變化檢測(cè)方法通常采用早期融合策略將雙時(shí)相的VHR影像直接進(jìn)行融合并輸入標(biāo)準(zhǔn)的FCN網(wǎng)絡(luò)以獲得最終的變化檢測(cè)結(jié)果。例如Peng 等2019將不同時(shí)相的影像直接拼接并利用改進(jìn)的 UNetZhou et al., 2018生成最終的變化圖。然而這種單流框架容易在信息層面產(chǎn)生混淆可能導(dǎo)致雙時(shí)相影像之間的關(guān)鍵信息在融合過(guò)程中被削弱甚至丟失Zhang et al., 2020a。與單流變化檢測(cè)方法相比雙流策略通常首先采用孿生編碼器Siamese encoder對(duì)雙時(shí)相影像進(jìn)行特征提取Li et al., 2022aCheng et al., 2024。隨后通過(guò)多種解碼策略對(duì)來(lái)自兩條分支的編碼特征進(jìn)行有效融合與聚合從而生成高精度的變化檢測(cè)圖。在孿生編碼器的設(shè)計(jì)方面一部分研究工作直接采用在大規(guī)模 ImageNet 數(shù)據(jù)集Deng et al., 2009上預(yù)訓(xùn)練的主干網(wǎng)絡(luò)包括經(jīng)典的 VGGSimonyan and Zisserman, 2014、ResNetHe et al., 2016、ResNeXtXie et al., 2017、Res2NetGao et al., 2019以及基于 Transformer 的網(wǎng)絡(luò)結(jié)構(gòu)如 Swin TransformerLiu et al., 2021和金字塔視覺(jué) TransformerPyramid Vision TransformerPVTWang et al., 2021a。此外也有研究針對(duì)特定任務(wù)需求設(shè)計(jì)了專(zhuān)用的編碼器結(jié)構(gòu)。例如Chen 等2022b提出了一種全卷積孿生網(wǎng)絡(luò)用于提取多尺度特征Lin 等2022則將變化檢測(cè)視為一個(gè)視頻理解問(wèn)題分別構(gòu)建了空間編碼器和時(shí)間編碼器以捕獲空間與時(shí)間維度上的關(guān)鍵信息。在解碼策略方面研究重點(diǎn)在于如何從雙流編碼器中充分挖掘變化感知信息并生成更加精確可靠的變化檢測(cè)結(jié)果。例如Shu 等2022通過(guò)在差異感知特征中綜合考慮每個(gè)像素與其上下文像素之間的關(guān)系與相似性強(qiáng)調(diào)了變化區(qū)域的整體一致性。Liu 等2023利用注意力機(jī)制和 Transformer 模塊對(duì)雙時(shí)相影像中的上下文信息進(jìn)行建模并引入特征交換機(jī)制以彌合不同時(shí)相影像域之間的差異。Ding 等2022將時(shí)間語(yǔ)義特征融入深度變化檢測(cè)單元中使模型能夠?qū)﹄p時(shí)相語(yǔ)義相關(guān)性進(jìn)行推理從而實(shí)現(xiàn)高精度的變化檢測(cè)結(jié)果?？傮w而言解碼策略的持續(xù)改進(jìn)凸顯了從特征層面有效提取并聚合變化感知信息對(duì)于實(shí)現(xiàn)高精度變化檢測(cè)的重要性。這些研究進(jìn)展表明變化檢測(cè)技術(shù)正朝著更加魯棒和精細(xì)化的方向不斷發(fā)展。近年來(lái)不確定性理論在計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛研究尤其是在自然圖像和多模態(tài)圖像的分割與檢測(cè)任務(wù)中Fang et al., 2023Zhang et al., 2023Yang et al., 2021Baumgartner et al., 2019Zhang et al., 2020b。通常不確定性可分為兩類(lèi)偶然不確定性aleatoric uncertainty其來(lái)源于數(shù)據(jù)本身固有的噪聲與隨機(jī)性以及認(rèn)知不確定性epistemic uncertainty主要源于模型能力受限或知識(shí)不完備。這類(lèi)方法往往借助貝葉斯推斷和生成對(duì)抗網(wǎng)絡(luò)GAN等技術(shù)對(duì)數(shù)據(jù)層面和模型層面的不確定性進(jìn)行建模。在遙感RS領(lǐng)域類(lèi)似的不確定性建模思想也已得到應(yīng)用例如利用貝葉斯網(wǎng)絡(luò)進(jìn)行高光譜影像處理Alcolea and Resano, 2022以及面向建筑物提取的不確定性感知方法Li et al., 2024a。然而在變化檢測(cè)CD領(lǐng)域現(xiàn)有關(guān)于不確定性的研究主要集中在以下兩個(gè)問(wèn)題上1變化區(qū)域與未變化區(qū)域之間的類(lèi)別不平衡2目標(biāo)邊界識(shí)別困難即與邊緣相關(guān)的不確定性往往會(huì)削弱模型性能。例如Xu 等2024提出了一種動(dòng)態(tài)自適應(yīng)的焦點(diǎn)損失函數(shù)以緩解類(lèi)別不平衡問(wèn)題Wang 等2021b則設(shè)計(jì)了增強(qiáng)型焦點(diǎn)對(duì)比損失來(lái)應(yīng)對(duì)類(lèi)似挑戰(zhàn)。此外Yin 等2023提出了一種注意力引導(dǎo)的注意力網(wǎng)絡(luò)用于提升邊界定位精度并減少邊緣區(qū)域和小目標(biāo)附近的不確定性。相比之下本文從更全面的角度對(duì)變化檢測(cè)中的不確定性進(jìn)行了系統(tǒng)性探討與分類(lèi)為該領(lǐng)域的不確定性建模提供了更深入的分析框架。首先現(xiàn)有的建筑物變化檢測(cè)BCD數(shù)據(jù)集主要以建筑物變化為核心設(shè)計(jì)目標(biāo)而其他地物類(lèi)別的變化通常被統(tǒng)一標(biāo)注為未變化的背景。例如LEVIR-CD 數(shù)據(jù)集Chen and Shi, 2020a在標(biāo)注過(guò)程中可能忽略諸如“道路轉(zhuǎn)變?yōu)闃蛄骸边@類(lèi)地物轉(zhuǎn)換并將其視為背景變化見(jiàn)圖 1。由于標(biāo)注過(guò)程依賴(lài)人工操作與建筑物外觀相似的背景要素如道路和橋梁極易被誤標(biāo)為建筑物變化。這類(lèi)標(biāo)注誤差在數(shù)據(jù)層面引入了顯著的偶然不確定性aleatoric uncertainty從而加大了模型訓(xùn)練與推理階段的難度。其次建筑物變化檢測(cè)任務(wù)還受到偽變化pseudo-changes見(jiàn)圖 1的影響即建筑物在外觀、紋理或風(fēng)格上的變化并不對(duì)應(yīng)真實(shí)的語(yǔ)義變化。再加上地物分布的復(fù)雜性以及變化樣本與未變化樣本之間嚴(yán)重的類(lèi)別不平衡這些因素在面對(duì)困難樣本時(shí)會(huì)共同導(dǎo)致較高的模型層面認(rèn)知不確定性epistemic uncertainty。為應(yīng)對(duì)上述挑戰(zhàn)本文提出了一種不確定性感知建筑物變化檢測(cè)框架Uncertainty-Aware BCDUA-BCD。該方法首先采用孿生金字塔視覺(jué) TransformerSiamese PVTWang et al., 2022作為編碼器從雙時(shí)相影像中提取并聚合多層次特征隨后通過(guò)通用解碼策略生成初始的粗略變化檢測(cè)圖同時(shí)獲得其對(duì)應(yīng)的不確定性信息。針對(duì)數(shù)據(jù)層面的偶然不確定性本文設(shè)計(jì)了偶然不確定性估計(jì)模塊Aleatoric Uncertainty Estimation ModuleAUEM。該模塊基于條件變分自編碼器Conditional Variational AutoencoderCVAE技術(shù)對(duì)噪聲的先驗(yàn)分布與后驗(yàn)分布之間的一致性進(jìn)行精確建模與約束從而實(shí)現(xiàn)對(duì)數(shù)據(jù)層面偶然不確定性的有效量化。進(jìn)一步地為增強(qiáng)多層次特征的表達(dá)能力我們將估計(jì)得到的偶然不確定性嵌入特征空間并引入知識(shí)引導(dǎo)特征增強(qiáng)模塊Knowledge-Guided Feature Enhancement ModuleKGFEM利用粗略變化檢測(cè)圖中蘊(yùn)含的先驗(yàn)知識(shí)對(duì)變化區(qū)域與未變化區(qū)域進(jìn)行有效區(qū)分。經(jīng)增強(qiáng)后的特征隨后被解碼生成精細(xì)化的變化檢測(cè)結(jié)果。最后本文設(shè)計(jì)了認(rèn)知不確定性估計(jì)器Epistemic Uncertainty EstimatorEUE其以拼接后的雙時(shí)相影像及精細(xì)變化檢測(cè)圖為輸入對(duì)模型層面的認(rèn)知不確定性進(jìn)行估計(jì)。在由精細(xì)變化檢測(cè)圖計(jì)算得到的熵值監(jiān)督下UA-BCD 能夠生成具有更低認(rèn)知不確定性的變化檢測(cè)結(jié)果從而體現(xiàn)出模型預(yù)測(cè)結(jié)果更高的可靠性與置信度。本文的主要貢獻(xiàn)概括如下不確定性建模引入 BCD 任務(wù)首次系統(tǒng)性地將不確定性概念引入建筑物變化檢測(cè)BCD任務(wù)中針對(duì)遙感場(chǎng)景下的關(guān)鍵挑戰(zhàn)提出了一種不確定性感知建筑物變化檢測(cè)網(wǎng)絡(luò)Uncertainty-Aware BCDUA-BCD。提出三種創(chuàng)新模塊設(shè)計(jì)了三種關(guān)鍵模塊包括用于建模數(shù)據(jù)層面不確定性的偶然不確定性估計(jì)模塊AUEM利用粗略變化圖先驗(yàn)信息增強(qiáng)特征表達(dá)的知識(shí)引導(dǎo)特征增強(qiáng)模塊KGFEM以及用于刻畫(huà)模型層面不確定性的認(rèn)知不確定性估計(jì)器EUE。充分實(shí)驗(yàn)驗(yàn)證與大尺度應(yīng)用評(píng)估在五個(gè)公開(kāi)建筑物變化檢測(cè)數(shù)據(jù)集上開(kāi)展了大量實(shí)驗(yàn)系統(tǒng)驗(yàn)證了 UA-BCD 網(wǎng)絡(luò)的有效性此外以中國(guó)武漢市東西湖區(qū)為研究區(qū)域開(kāi)展了跨 5 年時(shí)間跨度2014–2024的建筑物變化檢測(cè)應(yīng)用研究進(jìn)一步評(píng)估了該方法在大尺度實(shí)際場(chǎng)景中的應(yīng)用潛力。2. Methodology2.1. Overview為解決建筑物變化檢測(cè)BCD中固有的不確定性問(wèn)題本文提出了一種UA-BCD 框架。在該框架中訓(xùn)練數(shù)據(jù)集由三元組 ((A, B, Y)) 構(gòu)成其中 (A) 表示變化前影像(B) 表示變化后影像(Y) 表示對(duì)應(yīng)的變化標(biāo)注。如圖 2 所示整體流程可劃分為四個(gè)階段。首先采用通用解碼策略生成初始的粗略變化檢測(cè)圖但該結(jié)果通常伴隨著較高的不確定性。其次引入偶然不確定性估計(jì)模塊AUEM對(duì)數(shù)據(jù)層面的偶然不確定性進(jìn)行量化建模。第三將估計(jì)得到的偶然不確定性嵌入特征空間并提出知識(shí)引導(dǎo)特征增強(qiáng)模塊KGFEM以增強(qiáng)聚合后的多層次特征表達(dá)能力從而輸出精細(xì)化的變化檢測(cè)圖。最后設(shè)計(jì)一個(gè)獨(dú)立的認(rèn)知不確定性估計(jì)器EUE在由精細(xì)變化檢測(cè)圖計(jì)算得到的熵值監(jiān)督下對(duì)模型層面的認(rèn)知不確定性進(jìn)行估計(jì)。借助 EUEUA-BCD 框架能夠生成具有更低認(rèn)知不確定性的變化檢測(cè)結(jié)果從而體現(xiàn)出更高的預(yù)測(cè)置信度。下文將對(duì)上述四個(gè)階段分別進(jìn)行詳細(xì)說(shuō)明。2.2. Coarse change map generation考慮到RS圖像的復(fù)雜性和上下文的細(xì)微差別配備自注意力機(jī)制的Transformer架構(gòu)擅長(zhǎng)捕獲全局依賴(lài)關(guān)系在該領(lǐng)域中往往優(yōu)于CNN。因此我們使用PVT - 2 - b2( Wang et al , 2022)作為我們的特征提取器從變化前和變化后的圖像中獨(dú)立編碼多層特征。這個(gè)過(guò)程表述如下2.3. Aleatoric uncertainty estimation module其中zzz 表示偶然不確定性來(lái)自先驗(yàn)分布和后驗(yàn)分布的潛變量分別記為 zprior 和 zpost。后驗(yàn)分布在真實(shí)變化標(biāo)注的引導(dǎo)下有助于模型學(xué)習(xí)數(shù)據(jù)層面的偶然不確定性。在推理階段僅利用先驗(yàn)網(wǎng)絡(luò)所估計(jì)的偶然不確定性并結(jié)合后續(xù)模塊即可生成精細(xì)化的變化檢測(cè)結(jié)果從而在不依賴(lài)標(biāo)注信息的情況下有效緩解數(shù)據(jù)層面的不確定性影響。2.4. Refined change map generation2.5. Epistemic uncertainty estimation