怎么樣找回網(wǎng)站密碼,太倉家政保潔公司,青島公司網(wǎng)站建設(shè)公司排名,蘇州網(wǎng)站建設(shè)哪家效果好0 論文信息 論文標(biāo)題: HS-FPN: High Frequency and Spatial Perception FPN for Tiny Object Detection中文標(biāo)題#xff1a;高頻與空間感知特征金字塔網(wǎng)絡(luò)#xff08;HS-FPN#xff09;用于小目標(biāo)檢測(cè)論文鏈接論文代碼論文出處#xff1a;AAAI2025 1 論文概述 針對(duì) FPN 在…0 論文信息論文標(biāo)題: HS-FPN: High Frequency and Spatial Perception FPN for Tiny Object Detection中文標(biāo)題高頻與空間感知特征金字塔網(wǎng)絡(luò)HS-FPN用于小目標(biāo)檢測(cè)論文鏈接論文代碼論文出處AAAI20251 論文概述針對(duì) FPN 在小目標(biāo)檢測(cè)中存在的 “特征有限、缺乏關(guān)注、空間感知不足” 三大問題提出 HS-FPN 網(wǎng)絡(luò)通過高頻感知模塊HFP和空間依賴感知模塊SDP增強(qiáng)小目標(biāo)特征表達(dá)與空間關(guān)聯(lián)性在 AI-TOD、DOTA_minil0 等數(shù)據(jù)集上驗(yàn)證相比基線模型 AP 提升 1.2-3.4 個(gè)百分點(diǎn)且易嵌入現(xiàn)有檢測(cè)框架。2 實(shí)驗(yàn)動(dòng)機(jī)現(xiàn)有基于 FPN 的小目標(biāo)檢測(cè)模型存在三大核心痛點(diǎn)且傳統(tǒng)方法與前沿技術(shù)提供了優(yōu)化啟發(fā)共同構(gòu)成實(shí)驗(yàn)動(dòng)機(jī)FPN 的固有缺陷小目標(biāo)可用特征有限骨干網(wǎng)絡(luò)下采樣壓縮小目標(biāo)特征最終特征圖中僅殘留少量像素難以支撐精準(zhǔn)檢測(cè)缺乏網(wǎng)絡(luò)關(guān)注FPN 對(duì)所有尺度特征采用統(tǒng)一處理流程1×1 卷積降維、像素級(jí)相加融合未針對(duì)小目標(biāo)弱特征進(jìn)行特殊增強(qiáng)空間感知不足上下層特征通過像素級(jí)相加融合上采樣導(dǎo)致的像素偏移引發(fā)特征錯(cuò)位無法捕捉小目標(biāo)周圍空間關(guān)聯(lián)。傳統(tǒng)頻域方法的啟發(fā)小目標(biāo)在圖像中表現(xiàn)為細(xì)節(jié)和邊緣對(duì)應(yīng)頻域中的高頻成分而低頻成分主要是背景輪廓。傳統(tǒng)方法如小波變換、DCT通過過濾低頻可增強(qiáng)小目標(biāo)顯著性用信號(hào)雜波比 SCR 量化啟發(fā)設(shè)計(jì) HFP 模塊。注意力機(jī)制的借鑒Vision TransformerViT的注意力機(jī)制擅長捕捉長距離依賴但直接應(yīng)用于小目標(biāo)檢測(cè)易受噪聲干擾因此設(shè)計(jì) SDP 模塊通過特征塊劃分與交叉注意力精準(zhǔn)捕捉上下層特征的像素級(jí)空間依賴。3 創(chuàng)新之處提出 HS-FPN 網(wǎng)絡(luò)架構(gòu)首次將 “頻域特征增強(qiáng)” 與 “空間依賴捕捉” 結(jié)合到 FPN 中針對(duì)性解決小目標(biāo)檢測(cè)的三大痛點(diǎn)結(jié)構(gòu)簡(jiǎn)潔且兼容現(xiàn)有檢測(cè)模型。高頻感知模塊HFP采用可調(diào)節(jié)參數(shù) α 的高通濾波器動(dòng)態(tài)過濾低頻背景成分提取小目標(biāo)高頻響應(yīng)雙分支注意力機(jī)制通道路徑CP通過 GAPGMP 聚合高頻特征為含小目標(biāo)信息的通道分配高權(quán)重空間路徑SP生成空間掩碼聚焦小目標(biāo)所在區(qū)域雙分支特征融合后通過 3×3 卷積優(yōu)化增強(qiáng)特征表達(dá)的同時(shí)抑制噪聲?？臻g依賴感知模塊SDP不同于 FPN 的像素級(jí)相加SDP 對(duì)上下層特征C i C_iCi?與上采樣后的P i 1 P_{i1}Pi1?構(gòu)建 Query-Keys-Value 矩陣通過特征塊劃分避免維度不匹配計(jì)算特征塊內(nèi)像素級(jí)交叉注意力捕捉空間關(guān)聯(lián)解決上采樣導(dǎo)致的特征錯(cuò)位與 ViT 的塊間注意力不同SDP 聚焦塊內(nèi)像素交互更適配小目標(biāo)的局部特征增強(qiáng)。低侵入性與實(shí)用性HS-FPN 與 FPN 結(jié)構(gòu)高度相似無需重構(gòu)檢測(cè)框架可直接替換現(xiàn)有模型中的 FPN 模塊適配 ResNet、MobileNet 等多種骨干網(wǎng)絡(luò)。4 模塊介紹高頻感知模塊HFPHigh Frequency Perception高頻特征增強(qiáng)HFP 模塊High Frequency Perception通過 DCT 高通濾波器 提取高頻響應(yīng)專門增強(qiáng)微小目標(biāo)的“邊緣/細(xì)節(jié)”特征。高頻響應(yīng)分別作為 channel 權(quán)重CP spatial 權(quán)重SP突出包含 tiny objects 的通道與空間區(qū)域。importtorchimporttorch.nnasnnimporttorch.nn.functionalasFimporttorch_dctasDCT# 定義DCT空間交互模塊classDctSpatialInteraction(nn.Module):def__init__(self,in_channels,# 輸入特征圖的通道數(shù)ratio,# 用于計(jì)算高頻保留比例的參數(shù)isdctTrue):# 標(biāo)記是否使用DCT變換True時(shí)在p1p2中使用False時(shí)在p3p4中使用# 調(diào)用父類nn.Module的初始化方法super(DctSpatialInteraction,self).__init__()self.ratioratio self.isdctisdct# 如果不使用DCT創(chuàng)建1x1卷積用于空間注意力ifnotself.isdct:self.spatial1x1nn.Sequential(# 1x1卷積將輸入通道數(shù)轉(zhuǎn)為1用于生成空間注意力圖*[nn.Conv2d(in_channels,1,kernel_size1,biasFalse)])# 計(jì)算權(quán)重矩陣的方法def_compute_weight(self,h,w,ratio):# 根據(jù)比例計(jì)算低頻區(qū)域的高度和寬度h0int(h*ratio[0])# 高度方向的低頻區(qū)域比例w0int(w*ratio[1])# 寬度方向的低頻區(qū)域比例# 創(chuàng)建全為1的權(quán)重矩陣大小與輸入特征圖的空間維度相同weighttorch.ones((h,w),requires_gradFalse)# 不需要計(jì)算梯度# 將低頻區(qū)域左上角的權(quán)重設(shè)為0實(shí)現(xiàn)過濾低頻特征的效果weight[:h0,:w0]0returnweightdefforward(self,x):# x是輸入特征圖# 獲取輸入特征圖的形狀batch_size, channels, height, width_,_,h0,w0x.size()# 如果不使用DCT直接通過1x1卷積生成空間注意力并與輸入相乘ifnotself.isdct:# 用sigmoid將卷積結(jié)果歸一化到0-1作為注意力權(quán)重returnx*torch.sigmoid(self.spatial1x1(x))# 對(duì)輸入特征圖進(jìn)行二維DCT變換idctDCT.dct_2d(x,normortho)# 使用正交歸一化 二維離散余弦變換# 計(jì)算權(quán)重矩陣并移動(dòng)到與輸入相同的設(shè)備CPU/GPUweightself._compute_weight(h0,w0,self.ratio).to(x.device)# 調(diào)整權(quán)重形狀并擴(kuò)展到與DCT結(jié)果相同的形狀weightweight.view(1,h0,w0).expand_as(idct)# 用權(quán)重過濾低頻特征保留高頻特征dctidct*weight# 過濾掉低頻特征# 對(duì)處理后的DCT結(jié)果進(jìn)行逆DCT變換生成空間掩碼dct_DCT.idct_2d(dct,normortho)# 將輸入特征圖與生成的空間掩碼相乘returnx*dct_# 定義DCT通道交互模塊classDctChannelInteraction(nn.Module):def__init__(self,in_channels,# 輸入特征圖的通道數(shù)patch,# 用于池化的補(bǔ)丁大小ratio,# 用于計(jì)算高頻保留比例的參數(shù)isdctTrue# 標(biāo)記是否使用DCT變換):super(DctChannelInteraction,self).__init__()self.in_channelsin_channels self.hpatch[0]# 補(bǔ)丁的高度self.wpatch[1]# 補(bǔ)丁的寬度self.ratioratio self.isdctisdct# 1x1卷積用于通道注意力計(jì)算使用分組卷積32組self.channel1x1nn.Sequential(*[nn.Conv2d(in_channels,in_channels,1,groups32)],)self.channel2x1nn.Sequential(*[nn.Conv2d(in_channels,in_channels,1,groups32)],)self.relunn.ReLU()# ReLU激活函數(shù)# 計(jì)算權(quán)重矩陣的方法與空間交互模塊中的實(shí)現(xiàn)相同def_compute_weight(self,h,w,ratio):h0int(h*ratio[0])w0int(w*ratio[1])weighttorch.ones((h,w),requires_gradFalse)weight[:h0,:w0]0# 將低頻區(qū)域權(quán)重設(shè)為0returnweight# 前向傳播方法defforward(self,x):# x是輸入特征圖# 獲取輸入特征圖的形狀batch_size, channels, height, widthn,c,h,wx.size()# 如果不使用DCT使用普通的通道注意力機(jī)制ifnotself.isdct:# true時(shí)在p1p2中使用false時(shí)在p3p4中使用# 對(duì)輸入進(jìn)行自適應(yīng)最大池化得到1x1的特征圖amaxpF.adaptive_max_pool2d(x,output_size(1,1))# 對(duì)輸入進(jìn)行自適應(yīng)平均池化得到1x1的特征圖aavgpF.adaptive_avg_pool2d(x,output_size(1,1))# 將最大池化和平均池化的結(jié)果通過ReLU激活后再通過1x1卷積最后相加channelself.channel1x1(self.relu(amaxp))self.channel1x1(self.relu(aavgp))# 生成通道注意力權(quán)重并與輸入相乘returnx*torch.sigmoid(self.channel2x1(channel))# 如果使用DCT先對(duì)輸入進(jìn)行二維DCT變換idctDCT.dct_2d(x,normortho)# 計(jì)算權(quán)重矩陣并移動(dòng)到與輸入相同的設(shè)備weightself._compute_weight(h,w,self.ratio).to(x.device)# 調(diào)整權(quán)重形狀并擴(kuò)展到與DCT結(jié)果相同的形狀weightweight.view(1,h,w).expand_as(idct)# 過濾低頻特征保留高頻特征dctidct*weight# 過濾掉低頻特征# 對(duì)處理后的DCT結(jié)果進(jìn)行逆DCT變換dct_DCT.idct_2d(dct,normortho)# 對(duì)逆DCT結(jié)果進(jìn)行自適應(yīng)最大池化和平均池化輸出大小為patch大小amaxpF.adaptive_max_pool2d(dct_,output_size(self.h,self.w))aavgpF.adaptive_avg_pool2d(dct_,output_size(self.h,self.w))# 對(duì)池化結(jié)果應(yīng)用ReLU激活然后在空間維度上求和調(diào)整形狀為(batch_size, channels, 1, 1)amaxptorch.sum(self.relu(amaxp),dim[2,3]).view(n,c,1,1)aavgptorch.sum(self.relu(aavgp),dim[2,3]).view(n,c,1,1)# 計(jì)算通道注意力channelself.channel1x1(amaxp)self.channel1x1(aavgp)# 生成通道注意力權(quán)重并與輸入相乘returnx*torch.sigmoid(self.channel2x1(channel))# 定義高頻感知模塊classHigh_Frequency_Perception_Module(nn.Module):def__init__(self,in_channels,# 輸入特征圖的通道數(shù)ratio(0.25,0.25),# 高頻保留比例默認(rèn)保留75%的高頻區(qū)域patch(8,8),# 池化補(bǔ)丁大小isdctTrue):# 是否使用DCT變換super(High_Frequency_Perception_Module,self).__init__()# 創(chuàng)建空間交互子模塊self.spatialDctSpatialInteraction(in_channels,ratioratio,isdctisdct)# 創(chuàng)建通道交互子模塊self.channelDctChannelInteraction(in_channels,patchpatch,ratioratio,isdctisdct)# 輸出處理模塊3x3卷積保持空間大小 分組歸一化self.outnn.Sequential(*[nn.Conv2d(in_channels,in_channels,kernel_size3,padding1,biasFalse),nn.GroupNorm(32,in_channels)]# 使用32組的分組歸一化)defforward(self,x):# x是輸入特征圖# 通過空間交互模塊得到空間注意力加權(quán)后的特征spatialself.spatial(x)# 通過通道交互模塊得到通道注意力加權(quán)后的特征channelself.channel(x)# 將空間和通道注意力的結(jié)果相加再通過輸出處理模塊returnself.out(spatialchannel)if__name____main__:inputtorch.randn(1,32,50,50)# 實(shí)例化高頻感知模塊輸入通道數(shù)為32modelHigh_Frequency_Perception_Module(in_channels32)outputmodel(input)print(f輸入張量形狀:{input.shape})print(f輸出張量形狀:{output.shape})空間依賴感知模塊Spatial Dependency Perception Module SDFM實(shí)際意義①空間融合缺陷FPN遞歸上采樣導(dǎo)致上下層特征圖中小目標(biāo)位置錯(cuò)位僅通過像素級(jí)加法融合特征未建模像素間的空間依賴關(guān)系。②小目標(biāo)空間信息缺失小目標(biāo)特征易被背景噪聲掩蓋傳統(tǒng)方法無法聚焦局部區(qū)域上層高語義特征與下層細(xì)節(jié)特征缺乏有效關(guān)聯(lián)特征表達(dá)不完整。實(shí)現(xiàn)方式①輸入上層特征圖A與下層特征圖B。②特征映射生成通過1×1卷積分別從特征圖A生成查詢Q從特征圖B生成鍵K和值V。③特征塊劃分將 Q、K、V劃分為多個(gè)特征塊對(duì)每個(gè)特征塊計(jì)算Q與K的像素級(jí)相似度矩陣。④加權(quán)融合用相似度矩陣對(duì) V 進(jìn)行加權(quán)聚合生成空間依賴信息特征。⑥輸出整合將特征塊按空間位置拼接與原始輸入相加得到增強(qiáng)后的特征圖。待補(bǔ)充5 寫作思路空間依賴感知模塊Spatial Dependency Perception ModuleSDFM思想延伸跨領(lǐng)域?qū)懽?、包括不僅限于請(qǐng)務(wù)必舉一反三1、語義分割任務(wù)/小目標(biāo)邊界分割①實(shí)際問題傳統(tǒng)分割網(wǎng)絡(luò)如U-Net融合高低層特征時(shí)小目標(biāo)如行人、交通標(biāo)志邊界易因空間錯(cuò)位導(dǎo)致分割不連續(xù)。解決方案①SDP遷移方案在解碼器與編碼器之間插入SDFM細(xì)節(jié)特征為Q語義特征為K/V通過像素級(jí)相似度建立邊界與語義的空間關(guān)聯(lián)。思想延伸跨領(lǐng)域?qū)懽?、包括不僅限于請(qǐng)務(wù)必舉一反三2、圖像超分辨率任務(wù)/紋理細(xì)節(jié)增強(qiáng)①實(shí)際問題在放大低分辨率圖像時(shí)高頻紋理如布料紋理、文字邊緣與低頻語義如物體形狀的空間對(duì)應(yīng)關(guān)系丟失導(dǎo)致“偽紋理”模糊出現(xiàn)。解決方案①將低分辨率特征作為Q高分辨率語義特征作為K/V學(xué)習(xí)紋理細(xì)節(jié)在于語義空間分布規(guī)律?！狙芯繉?duì)象可任意替換】