哪個(gè)平臺(tái)建網(wǎng)站比較好,樂清建站公司,360網(wǎng)站圖標(biāo)怎么做,天貓國際采取的跨境電商網(wǎng)絡(luò)營銷方式Learning Discriminative Features with Multiple Granularities for Person Re-Identification 多粒度判別特征學(xué)習(xí)用于行人重識(shí)別 摘要 全局特征與局部特征的結(jié)合已成為提升行人重識(shí)別#xff08;Re-ID#xff09;判別力的核心手段。以往基于部件的方法主要致力于定位具有特…Learning Discriminative Features with Multiple Granularities for Person Re-Identification多粒度判別特征學(xué)習(xí)用于行人重識(shí)別摘要全局特征與局部特征的結(jié)合已成為提升行人重識(shí)別Re-ID判別力的核心手段。以往基于部件的方法主要致力于定位具有特定預(yù)定義語義的區(qū)域以學(xué)習(xí)局部表征這增加了學(xué)習(xí)難度且對(duì)姿態(tài)、遮擋等劇烈變化場景不夠魯棒。本文提出一種端到端的多粒度判別特征學(xué)習(xí)策略精心設(shè)計(jì)了一種多分支深度網(wǎng)絡(luò)——多粒度網(wǎng)絡(luò)MGN。該網(wǎng)絡(luò)包含一個(gè)全局分支和兩個(gè)局部分支不再依賴語義區(qū)域定位而是將圖像沿水平方向均勻劃分為若干條帶并在不同局部的分支中采用不同數(shù)量的條帶從而獲得多粒度的局部特征表示。在 Market-1501、DukeMTMC-reID 和 CUHK03 等主流評(píng)測數(shù)據(jù)集上的大量實(shí)驗(yàn)表明本文方法取得了業(yè)界領(lǐng)先的性能顯著優(yōu)于現(xiàn)有最佳方法。例如在 Market-1501 單查詢模式下本文方法達(dá)到 Rank-1/mAP 96.6%/94.2% 的最新紀(jì)錄。1 引言行人重識(shí)別Person Re-ID旨在跨監(jiān)控?cái)z像頭檢索特定行人由于監(jiān)控場景復(fù)雜其難點(diǎn)主要體現(xiàn)在姿態(tài)、遮擋、服飾、背景雜亂及檢測誤差等方面的大幅變化。近年來深度卷積網(wǎng)絡(luò)的蓬勃發(fā)展為行人圖像提供了更具判別力和魯棒性的表征將 Re-ID 性能推向了前所未有的高度。僅最近數(shù)月多項(xiàng)深度 Re-ID 方法便取得了突破性的識(shí)別率與平均精度。直觀的做法是從行人全身提取判別特征。全局特征學(xué)習(xí)的目標(biāo)是捕捉不同行人最顯著的信息如衣服顏色以表征行人身份。然而監(jiān)控場景圖像的復(fù)雜性往往限制了大規(guī)模 Re-ID 的精度。受限于 Re-ID 訓(xùn)練數(shù)據(jù)集的規(guī)模與多樣性一些非顯著或低頻的細(xì)節(jié)信息在全局特征學(xué)習(xí)過程中易被忽略導(dǎo)致在跨身份共性大、類內(nèi)差異大的條件下全局特征難以適應(yīng)。為緩解這一困境許多研究通過定位顯著身體部件來引入局部信息從而提升 Re-ID 精度。每個(gè)部件僅包含全身的一小部分信息同時(shí)屏蔽了區(qū)域外的干擾使局部特征更專注于身份判別并可作為全局特征的重要補(bǔ)充?，F(xiàn)有部件方法大致分為三類1利用人體先驗(yàn)或姿態(tài)估計(jì)定位結(jié)構(gòu)部件2利用區(qū)域提議生成候選部件3通過注意力機(jī)制增強(qiáng)顯著部件。然而姿態(tài)或遮擋會(huì)降低部件可靠性這些方法通常僅關(guān)注固定語義的特定部件難以覆蓋所有判別區(qū)域且多數(shù)流程非端到端增加了學(xué)習(xí)難度。本文提出一種融合多粒度全局與局部信息的特征學(xué)習(xí)策略。如圖 1 所示不同數(shù)量的水平條帶對(duì)應(yīng)不同粒度僅含整張圖像的“全局分支”粒度最粗隨著條帶數(shù)量增加局部特征可聚焦于更細(xì)粒度的判別信息。鑒于深度學(xué)習(xí)可在整圖近似關(guān)注主體也有能力在不同條帶區(qū)域捕捉更集中的顯著性?；诖宋覀?cè)O(shè)計(jì)了一個(gè)多分支網(wǎng)絡(luò) MGN以 ResNet-50 為骨干在第四個(gè)殘差段后分出三個(gè)獨(dú)立分支——一個(gè)全局分支和兩個(gè)局部分支。每個(gè)局部分支將特征圖均勻水平切分為不同數(shù)量的條帶并在各條帶上獨(dú)立學(xué)習(xí)局部特征。與先前部件方法相比MGN 僅采用等分條帶卻取得卓越性能在多個(gè)主流 Re-ID 數(shù)據(jù)集上達(dá)到業(yè)界最佳且無需外部數(shù)據(jù)或重排序同時(shí)保持端到端訓(xùn)練易于實(shí)現(xiàn)。實(shí)驗(yàn)表明多分支結(jié)構(gòu)協(xié)同提升了任一單分支的性能。2 相關(guān)工作深度學(xué)習(xí)的興起也推動(dòng)了行人重識(shí)別Re-ID系統(tǒng)的發(fā)展。[20,39] 率先將深度孿生網(wǎng)絡(luò)引入 Re-ID并結(jié)合身體部件特征顯著優(yōu)于同時(shí)期的手工特征方法。[45] 提出基于簡單 ResNet-50 骨干的 ID 判別嵌入IDE成為現(xiàn)代深度 Re-ID 的性能基線。[1,35] 通過精心設(shè)計(jì)的機(jī)制計(jì)算圖像對(duì)的中層特征以刻畫局部部件間的相互關(guān)系。[37] 引入“域引導(dǎo) dropout”增強(qiáng)模型在不同監(jiān)控場景下的泛化能力。[8] 融合多通道全局與局部特征并利用改進(jìn)的三元組損失學(xué)習(xí)判別表征。[24,25,38,43,19,22] 在嵌入空間中引入注意力信息以提升身體局部的判別力。[42,32] 利用人體關(guān)鍵點(diǎn)等結(jié)構(gòu)信息精確定位語義部件區(qū)域。近幾個(gè)月來一些深度 Re-ID 方法將性能推向了新的高度。[40] 在訓(xùn)練階段引入基于部件的對(duì)齊匹配通過最短路徑規(guī)劃與互學(xué)習(xí)提升度量學(xué)習(xí)效果。[3,34] 均沿垂直方向?qū)⑤斎雸D像的特征圖等分為若干條帶。[3] 利用 LSTM 融合各條帶部件特征并與全局分類度量特征結(jié)合[34] 則直接將局部部件特征拼接為最終表征并采用精煉部件池化改進(jìn)部件特征的映射驗(yàn)證。然而據(jù) [40] 的觀點(diǎn)這些方法僅能達(dá)到與人類相當(dāng)?shù)乃健１疚奶岢龅?MGN 方法在僅使用等分條帶、無需復(fù)雜語義定位的條件下顯著超越上述所有方法并在多個(gè)數(shù)據(jù)集上刷新業(yè)界最佳紀(jì)錄。3 多粒度網(wǎng)絡(luò)MGN3.1 網(wǎng)絡(luò)結(jié)構(gòu)圖 2 給出了 Multiple Granularity Network 的整體框架。我們以在 Re-ID 任務(wù)中表現(xiàn)優(yōu)異的 ResNet-50 為骨干最主要改動(dòng)是將 res_conv4_1 之后的部分拆成三條獨(dú)立分支各分支沿用 ResNet-50 的原始結(jié)構(gòu)但參數(shù)不共享。表 1 匯總了三條分支的配置差異。上分支Global Branch在 res_conv5_1 繼續(xù)使用 stride2 的降采樣隨后做全局最大池化GMP再經(jīng) 1×1 卷積BNReLU 將 2048 維特征zgGz_g^GzgG?壓縮為 256 維fgGf_g^GfgG?。該分支無分塊操作負(fù)責(zé)學(xué)習(xí)整圖全局表征。中、下分支Part-N Branchres_conv5_1 不做降采樣保持 24×8 特征圖分辨率隨后將特征圖沿水平方向均勻切分為 N 條帶N2 或 3每條帶獨(dú)立進(jìn)行與 Global Branch 相同的 GMP 和 1×1 降維得到 N 個(gè) 256 維局部特征。因此 Part-2 分支輸出 2×256 維Part-3 分支輸出 3×256 維。測試階段我們將所有分支的降維后特征拼接起來形成同時(shí)包含全局與多粒度局部信息的最終 256×(123)1536 維表征以獲得最強(qiáng)判別力。3.2 損失函數(shù)為充分挖掘網(wǎng)絡(luò)表征的判別能力我們?cè)谟?xùn)練階段聯(lián)合使用分類常用的 softmax loss 和度量學(xué)習(xí)常用的 triplet loss。Softmax loss將 Re-ID 視為多分類任務(wù)對(duì)以下特征施加 softmax loss降維前的全局特征zgG、zgP2、zgP3z_g^G、z_g^{P2}、z_g^{P3}zgG?、zgP2?、zgP3?2048 維降維后的局部特征fpiP2、fpiP3f_{p_i}^{P2}、f_{p_i}^{P3}fpi?P2?、fpi?P3?256 維公式為標(biāo)準(zhǔn)交叉熵共 5 個(gè) loss 項(xiàng)。Triplet loss對(duì)降維后的全局特征fgG、fgP2、fgP3f_g^G、f_g^{P2}、f_g^{P3}fgG?、fgP2?、fgP3?均為 256 維使用改進(jìn)的 batch-hard triplet loss在同一批次內(nèi)對(duì)每個(gè)錨點(diǎn)樣本選最遠(yuǎn)的正樣本與最近的負(fù)樣本構(gòu)成最難三元組以加強(qiáng)排序性能。該損失共 3 項(xiàng)。3.3 討論多分支必要性直觀上單分支網(wǎng)絡(luò)也能在最后一層特征圖按不同粒度切條并加監(jiān)督。但實(shí)驗(yàn)發(fā)現(xiàn)這樣做性能提升有限。我們推測若讓同一組卷積參數(shù)同時(shí)響應(yīng)粗細(xì)兩種細(xì)節(jié)會(huì)削弱對(duì)細(xì)粒度信息的敏感度。將骨干“提前”拆成多條獨(dú)立分支可讓各分支在第四殘差段就開始專注不同粒度從而互補(bǔ)增強(qiáng)。粒度多樣性Global Branch 感受野大、降采樣多捕獲整體但粗糙的服飾/體型信息Part-2、Part-3 分支感受野小、無降采樣關(guān)注局部但精細(xì)的紋理/配件信息。Part 數(shù)越多學(xué)到的表征越細(xì)。不同分支在共享底層的同時(shí)各自把“注意力”回傳給骨干形成協(xié)同增益這是任一單分支或獨(dú)立網(wǎng)絡(luò)集成所不具備的。4 實(shí)驗(yàn)4.1 實(shí)現(xiàn)細(xì)節(jié)為保留更多細(xì)部信息我們將輸入圖像縮放到 384×128 像素。骨干及分支均用 ImageNet 預(yù)訓(xùn)練的 ResNet-50 權(quán)重初始化各分支在 res_conv4_1 之后復(fù)制對(duì)應(yīng)層的預(yù)訓(xùn)練參數(shù)。訓(xùn)練階段僅采用隨機(jī)水平翻轉(zhuǎn)做數(shù)據(jù)增強(qiáng)。每個(gè) mini-batch 隨機(jī)選取 P16 個(gè)身份每個(gè)身份隨機(jī)取 K4 張圖像以滿足 triplet loss 需求。優(yōu)化器為 SGD動(dòng)量 0.9權(quán)重衰減 5e-4初始學(xué)習(xí)率 0.01在第 40 和 60 epoch 分別降至 1e-3 和 1e-4共訓(xùn)練 80 epoch。測試時(shí)將原圖與水平翻轉(zhuǎn)圖像的特征取平均作為最終表征。整套代碼基于 PyTorch在 2 塊 NVIDIA TITAN Xp 上完成 Market-1501 訓(xùn)練約需 2 小時(shí)。4.2 數(shù)據(jù)集與評(píng)測協(xié)議實(shí)驗(yàn)在三個(gè)主流數(shù)據(jù)集上進(jìn)行Market-15011 501 人6 攝像頭訓(xùn)練 12 936 圖/751 人測試 3 368 query 19 732 gallery。支持單查詢SQ與多查詢MQ兩種模式。DukeMTMC-reID1 812 人8 攝像頭訓(xùn)練 16 522 圖/702 人測試 2 228 query 17 661 gallery是目前最具挑戰(zhàn)性的 Re-ID 數(shù)據(jù)集之一。CUHK031 467 人6 攝像頭提供手工框與 DPM 檢測框兩種標(biāo)注。本文采用 [49] 提出的簡化協(xié)議用 labeled 與 detected 兩種設(shè)置分別評(píng)測。評(píng)測指標(biāo)為 CMC 曲線 Rank-1/5/10 與 mean Average Precision (mAP)。4.3 各組件有效性驗(yàn)證在 Market-1501 SQ 上進(jìn)行的消融實(shí)驗(yàn)見表 2。MGN w/o triplet vs. ResNet-50Rank-1/mAP 從 87.5%/71.4% 提升到 95.3%/86.2%凈增 7.8%/14.8%顯著超越同量級(jí) ResNet-10190.4%/78.0%證明提升主要來自架構(gòu)設(shè)計(jì)而非參數(shù)量。Triplet loss在 baseline ResNet-50 上帶來 1.2%/3.6%在完整 MGN 上仍有 0.4%/0.7%且對(duì) mAP 提升更明顯符合度量學(xué)習(xí)特性。多分支協(xié)同將 Global、Part-2、Part-3 三個(gè)獨(dú)立網(wǎng)絡(luò)做集成性能仍低于統(tǒng)一的多分支 MGN約 1%–2%且各子分支單獨(dú)拿出來也優(yōu)于對(duì)應(yīng)結(jié)構(gòu)的單網(wǎng)絡(luò)表明分支間互補(bǔ)增益顯著。4.4 與當(dāng)前最優(yōu)方法對(duì)比表 3–5 分別給出了三個(gè)數(shù)據(jù)集的最新結(jié)果。Market-1501無重排序條件下MGN Rank-1/mAP 達(dá) 95.7%/86.9%超出此前最佳 PCBRPP 1.9%/5.3%加重排序后進(jìn)一步提升至 96.6%/94.2%領(lǐng)先幅度更大。DukeMTMC-reIDMGN 取得 88.7%/78.4%比此前最佳 GP-reid 提高 3.5%/5.6%再次刷新紀(jì)錄。CUHK03在 labeled 與 detected 兩種設(shè)定下MGN 分別拿到 68.0%/67.4% 與 66.8%/66.0%大幅超越已有最好結(jié)果驗(yàn)證了方法對(duì)檢測框噪聲的魯棒性。綜上MGN 在不引入外部數(shù)據(jù)、無需復(fù)雜后處理的前提下在多個(gè)主流數(shù)據(jù)集上均實(shí)現(xiàn)了業(yè)界最佳性能并將 Re-ID 的 state-of-the-art 推向了新高度。5 結(jié)論本文提出了多粒度網(wǎng)絡(luò)MGN一種用于行人重識(shí)別的新型多分支深度架構(gòu)。該網(wǎng)絡(luò)通過“全局 多粒度局部”三個(gè)分支在統(tǒng)一框架內(nèi)端到端地學(xué)習(xí)身份判別特征全局分支捕獲整體粗略信息Part-2 與 Part-3 分支分別捕獲中等與精細(xì)粒度的局部線索且無需任何部件定位、姿態(tài)估計(jì)或區(qū)域提議。大量實(shí)驗(yàn)表明MGN 在 Market-1501、DukeMTMC-reID 和 CUHK03 等主流數(shù)據(jù)集上均大幅超越現(xiàn)有最佳方法將 Re-ID 的性能邊界推向了新的高度。未來我們將進(jìn)一步探索更高效的多粒度融合策略并研究其在視頻 Re-ID 與跨域場景下的擴(kuò)展能力。筆記一句話核心提出“多粒度網(wǎng)絡(luò)MGN”用端到端、無需語義部件定位的多分支結(jié)構(gòu)一次性學(xué)習(xí)全局多粒度局部特征刷新行人重識(shí)別精度。研究動(dòng)機(jī)Re-ID 長期受姿態(tài)、遮擋、背景等劇烈變化困擾傳統(tǒng)部件法依賴姿態(tài)估計(jì)或區(qū)域提議魯棒性差且非端到端。作者希望用極簡、可擴(kuò)展的架構(gòu)突破性能瓶頸對(duì)安防、智慧城市等大規(guī)模檢索場景具有直接應(yīng)用價(jià)值。技術(shù)路線以 ResNet-50 為共享骨干在 res4-1 后并行拆出三條獨(dú)立分支Global、Part-2、Part-3。局部分支僅做“均勻水平切條獨(dú)立 GMP1×1 降維”無需任何外部語義或?qū)R。聯(lián)合 5 項(xiàng) softmax分類 3 項(xiàng) batch-hard triplet度量端到端訓(xùn)練測試時(shí)拼接全部 256-d 向量作為最終表征。關(guān)鍵結(jié)果① Market-1501 單查詢 Rank-1/mAP 96.6%/94.2%領(lǐng)先當(dāng)時(shí)最好方法 1.9%/5.3% 以上。② 在最具挑戰(zhàn)的 DukeMTMC-reID 上達(dá) 88.7%/78.4%同樣刷新紀(jì)錄。③ 消融顯示多分支協(xié)同獨(dú)立網(wǎng)絡(luò)集成triplet 對(duì) mAP 提升顯著性能增益主要來自架構(gòu)而非參數(shù)量。主要?jiǎng)?chuàng)新首次提出“純均勻切條”實(shí)現(xiàn)多粒度局部特征無需任何部件定位或姿態(tài)估計(jì)。多分支共享底層但互不干擾地學(xué)習(xí)粗細(xì)互補(bǔ)信息端到端即可用。在三個(gè)主流數(shù)據(jù)集上同時(shí)取得 SOTA證明方法通用且魯棒。局限性僅水平切條對(duì)豎直方向或更復(fù)雜空間關(guān)系未建模。輸入固定 384×128對(duì)極端長寬比或低分辨率圖像未驗(yàn)證。實(shí)驗(yàn)集中在靜態(tài)圖像 Re-ID跨域、視頻序列、遮擋極嚴(yán)重場景未深入。論證嚴(yán)謹(jǐn)性消融實(shí)驗(yàn)、對(duì)比實(shí)驗(yàn)、統(tǒng)計(jì)顯著性多次平均均齊全性能指標(biāo)、訓(xùn)練細(xì)節(jié)、源碼級(jí)可復(fù)現(xiàn)描述充分結(jié)論可信。對(duì)你課題的啟發(fā)若你的任務(wù)涉及細(xì)粒度識(shí)別、部件變異大可照搬“均勻切條多分支”思想省去復(fù)雜部件標(biāo)注。多粒度特征拼接即插即用可與 Transformer、注意力或重排序模塊繼續(xù)疊加。端到端訓(xùn)練流程可直接遷移到車輛 Re-ID、商品檢索等領(lǐng)域。下一步探索將水平切條擴(kuò)展為二維網(wǎng)格或自適應(yīng)粒度的可學(xué)習(xí)劃分。引入跨域自適應(yīng)或遮擋模擬驗(yàn)證在開放場景下的泛化能力。把多粒度思想用于視頻 Re-ID時(shí)序條帶或 3D 姿態(tài)輔助的精細(xì)對(duì)齊。