跟網站開發(fā)公司簽合同主要要點,二手商標網,萊蕪高端網站設計建設,wordpress 短鏈接插件論文題目#xff1a;H-V2X: A Large Scale Highway Dataset for BEV Perception#xff08;H-V2X:用于純電動汽車感知的大規(guī)模公路數據集#xff09; 會議#xff1a;ECCV2024 摘要#xff1a;由于路邊基礎設施感知數據集的可用性#xff0c;車輛到一切(V2X)技術已經成為…論文題目H-V2X: A Large Scale Highway Dataset for BEV PerceptionH-V2X:用于純電動汽車感知的大規(guī)模公路數據集會議ECCV2024摘要由于路邊基礎設施感知數據集的可用性車輛到一切(V2X)技術已經成為研究的一個感興趣的領域。然而這些數據集主要集中在城市十字路口缺乏高速公路場景的數據。此外由于多個傳感器之間的同步數據有限數據集中的感知任務主要是MONO 3D。為了彌補這一差距我們提出了高速公路- v2x (H-V2X)這是第一個由現實世界中的傳感器捕獲的大規(guī)模高速公路鳥瞰(BEV)感知數據集。該數據集覆蓋了100多公里的高速公路具有多種道路和天氣條件。H-V2X由超過190萬個BEV空間的細粒度分類樣本組成由多個同步攝像機捕獲并提供矢量圖。我們進行了2D-3D聯(lián)合校準以確保正確的投影并涉及人工以確保數據質量。此外我們提出了與高速公路場景高度相關的三個任務:BEV檢測、BEV跟蹤和軌跡預測。我們對每個任務進行了基準測試并提出了結合矢量地圖信息的創(chuàng)新方法。我們希望H-V2X和基準方法能夠推動高速公路純電動汽車感知的研究方向。該數據集可在https://pan.quark.cn/s/86d19da10d18上獲得H-V2X首個大規(guī)模高速公路BEV感知數據集深度解讀目錄1. 論文概述2. 研究背景3. H-V2X數據集介紹4. 三大Benchmark任務5. 實驗結果分析6. 總結與展望1. 論文概述作者單位騰訊ADLab核心貢獻本論文提出了首個大規(guī)模高速公路路側基礎設施感知數據集H-V2X主要貢獻包括提供190萬幀真實高速公路場景數據覆蓋超過100公里包含1760萬個精細標注的3D對象支持多傳感器5個攝像頭2個雷達同步數據提供高精度矢量地圖定義三個benchmark任務BEV檢測、統(tǒng)一ID跟蹤、軌跡預測提供創(chuàng)新的baseline方法2. 研究背景2.1 為什么需要高速公路V2X數據集高速公路是交通運輸的關鍵部分但安全問題一直存在。雖然智能車輛技術在發(fā)展但大多數車輛仍缺乏先進的駕駛輔助系統(tǒng)。路側基礎設施感知V2X的優(yōu)勢傳感器安裝在路側覆蓋范圍廣可以感知車輛盲區(qū)和遠距離目標通過5G或RSU與車輛通信不受單車傳感器限制2.2 現有數據集的局限性目前的V2X數據集主要存在以下問題場景局限主要集中在城市交叉路口缺少高速公路場景任務單一主要支持單目3D檢測Mono3D缺少跨傳感器的BEV端到端感知傳感器限制多數依賴LiDAR但在高速公路場景中LiDAR安裝在桅桿上存在成本高、維護難、感知范圍受限等問題缺少地圖融合未充分利用高精地圖HDMap信息2.3 H-V2X的定位H-V2X數據集填補了高速公路路側感知的空白提供了真實場景采集的大規(guī)模數據多傳感器同步的BEV空間標注完整的標定參數和矢量地圖統(tǒng)一ID的跨傳感器目標跟蹤3. H-V2X數據集介紹3.1 傳感器配置H-V2X采用了完善的多傳感器系統(tǒng)安裝在高速公路中間的桅桿上攝像頭系統(tǒng)2個長焦相機焦距70mm檢測范圍大于800米FOV 9.1度2個短焦相機焦距12mmFOV 49.78度1個魚眼相機焦距1.27mmFOV 180度消除桅桿下方盲區(qū)雷達系統(tǒng)2個長距離雷達檢測范圍大于800米提供速度和航向角信息技術參數圖像分辨率1920x1080普通相機、1280x1280魚眼采樣頻率10Hz同步精度小于50ms通過NTP服務覆蓋范圍正負500米8車道3.2 數據規(guī)模與多樣性整體規(guī)?？値瑪?94萬幀總對象數1760萬個覆蓋距離超過100公里高速公路類別數量4類轎車、卡車、面包車、公交車場景多樣性道路類型長直道彎道立交橋匝道高架橋天氣條件晴天、雨天、霧天多云、黃昏、夜間交通狀況正常流量擁堵稀疏交通3.3 數據分布特征類別分布轎車Sedan64.4%卡車Truck32.6%面包車Van2.9%公交車Bus0.1%關鍵發(fā)現相比城市數據集高速公路場景中大型車輛卡車占比顯著更高達到32.6%。速度分布主要集中在70-100 km/h平均速度轎車約95 km/h卡車約80 km/h軌跡長度78.4%的軌跡長度超過400米這意味著大部分車輛會穿越多個傳感器形成完整的長距離軌跡3.4 標定系統(tǒng)H-V2X提供了三個坐標系統(tǒng)圖像坐標系相機坐標系世界坐標系矢量地圖坐標系標定方法方法1人工標定工具使用棋盤格標定相機內參人工調整外參x, y, z, yaw, pitch, roll確保矢量地圖投影與真實車道對齊方法2自動標定算法使用分割模型提取視覺車道線優(yōu)化矢量地圖車道與視覺車道的3D匹配分數采用Bundle Adjustment算法每日自動運行應對傳感器漂移3.5 創(chuàng)新的標注流程由于高速公路場景無法使用LiDARH-V2X提出了創(chuàng)新的基于攝像頭的3D標注流水線步驟12D檢測與跟蹤訓練云端基礎模型使用122,445標注數據半監(jiān)督學習擴展到370,000幀mAP達到0.95在IoU0.5的閾值下2D MOT提供平滑的邊界框和跟蹤ID步驟22D到3D投影將圖像平面邊界框投影到矢量地圖坐標系利用道路邊界信息過濾誤檢步驟3跨傳感器目標匹配使用最小歐氏距離匈牙利匹配策略合并不同攝像頭觀測到的同一目標步驟4軌跡后處理擴展卡爾曼濾波平滑軌跡生成BEV空間的統(tǒng)一跟蹤ID雷達提供速度和航向角步驟5人工質量驗證移除幻影軌跡BEV中存在但圖像中不存在的軌跡移除異常斷裂的軌跡標注4個類別最終結果生成17,560,000個高質量標注樣本4. 三大Benchmark任務4.1 任務1BEV檢測H-V2X-Det任務定義給定時刻t的多個傳感器輸入BEV檢測的目標是找到一個神經網絡F輸出所有圖像視角中對象的3D信息輸入5個攝像頭的圖像矢量地圖M輸出類別、置信度3D位置x, y, z尺寸w, l, h航向角yaw顏色任務特點與傳統(tǒng)自動駕駛BEV檢測的區(qū)別檢測范圍更大傳統(tǒng)自動駕駛正負60米H-V2X正負500米相機類型多樣長焦相機、短焦相機、魚眼相機深度融合HDMap車道線和道路邊界作為關鍵輸入提供靜態(tài)道路信息H-BEV模型論文提出了H-BEVHighway BEV模型這是一個融合魚眼相機和矢量地圖的BEV檢測網絡。核心創(chuàng)新利用HDMap簡化深度估計傳統(tǒng)BEVDet需要學習每個像素的大量離散深度值H-BEV利用HDMap信息從HDMap通過插值得到單一深度值圖像特征圖尺寸減少500倍顯著提升速度和效率模型流程輸入5個攝像頭圖像 矢量地圖 ↓ 特征提取ResNet-18 backbone ↓ 利用HDMap生成Frustum點云 ↓ BEV空間特征融合 ↓ 檢測頭 屬性預測頭 ↓ 輸出3D檢測結果評估指標APAverage Precision使用40個recall位置計算平均精度FPSFrames Per Second衡量實時性能測量單幀處理時間4.2 任務2統(tǒng)一ID多目標跟蹤H-V2X-Trk任務定義MOT任務的核心是為每個相關的交通參與者建立和維護唯一的ID。輸入連續(xù)的圖像序列輸出完整的3D對象信息位置和屬性每個對象的唯一ID對象軌跡S {o1, o2, o3, ..., oT}兩種范式方法1Tracking-by-Detection本文采用兩階段過程先檢測目標位置再關聯(lián)連續(xù)幀中的目標分配正確的ID方法2Joint Detection and Tracking端到端方法同時進行檢測和跟蹤學習檢測特征和re-identification特征Baseline方法H-V2X提供了基于SORT算法的baseline核心組件卡爾曼濾波運動估計和預測匈牙利算法目標匹配歐氏距離相似度度量Track管理處理新生和丟失的目標運動模型使用3D坐標x, y, z作為測量值一階差分速度分量vx, vy, vz融入狀態(tài)轉移矩陣。評估指標MOTAMultiple Object Tracking Accuracy綜合考慮假陰性、假陽性和ID切換MOTA 1 - (FN FP IDS) / GT其中FN假陰性漏檢FP假陽性誤檢IDSID切換次數GT真實目標數量MOTPMultiple Object Tracking Precision測量預測邊界框中心與真實邊界框中心的平均歐氏距離。IDSID Switch單獨衡量跟蹤算法保持目標身份一致性的能力。4.3 任務3軌跡預測H-V2X-Prediction任務定義基于觀測到的歷史軌跡預測對象未來一段時間內的連續(xù)軌跡。輸入歷史軌跡p1, p2, p3, ..., pt矢量地圖M輸出未來軌跡pt1, pt2, ..., ptTT為預測時間步數1-5秒Baseline方法Baseline 1Vanilla SocialGAN基于SocialGAN實現使用LSTM編碼歷史軌跡使用GAN生成未來軌跡數據增強位置添加隨機噪聲[-2m, 2m]方向添加高斯噪聲[-0.785, 0.785]弧度訓練500,000次迭代Baseline 2HD-GAN本文提出融合HDMap信息的改進版本核心創(chuàng)新使用全局地圖信息提取對象的全局位置特征模型組件HDMap Layer輸入車道線信息HDMap Normalization Layer計算對象全局位置歸一化到[0,1]HDMap Encoder Layer編碼全局地圖位置特征GeneratorLSTM Pooling 全局特征融合Discriminator判別真假軌跡評估指標ADEAverage Displacement Error測量預測位置與實際位置之間的平均誤差對每個時間步計算歐氏距離然后取平均。FDEFinal Displacement Error測量預測的最終位置與實際最終位置之間的誤差只計算最后一個時間步的歐氏距離。5. 實驗結果分析5.1 BEV檢測結果定量結果方法BackbonemAP3DmAPbevFPSLate Fusion-31.7533.2410Early Fusion (H-BEV)ResNet-1835.4938.406關鍵發(fā)現Early Fusion顯著優(yōu)于Late FusionmAP3D提升3.74個百分點11.8%mAPbev提升5.16個百分點15.5%速度差異可接受Late Fusion10 FPSEarly Fusion6 FPS都滿足實時要求定性分析Late Fusion的問題對標定參數更敏感截斷和遮擋目標檢測效果差依賴2D檢測質量Early Fusion的優(yōu)勢更魯棒端到端學習更好地處理困難情況HDMap的作用簡化深度估計從離散多值到單一值特征圖大小減少原始尺寸的1/500統(tǒng)一處理魚眼和針孔相機的投影5.2 MOT結果定量結果指標MOTAMOTPIDSBaseline0.850.950.05結果解讀MOTA0.85總體跟蹤準確率良好MOTP0.95位置精度很高IDS0.05ID切換較少挑戰(zhàn)分析高速公路場景的MOT面臨獨特挑戰(zhàn)高速運動車速70-100 km/h幀間位移大需要強運動模型長時間遮擋立交橋遮擋持續(xù)數秒大型車輛遮擋小車容易導致ID斷裂近距離混淆多車并行行駛單純距離匹配不足需要更多特征改進方向引入外觀特征加強運動約束利用車道線信息結合地圖約束5.3 軌跡預測結果定量結果預測不同時長1-5秒的ADE和FDEADE結果預測時長Vanilla SocialGANHD-GAN改進1秒0.4320.4271.2%2秒0.8940.8435.7%3秒1.4301.2919.7%4秒2.0181.8478.5%5秒2.6832.4578.4%FDE結果預測時長Vanilla SocialGANHD-GAN改進1秒0.8300.8270.4%2秒1.8491.6968.3%3秒3.0312.65712.3%4秒4.3823.87911.5%5秒5.8335.18811.1%關鍵發(fā)現地圖信息的重要性短期預測1-2秒地圖作用有限長期預測3-5秒地圖作用顯著增強預測時間越長全局位置信息越重要數據增強的效果對比有無數據增強無增強對觀測軌跡抖動敏感有增強魯棒性顯著提高能更好地處理噪聲觀測定性結果論文展示了可視化結果對比A無地圖 vs 有地圖無地圖預測軌跡可能偏離道路有地圖預測軌跡符合道路約束對比B無增強 vs 有增強無增強觀測抖動時預測誤差大有增強對抖動有更好的抗干擾能力5.4 數據集對比與現有V2X數據集對比數據集年份場景樣本數覆蓋傳感器任務DAIR-V2X-C2022城市12K20kmCLMono3DV2X-Seq2023城市11K28路口CLTrackPredA9-Dataset2022高速1K3kmCLMono3DHighD2018高速1.48M420mC(無人機)2DH-V2X2024高速1.94M100kmCRBEVMOTPredH-V2X的獨特優(yōu)勢唯一的大規(guī)模高速公路路側數據集最大的樣本規(guī)模1.94M最長的覆蓋距離100km支持端到端BEV感知提供矢量地圖統(tǒng)一ID跨傳感器跟蹤數據分布差異高速 vs 城市場景的關鍵不同特征城市場景高速場景車速0-60 km/h70-100 km/h卡車占比約10%32.6%軌跡長度小于200m78.4%大于400m檢測范圍正負100m正負500m6. 總結與展望6.1 論文貢獻總結理論貢獻首次定義高速公路BEV感知任務擴展檢測范圍至正負500米定義統(tǒng)一ID跨傳感器跟蹤提出長距離軌跡預測提出無LiDAR的3D標注方法解決高速公路LiDAR不可行的問題提供完整的標注流水線人機結合保證數據質量提出HDMap深度融合范式H-BEV地圖輔助的BEV檢測HD-GAN地圖輔助的軌跡預測證明全局位置信息的重要性數據集貢獻規(guī)模大190萬樣本1760萬對象覆蓋廣100公里高速公路質量高人工驗證算法生成完整性圖像標注地圖標定Benchmark貢獻定義3個標準任務提供評估指標和工具建立baseline方法開源數據和代碼6.2 技術亮點亮點1多類型相機融合長焦相機遠距離高精度短焦相機大視野覆蓋魚眼相機消除盲區(qū)統(tǒng)一在BEV空間處理亮點2HDMap深度融合傳統(tǒng)vs改進對比方面?zhèn)鹘y(tǒng)BEVH-BEV深度估計學習大量離散值HDMap提供單一值特征圖很大縮小500倍魚眼處理困難簡化投影道路約束弱強亮點3統(tǒng)一ID跟蹤跨傳感器全局統(tǒng)一ID追蹤目標完整生命周期支持長距離軌跡分析78.4%軌跡超過400米6.3 實際應用場景智能高速公路實時交通監(jiān)控事故預警交通流優(yōu)化應急響應V2X協(xié)同感知為車輛提供超視距信息盲區(qū)補充長距離預警提升駕駛安全自動駕駛高速公路自動駕駛訓練長距離場景理解多傳感器融合研究邊緣場景測試交通管理交通統(tǒng)計分析行為模式識別違規(guī)檢測數據驅動決策6.4 未來工作方向數據集擴展交通事件標注違章停車緊急停車交通事故異常行為更多場景極端天氣夜間場景復雜交織區(qū)算法改進更強的MOT加入外觀特征利用車道信息改進運動模型更好的檢測長距離小目標遮擋處理多模態(tài)融合更準確的預測意圖識別交互建模不確定性估計系統(tǒng)優(yōu)化實時性優(yōu)化邊緣計算部署輕量化模型模型壓縮6.5 局限性地域性僅覆蓋中國高速公路需要更多國家和地區(qū)的數據類別有限目前只有4類可以增加更多細分類別極端情況極端天氣覆蓋有限需要更多邊緣場景Baseline可改進當前方法相對簡單還有很大提升空間7. 如何使用H-V2X數據集7.1 數據集獲取數據集下載鏈接https://pan.quark.cn/s/86d19da10d187.2 數據集結構H-V2X/ ├── images/ # 圖像數據 │ ├── long_range_camera_1/ # 長焦相機1 │ ├── long_range_camera_2/ # 長焦相機2 │ ├── short_range_camera_1/ # 短焦相機1 │ ├── short_range_camera_2/ # 短焦相機2 │ └── fisheye_camera/ # 魚眼相機 ├── annotations/ # 標注數據 │ ├── detection/ # 檢測標注 │ ├── tracking/ # 跟蹤標注 │ └── prediction/ # 預測標注 ├── calibration/ # 標定參數 │ ├── intrinsics/ # 內參 │ └── extrinsics/ # 外參 ├── vector_map/ # 矢量地圖 │ └── hdmap.json └── README.md # 說明文檔7.3 數據格式檢測標注示例{ frame_id: 0001234, timestamp: 1234567890.123, objects: [ { id: 1, class: sedan, bbox_3d: { x: 100.5, y: 20.3, z: 0.0, w: 1.8, l: 4.5, h: 1.5, yaw: 1.57 }, velocity: 25.5, color: red } ] }7.4 評估工具數據集提供官方評估腳本# BEV檢測評估 python eval_detection.py --pred results.json --gt annotations/detection/ # MOT評估 python eval_tracking.py --pred tracks.json --gt annotations/tracking/ # 軌跡預測評估 python eval_prediction.py --pred predictions.json --gt annotations/prediction/結語H-V2X數據集是V2X和自動駕駛領域的重要里程碑。它不僅填補了高速公路路側感知數據集的空白還提出了創(chuàng)新的無LiDAR標注方法和HDMap融合范式。三大核心價值學術價值為研究者提供高質量benchmark工程價值為實際系統(tǒng)提供訓練數據產業(yè)價值推動智能高速公路建設隨著數據集的開源相信會有更多優(yōu)秀的算法在H-V2X上被提出推動高速公路智能化和V2X技術的發(fā)展。如果這篇文章對你有幫助歡迎點贊、收藏和分享讓我們一起推動自動駕駛和V2X技術的發(fā)展