視頻網(wǎng)站怎么做算法,wordpress積分兌換,鼎湖網(wǎng)站建設(shè),鄭州婦科醫(yī)院哪家排名比較好《MetaX sGPU HAMi#xff1a;細(xì)粒度 GPU 共享與云原生調(diào)度的協(xié)同落地》— 郭磊作為一個活躍的開源項目#xff0c;HAMi 由來自 15 國家、350 貢獻(xiàn)者共同維護(hù)#xff0c;已被 200 企業(yè)與機(jī)構(gòu)在實際生產(chǎn)環(huán)境中采納#xff0c;具備良好的可擴(kuò)展性與支持保障。隨著 AI 模型訓(xùn)…《MetaX sGPU × HAMi細(xì)粒度 GPU 共享與云原生調(diào)度的協(xié)同落地》— 郭磊作為一個活躍的開源項目HAMi 由來自 15 國家、350 貢獻(xiàn)者共同維護(hù)已被 200 企業(yè)與機(jī)構(gòu)在實際生產(chǎn)環(huán)境中采納具備良好的可擴(kuò)展性與支持保障。隨著 AI 模型訓(xùn)練和推理任務(wù)持續(xù)向云原生環(huán)境遷移GPU 的“碎片化問題”開始成為資源利用率的最大障礙。在傳統(tǒng)整卡資源分配方式下越來越多的企業(yè)發(fā)現(xiàn) GPU 的真實利用率遠(yuǎn)低于硬件能力本身。來自沐曦股份的云原生基礎(chǔ)架構(gòu)專家 MetaX sGPU 核心貢獻(xiàn)者郭磊在本次分享中從架構(gòu)、切分、調(diào)度到 QoS 策略系統(tǒng)講解了 MetaX sGPU 在 HAMi 社區(qū)的落地過程并展示了其如何幫助開發(fā)者在 Kubernetes 體系內(nèi)獲得可共享、可調(diào)度、可精細(xì)控制的 GPU 服務(wù)。01 痛點挑戰(zhàn)在典型的 AI 推理或訓(xùn)練場景中GPU 往往無法被真正“吃滿”。某些任務(wù)只需要 20% 的算力、4GB 的顯存卻被迫占據(jù)整張卡某些任務(wù)對延遲敏感需要固定、可預(yù)測的資源但傳統(tǒng) GPU 調(diào)度無法主動保障某些離線任務(wù)可被擠壓但在整卡分配模式下仍會意外獨占整卡降低整體利用率。結(jié)果就是GPU 的平均利用率長期低于 40%業(yè)務(wù)峰谷波動極大企業(yè)耗費大量成本卻無法將算力價值最大化。同時隨著國產(chǎn) GPU 大規(guī)模進(jìn)入企業(yè)集群算力分配、算力隔離、顯存切片、搶占邏輯等能力亟需標(biāo)準(zhǔn)化接口否則不同硬件之間的行為不一致會導(dǎo)致上層業(yè)務(wù)無法形成統(tǒng)一抽象。02 解決方案MetaX sGPU 的核心理念是將 GPU 資源拆解為更加細(xì)致、更加可編排的計算單元通過 HAMi 的調(diào)度體系在 Kubernetes 中以一致的方式向上層業(yè)務(wù)暴露。郭磊指出sGPU 的基礎(chǔ)能力包括兩大核心抽象顯存切分vmemory與算力切分vcore其中在支持的設(shè)備上顯存最小可到 MB 級算力可按 1% 粒度切分使得用戶能夠精準(zhǔn)描述自己的資源需求。例如一個輕量級推理任務(wù)可以只申請“60% 算力 4GB 顯存”無需占滿整張 GPU 卡實現(xiàn)比傳統(tǒng) GPU 管理方式更精細(xì)的資源利用率。這一細(xì)粒度能力并不是簡單的設(shè)備層切片而是由MetaX device plugin、HAMi scheduler 與底層 sGPU driver共同協(xié)作完成。device plugin 負(fù)責(zé)公布節(jié)點上可供切分的資源單元并將卡級的“可用算力、可用顯存、最大實例數(shù)量”等狀態(tài)上報給 KubernetesHAMi 的 scheduler 在此基礎(chǔ)上加入了對“節(jié)點級 / GPU 級的 binpack 與 spread 策略”的支持既能讓任務(wù)盡可能堆疊在同張卡上提升利用率也能根據(jù)業(yè)務(wù)要求將任務(wù)均勻打散在卡之間以避免互相干擾。對業(yè)務(wù)來說這兩層策略相互組合意味著一套聲明式接口就能表達(dá)“高密度利用”與“高可用隔離”的不同需求。更進(jìn)一步的是sGPU 構(gòu)建了一套完整的QoS 策略。best effort 模式允許任務(wù)在空閑時使用整卡算力適合輕量型在線推理fixed share 則提供強(qiáng)配額保證使得任務(wù)使用多少即獲得多少適合可預(yù)測負(fù)載burst share 則結(jié)合兩者優(yōu)點在基礎(chǔ)配額之上允許任務(wù)“彈性借用”空閑算力。拓?fù)涓兄{(diào)度則在整卡場景中發(fā)揮重要作用。在沐曦 GPU 的架構(gòu)中多卡之間通過 MetaLink 等高速互連連接鏈路拓?fù)渲苯佑绊懹?xùn)練和推理性能。HAMi 調(diào)度器通過卡級拓?fù)浒l(fā)現(xiàn)能力使雙卡任務(wù)可以優(yōu)先調(diào)度到鏈路最佳的 GPU 組合而四卡任務(wù)則被調(diào)度到保留的“高帶寬分組”中從而確保業(yè)務(wù)性能最大化。整個 sGPU × HAMi 的整合體系本質(zhì)上是將硬件能力通過標(biāo)準(zhǔn)接口暴露給 Kubernetes并結(jié)合 HAMi 的調(diào)度策略實現(xiàn)靈活、可控、可編排的 GPU 共享。03 落地實踐在真實生產(chǎn)環(huán)境中MetaX sGPU 與 HAMi 的整合已在多個企業(yè)場景中驗證了其高穩(wěn)定性與高收益性。在推理場景中許多企業(yè)希望在有限 GPU 數(shù)量下服務(wù)更高 QPS 的請求。通過將原本單卡運行的推理模型拆解為多個輕量實例并使用“20%–40% 算力 2–8GB 顯存”的配置運行資源被高度壓縮在同一張卡上使得 GPU 的總體利用率大幅提高。這種“切片復(fù)用”使得每張 GPU 的價值被顯著放大讓企業(yè)可以用更少的硬件支撐更多業(yè)務(wù)。在訓(xùn)練與強(qiáng)化學(xué)習(xí)場景中sGPU 的在離線混部策略開始展現(xiàn)差異化優(yōu)勢。例如在線推理任務(wù)需要低延遲而離線訓(xùn)練任務(wù)允許被暫?；驍D壓。當(dāng)資源吃緊時sGPU driver 會自動暫停低優(yōu)先級的離線任務(wù)將算力優(yōu)先讓給在線任務(wù)。這種行為在傳統(tǒng)的 GPU 虛擬化體系中難以實現(xiàn)而在 HAMi × sGPU 的組合中用戶只需在 Pod 中聲明在離線屬性系統(tǒng)即可在同卡或同節(jié)點內(nèi)實現(xiàn)算力級的優(yōu)先級調(diào)度和按需搶占。拓?fù)涓兄{(diào)度在大模型推理和大 batch 訓(xùn)練場景中也取得了顯著效果。以 8 卡分布式訓(xùn)練為例在傳統(tǒng)調(diào)度體系下任務(wù)可能隨機(jī)落在任意組合上而 sGPU × HAMi 能夠自動識別互連最佳的四卡或八卡拓?fù)浔苊饬丝缃M通信帶寬不足的問題使整體訓(xùn)練時間縮短 10%–20%。這類收益完全來自調(diào)度層而無需對模型或框架做額外修改。郭磊總結(jié)道MetaX sGPU 在 HAMi 上的成功落地不僅意味著沐曦 GPU 自身可以在云原生體系內(nèi)以一致方式被使用更重要的是sGPU 與 HAMi 的融合開啟了“可共享、可切分、可調(diào)度”的 GPU 資源新范式讓國產(chǎn) GPU 與國際 GPU 在同一資源抽象下運行成為現(xiàn)實。這為整個生態(tài)帶來了巨大的擴(kuò)展空間。04 結(jié)語MetaX sGPU 在 HAMi 社區(qū)的落地是國產(chǎn) GPU 能力與云原生調(diào)度技術(shù)相互成就的重要合作。沐曦以 sGPU 構(gòu)建細(xì)粒度、可編排的算力接口HAMi 提供統(tǒng)一而穩(wěn)健的調(diào)度框架使 GPU 從硬件資源走向可共享、可運營的云原生能力。這一模式不僅拓展了國產(chǎn) GPU 的應(yīng)用空間也為 HAMi 構(gòu)建跨芯片的調(diào)度標(biāo)準(zhǔn)奠定基礎(chǔ)。