模板網(wǎng)站建設(shè)公司 東莞,寫作網(wǎng)站新手,WordPress多頁面菜單,上海專業(yè)建設(shè)網(wǎng)站制作③【openFuyao 】以開放社區(qū)構(gòu)建算力生態(tài)寫在最前面一、 引言#xff1a;AI 時代的“生態(tài)鴻溝”二、 核心主張與定位#xff1a;以“開放”賦能“生態(tài)”2.1 核心主張#xff1a;構(gòu)建“算力親和”的開放生態(tài)2.2 愿景與使命#xff1a;提供多樣化算力集群“軟件生態(tài)”2.3 為生…③【openFuyao 】以開放社區(qū)構(gòu)建算力生態(tài)寫在最前面一、 引言AI 時代的“生態(tài)鴻溝”二、 核心主張與定位以“開放”賦能“生態(tài)”2.1 核心主張構(gòu)建“算力親和”的開放生態(tài)2.2 愿景與使命提供多樣化算力集群“軟件生態(tài)”2.3 為生態(tài)伙伴提供的技術(shù)定位三、 openFuyao 解決方案框架高信息密度的技術(shù)實現(xiàn)四、 社區(qū)治理與生態(tài)輸出路徑五、 結(jié)論openFuyao——算力時代的“生態(tài)構(gòu)建師”參考文獻你好呀我是 是Yu欸 感謝你的陪伴與支持~ 歡迎添加文末好友 在所有感興趣的領(lǐng)域擴展知識不定期掉落福利資訊(*^▽^*)寫在最前面版權(quán)聲明本文為原創(chuàng)遵循 CC 4.0 BY-SA 協(xié)議。轉(zhuǎn)載請注明出處。在 AI 驅(qū)動下的算力競爭已升級為生態(tài)系統(tǒng)之爭的當下針對異構(gòu)算力集群中存在的指令集架構(gòu)碎片化、軟件棧割裂以及資源拓撲感知缺失等核心調(diào)度難題openFuyao 社區(qū)提供了一套系統(tǒng)級解決方案。本文深入闡述 openFuyao 實現(xiàn)算力親和Compute-Friendly的核心主張即通過在 KubernetesK8s云原生底座上部署可插拔的擴展調(diào)度器和設(shè)備插件實現(xiàn)NUMA拓撲感知、高QoS在離線混部、以及Gang Scheduling 原子性調(diào)度等 HPC 級技術(shù)賦能。openFuyao 正以其多方共治的社區(qū)框架有效粘合硬件廠商與應(yīng)用生態(tài)并以國產(chǎn)化適配優(yōu)勢為戰(zhàn)略支點加速推動異構(gòu)算力調(diào)度標準的全球化演進。一、 引言AI 時代的“生態(tài)鴻溝”當前AI 成功的關(guān)鍵已不再是強大的芯片而是要解決如何高效、低成本地將算力轉(zhuǎn)化為行業(yè)應(yīng)用價值的問題。計算基礎(chǔ)設(shè)施已進入一個異構(gòu)計算為主導(dǎo)的時代通用處理器CPU與專用加速器GPU、NPU、FPGA協(xié)同工作。然而這種硬件上的多元化未能同步帶來軟件生態(tài)的統(tǒng)一反而造成了嚴重的生態(tài)鴻溝直接阻礙了 AI 技術(shù)的產(chǎn)業(yè)化落地。這種生態(tài)困境對產(chǎn)業(yè)鏈上的三方角色構(gòu)成了實質(zhì)性的制約硬件廠商的困境產(chǎn)品市場化挑戰(zhàn)擁有強大的 NPU 等國產(chǎn)硬件但如何打破如 CUDA的軟件生態(tài)壁壘技術(shù)是為應(yīng)用服務(wù)的如果開發(fā)者無法快速遷移或編寫代碼硬件價值就無法釋放。因此核心問題是如何通過統(tǒng)一的接口吸引開發(fā)者將硬件能力有效地轉(zhuǎn)化為市場產(chǎn)品。應(yīng)用開發(fā)者的困境研發(fā)效率與成本AI 科學家和數(shù)據(jù)科學家希望一次編寫處處運行將精力集中在模型創(chuàng)新而非底層適配。然而代碼被特定硬件的軟件棧深度綁定導(dǎo)致跨架構(gòu)遷移成本極高嚴重拉長了研發(fā)周期和試錯成本。平臺運維方的困境運營成本與穩(wěn)定性企業(yè)和云廠商面對數(shù)據(jù)中心內(nèi) CPU/GPU/NPU 的算力萬花筒缺乏統(tǒng)一的管理平臺。這直接導(dǎo)致兩個業(yè)務(wù)問題資源利用率低難以實現(xiàn)高效混部和性能穩(wěn)定性差缺乏拓撲感知導(dǎo)致高延遲最終推高了基礎(chǔ)設(shè)施的運營成本TCO。面對上述困境行業(yè)迫切需要一個中立、開放且深度優(yōu)化的軟件底座。openFuyao正是致力于成為連接底層硬件能力與上層 AI 應(yīng)用的生態(tài)黏合劑通過開放的社區(qū)和標準從根本上解決異構(gòu)算力的生態(tài)構(gòu)建難題。二、 核心主張與定位以“開放”賦能“生態(tài)”2.1 核心主張構(gòu)建“算力親和”的開放生態(tài)openFuyao 的核心主張是生態(tài)賦能。它不僅要讓應(yīng)用適配算力更要通過一個開放的框架讓 硬件被集成、應(yīng)用被調(diào)度、運維被簡化三方都能輕松接入共同繁榮。這種系統(tǒng)級算力親和Compute-Friendly要求調(diào)度系統(tǒng)必須具備深度感知能力并將拓撲信息融入調(diào)度決策以最大限度地降低任務(wù)的運行時延遲Latency和提高吞吐量Throughput。2.2 愿景與使命提供多樣化算力集群“軟件生態(tài)”openFuyao 的愿景是成為多樣化算力時代的調(diào)度樞紐和管理基座。其使命是提供多樣化的算力集群軟件生態(tài)釋放智能的無限價值。關(guān)鍵詞是軟件生態(tài)這是連接硬件和應(yīng)用的核心。2.3 為生態(tài)伙伴提供的技術(shù)定位openFuyao 為每一個生態(tài)伙伴提供了清晰的技術(shù)接入和價值定位于硬件廠商這是一個開放的硬件接口層。廠商無需重造全套軟件棧只需開發(fā)一個可插拔的設(shè)備插件即可快速融入云原生生態(tài)實現(xiàn)硬件價值的最大化。于應(yīng)用開發(fā)者這是一個統(tǒng)一的應(yīng)用編程接口。它屏蔽了底層硬件差異提供 AI 推理套件、NUMA 親和調(diào)度等標準能力助力實現(xiàn)一次開發(fā)處處運行。于平臺運維方這是一個統(tǒng)一的管理控制平臺。通過單一平臺實現(xiàn)對所有異構(gòu)資源的納管、調(diào)度、監(jiān)控極大提升資源利用率。三、 openFuyao 解決方案框架高信息密度的技術(shù)實現(xiàn)openFuyao 采用核心平臺 可插拔組件的解耦架構(gòu)這一設(shè)計哲學是其生態(tài)戰(zhàn)略的技術(shù)體現(xiàn)。通過一系列核心技術(shù)組件openFuyao 精準地回應(yīng)了前述的行業(yè)挑戰(zhàn)。為根本解決資源拓撲感知缺失的問題openFuyao 部署了拓撲感知調(diào)度器其核心實現(xiàn)是NUMA 親和調(diào)度機制。該組件能夠深度識別服務(wù)器內(nèi)部的 CPU Socket、內(nèi)存 banks 與加速卡如 NPU/GPU之間的物理連接關(guān)系。在任務(wù)調(diào)度時系統(tǒng)確保任務(wù)的工作負載和所需內(nèi)存分配在同一 NUMA 域內(nèi)。這種機制對硬件廠商的價值是充分發(fā)揮其多核、多路 CPU 的硬件設(shè)計優(yōu)勢對開發(fā)者的價值是無需關(guān)心底層拓撲即可自動獲得 HPC 級的低延遲性能。圖為NUMA 親和調(diào)度流程展示任務(wù)如何被智能地分配到距離 NPU 最近的 CPU/內(nèi)存資源。在創(chuàng)建工作負載并將調(diào)度器設(shè)置為Volcano后首先會檢查配置的拓撲策略是否正確再將拓撲策略加入到注解中。之后NUMA感知組件會判斷即將調(diào)度的節(jié)點上的NUMA是否有空閑最后調(diào)度器根據(jù)NUMA感知組件的結(jié)果及注解中的拓撲策略進行NUMA調(diào)度。針對集群資源利用率低下的固有矛盾openFuyao 依賴擴展的資源管理器與內(nèi)核級隔離能力實現(xiàn)了在離線混部調(diào)度Co-location Scheduling。平臺引入了高 QoS 的資源隔離策略利用Cgroups、內(nèi)存隔離和 CPU 拓撲管理等內(nèi)核級機制將低優(yōu)先級的離線任務(wù)動態(tài)部署到在線服務(wù)的閑置資源中。平臺設(shè)計的關(guān)鍵在于它能在保障在線服務(wù) SLA 的前提下動態(tài)對離線任務(wù)進行資源限制或回收從而大幅提升集群整體的資源利用率賦能運維方降低 TCO。圖為在離線混部調(diào)度示例圖。集群中的節(jié)點規(guī)劃分為混部節(jié)點和非混部節(jié)點。一般情況下在線業(yè)務(wù)和離線業(yè)務(wù)部署在混部節(jié)點上普通業(yè)務(wù)部署在非混部節(jié)點上。混部調(diào)度器根據(jù)當前要部署的業(yè)務(wù)屬性以及集群中節(jié)點的混部屬性合理調(diào)度當前業(yè)務(wù)到適當?shù)墓?jié)點上。在不同QoS級別的負載會對應(yīng)到不同的負載PriorityClass級別在進行調(diào)度時混部Scheduler會在調(diào)度隊列層依照負載PriorityClass進行優(yōu)先級調(diào)度/搶占確保高優(yōu)先級任務(wù)在調(diào)度層級得到優(yōu)先保障另一方面在選擇調(diào)度節(jié)點時混部Scheduler也會根據(jù)每個節(jié)點的CPU和內(nèi)存的真實使用率進行打分將負載調(diào)度到綜合CPU和內(nèi)存使用較低的節(jié)點上最大限度避免節(jié)點過熱情況。為解決 AI/HPC 任務(wù)對軟件碎片化的適應(yīng)問題openFuyao 引入了專用批處理作業(yè)管理器其核心實現(xiàn)是Gang Scheduling成組調(diào)度。針對分布式 AI 訓(xùn)練任務(wù)要求所有相關(guān)的 Pod 或 Worker 必須同時被調(diào)度成功。Gang Scheduling 組件確保了任務(wù)的原子性避免了因部分 Pod 無法及時獲取資源而導(dǎo)致的集群死鎖或低效空轉(zhuǎn)。同時平臺通過高層的抽象和封裝屏蔽底層 Ascend CANN、CUDA 等不同異構(gòu)硬件的軟件棧差異為應(yīng)用開發(fā)者提供統(tǒng)一的作業(yè)接口實現(xiàn)模型訓(xùn)練和推理的開箱即用。圖為openFuyao Ray概覽。在openFuyao平臺界面左側(cè)導(dǎo)航欄的“算力優(yōu)化中心”中選擇“openFuyao Ray 概覽”進入“概覽”界面。概覽界面直觀展示RayCluster、RayJob、RayService的活躍數(shù)量以及計算資源分配和使用情況。在概覽界面“集群監(jiān)控”區(qū)域右側(cè)單擊“View in Grafana”跳轉(zhuǎn)至Grafana監(jiān)控面板查看Ray計算集群的詳細監(jiān)控數(shù)據(jù)。四、 社區(qū)治理與生態(tài)輸出路徑openFuyao 的獨特之處在于它將技術(shù)演進與社區(qū)治理視為同一問題的兩個方面通過開放社區(qū)解決技術(shù)難題并通過治理結(jié)構(gòu)保證生態(tài)中立性。openFuyao 強調(diào)由華為、中國移動、中國聯(lián)通等產(chǎn)業(yè)龍頭共同主導(dǎo)的開放治理結(jié)構(gòu)。這種多方共治模式是建立生態(tài)信任的基石確保了平臺的技術(shù)中立性避免了單一廠商鎖定這是吸引多樣化硬件廠商加入的前提。社區(qū)通過SIG、GitCode 倉庫、貢獻指南等機制是社區(qū)成員共同構(gòu)建生態(tài)、解決技術(shù)難題的協(xié)作平臺。openFuyao 的生態(tài)價值輸出路徑清晰而堅定。首先是國產(chǎn)化適配的生態(tài)黏合劑。openFuyao 憑借其社區(qū)資源與技術(shù)積累率先在高精度適配昇騰、鯤鵬等國產(chǎn)異構(gòu)算力方面形成競爭優(yōu)勢。它通過提供統(tǒng)一的軟件接口層屏蔽了底層國產(chǎn)硬件的差異性為應(yīng)用開發(fā)者提供了統(tǒng)一的編程模型這成為解決國內(nèi)算力基礎(chǔ)設(shè)施自主可控和生態(tài)構(gòu)建問題的堅實底座。其次是全球算力互聯(lián)標準的定義者。openFuyao 的長遠目標是將其在異構(gòu)算力抽象、拓撲感知調(diào)度上的創(chuàng)新實踐上升為一套被國際認可的開放標準Open Standard。它將定義統(tǒng)一的異構(gòu)算力抽象 API 和調(diào)度接口推動全球范圍內(nèi)的 NPU 或 AI 芯片制造商遵循該標準將 openFuyao 的技術(shù)創(chuàng)新輸出為全球基礎(chǔ)設(shè)施的通用規(guī)范。五、 結(jié)論openFuyao——算力時代的“生態(tài)構(gòu)建師”openFuyao 的核心價值不在于重復(fù)發(fā)明一個調(diào)度器而在于它扮演了生態(tài)構(gòu)建師的角色。它通過開放社區(qū)和開放框架這兩大支柱為異構(gòu)算力打造了一個多方共贏的生態(tài)底座。openFuyao 代表了未來算力調(diào)度的技術(shù)趨勢極致融合、深度智能、完全開放。它以開放社區(qū)為引擎不僅為國內(nèi)算力基礎(chǔ)設(shè)施提供了破局生態(tài)鴻溝的中國方案更致力于成為下一代全球算力互聯(lián)的開源標準。openFuyao 社區(qū)為硬件廠商、AI 開發(fā)者及平臺運維提供了清晰的價值主張和參與路徑。我們期待與產(chǎn)業(yè)各方伙伴攜手共進在共享技術(shù)紅利的同時共同塑造和完善下一代算力基礎(chǔ)設(shè)施的標準。參考文獻openFuyao 社區(qū). (2025).發(fā)行說明 | openFuyao文檔. https://docs.openfuyao.cn/docs/openFuyao 社區(qū). (2025).快速入門 | openFuyao文檔. https://docs.openfuyao.cn/docs/Quick_Start頭豹研究院. (2025).2025年算力調(diào)度平臺行業(yè).openFuyao 社區(qū). (2025).開發(fā)指南/NUMA親和調(diào)度開發(fā)指南. https://docs.openfuyao.cn/docs/Developer_Guide/NUMA_aware_Scheduling_Development_GuideITP.net. (2025).Empowering Global Innovation with an Open, Reliable Computing Alternative. https://www.itp.net/edge/empowering-global-innovation-with-an-open-reliable-computing-alternativeWuzhouCloud. (2025).openFuyao x 廣電五舟共建復(fù)合集流體智能產(chǎn)線系統(tǒng). https://www.wuzhoucloud.com/news/index2596.htmlhello我是 是Yu欸 。如果你喜歡我的文章歡迎三連給我鼓勵和支持點贊 關(guān)注 評論我會給大家?guī)砀嘤杏糜腥さ奈恼?。原文鏈? ??更新更及時。歡迎大家點開下面名片添加好友交流。