華為網(wǎng)站開發(fā),建設(shè)境外網(wǎng)站,域名注冊備案,專業(yè)服務(wù)網(wǎng)頁制作昨天有觀眾看過《一文講懂主機啟動時是如何給每個PCIe外設(shè)分配BDF的》發(fā)郵件來詢問#xff0c;主機在啟動過程中是BIOS給PCIe設(shè)備分配MMIO#xff0c;自己研發(fā)的GPU芯片現(xiàn)在會出現(xiàn)MMIO資源分配不足這么一個問題。想問下MMIO的主要功能和工作機制#xff0c;如何理解MMIO在PC…昨天有觀眾看過《一文講懂主機啟動時是如何給每個PCIe外設(shè)分配BDF的》發(fā)郵件來詢問主機在啟動過程中是BIOS給PCIe設(shè)備分配MMIO自己研發(fā)的GPU芯片現(xiàn)在會出現(xiàn)MMIO資源分配不足這么一個問題。想問下MMIO的主要功能和工作機制如何理解MMIO在PCIe設(shè)備的作用或者MMIO扮演一個什么角色? BIOS給PCIe設(shè)備分配的MMIO分配到哪里去等一些問題。下面簡單結(jié)合你做 GPU 芯片研發(fā)的視角來解釋一下上面的這些疑問一、MMIO 是什么縮寫MMIO Memory-Mapped I/O內(nèi)存映射輸入輸出意思是 把設(shè)備的寄存器、控制空間等映射到主機 CPU 的物理內(nèi)存地址空間里這樣 CPU 就能像“訪問內(nèi)存一樣訪問設(shè)備”。二、MMIO 主要功能是什么一句話總結(jié)讓 CPU或 DRAM 系統(tǒng)能通過內(nèi)存地址去訪問 PCIe 設(shè)備的寄存器、控制器、DMA配置空間等。MMIO 是設(shè)備與 CPU 之間的“命令通道”“大腦 → 外設(shè)”的控制路徑。三、MMIO 在 PCIe 設(shè)備中扮演什么角色通俗比喻PCIe 設(shè)備內(nèi)部通常有控制寄存器啟動 DMA、配置模式狀態(tài)寄存器告訴 CPU 是否完成某任務(wù)某些內(nèi)部 SRAM bufferdoorbell queue通知隊列MSI/MSI-X tableBAR 寄存器指向的各種控制空間這些東西都需要一個方式讓 CPU / 操作系統(tǒng)來讀寫。MMIO 就是這個方式。比喻MMIO 就像是在“大樓CPU 內(nèi)存空間”里面給 PCIe 設(shè)備開了幾間“辦公室”地址空間CPU 想跟設(shè)備交流就走到那間辦公室敲門讀寫地址。無 MMIO CPU 根本沒法操作 PCIe 設(shè)備。四、BIOS 給 PCIe 設(shè)備分配 MMIO 是怎么回事當主機開機時BIOS/UEFI 會① 掃描所有 PCIe 設(shè)備讀取每個設(shè)備的 BARBase Address Register寄存器。每個 BAR 會聲明這些空間通常包括Doorbell queue控制器寄存器內(nèi)部 SRAM windowMSI-X tableGPU 中的 GPC/SM 配置寄存器DMA engine 的寄存器② BIOS 在 CPU 的物理地址空間中給它們找位置CPU 實際可用物理地址空間例如 0~TB中會有一部分保留給 MMIO。比如BIOS 會從這個區(qū)域分配這就是你說的“MMIO資源不足”所有 PCIe 設(shè)備的 BAR size 總和超過了系統(tǒng)能提供的 MMIO window 大小。五、為什么 GPU/大加速器特別容易 MMIO 不夠因為GPU 的寄存器空間特別大上百 MB 甚至更多多個 BARBAR0、BAR1、BAR2有時還 64-bit BAR大量 doorbell queues、調(diào)度器、VM context、DMA 配置寄存器現(xiàn)代 GPU 的 BAR 空間越來越大如 AMD 的 64GB BAR 技術(shù)服務(wù)器 PCIe 設(shè)備多時MMIO 要求量瞬間爆炸。六、MMIO 的工作機制簡單到極致的解釋假設(shè) GPU BAR0 被分配此時CPU 執(zhí)行并不是寫 DRAM而是DRAM 完全不參與。MMIO 的本質(zhì)? CPU 發(fā)出一個寫入? RC 將其轉(zhuǎn)成 PCIe Memory Write TLP? 發(fā)給設(shè)備寄存器七、MMIO vs DMA為什么兩者是配套關(guān)系MMIO 是“控制通道”→ 用來告訴 GPU“開始 DMA”、“配置隊列”、“讀取狀態(tài)”DMA 是“數(shù)據(jù)通道”→ 用于搬運大數(shù)據(jù)比如 GPU 讀寫主機內(nèi)存。DMA 啟動依賴 MMIO但數(shù)據(jù)搬運不依賴 MMIO。八、BIOS 分配的 MMIO 最終“分配到哪里了”BIOS 分配的是CPU 物理地址空間中的一段區(qū)域。并不是某個 DRAM 地址 而是 “標記為 MMIO 的地址”。訪問這個區(qū)域時? CPU 認為是訪問“內(nèi)存”? 但不會走 DRAM? Root Complex 會把這些讀寫轉(zhuǎn)發(fā)給 PCIe 設(shè)備這就是“內(nèi)存映射 I/O”的精髓。九、為什么會 MMIO 資源不足原因包括系統(tǒng) MMIO window 不夠BIOS 或 CPU 硬件限制有太多 PCIe 設(shè)備GPU BAR 空間大64-bit BAR 占用巨大Non-prefetchable 與 Prefetchable window 不能混用CXL 設(shè)備使 MMIO 緊張BIOS 沒做好資源分配十、GPU 廠商一般怎么解決 MMIO 不夠常見方法1. 減少 BAR size改 IP 配置例如從 16MB 改為 4MB甚至拆分功能。2. 使用 BAR virtualizationSR-IOV 等3. 讓部分配置空間通過 doorbell indirect access而不是直接 MMIO即這樣 BAR 只需很小。4. BIOS/MMIO window 增大主板廠 or 固件5. 使用 64-bit BAR 讓 BIOS 分配到 4GB 以上高地址總結(jié)概念通俗解釋MMIO把設(shè)備的寄存器映射成“內(nèi)存地址”CPU 就能用讀寫內(nèi)存的方式控制 PCIe 設(shè)備BIOS 分配 MMIO在 CPU 的物理地址空間里劃一塊區(qū)域給 PCIe 設(shè)備作為“控制面板”MMIO 的作用控制設(shè)備、配置 DMA、讀狀態(tài)是 CPU ? PCIe 設(shè)備的指揮通道MMIO資源不足所有 PCIe 設(shè)備 BAR 所需的總空間 CPU/BIOS 提供的 MMIO 地址窗口實際寫 MMIO 不會寫進 DRAM會被 Root Complex 轉(zhuǎn)成 TLP 發(fā)送給設(shè)備寄存器