群暉nas做網(wǎng)站性能,網(wǎng)站分級怎么做,做網(wǎng)站廣告多少錢,網(wǎng)頁制作的基本步驟共七步在眾多GPU編程語言中如何做出選擇#xff0c;當(dāng)前GPU編程生態(tài)系統(tǒng)中的一個重要趨勢——越來越多的高級抽象語言正在挑戰(zhàn)傳統(tǒng)的CUDA編程模式。 背景#xff1a;兩個相似卻不同的選擇 TileLang和Triton都是基于現(xiàn)代編譯器技術(shù)的GPU編程語言#xff0c;旨在簡化CUDA開發(fā)。 Tr…在眾多GPU編程語言中如何做出選擇當(dāng)前GPU編程生態(tài)系統(tǒng)中的一個重要趨勢——越來越多的高級抽象語言正在挑戰(zhàn)傳統(tǒng)的CUDA編程模式。背景兩個相似卻不同的選擇TileLang和Triton都是基于現(xiàn)代編譯器技術(shù)的GPU編程語言旨在簡化CUDA開發(fā)。Triton已經(jīng)相當(dāng)成熟擁有17.9k GitHub星標(biāo)并被PyTorch生態(tài)系統(tǒng)廣泛采用。triton-lang/triton: Development repository for the Triton language and compilerTileLang作為一個相對較新的項(xiàng)目基于Apache TVM構(gòu)建提供了獨(dú)特的價值主張。tile-ai/tilelang: Domain-specific language designed to streamline the development of high-performance GPU/CPU/Accelerators kernelsTileLang傳送[tile-lang] 自動調(diào)優(yōu)器 | 遍歷-編譯-測試 | 記憶最優(yōu)解 |autotune裝飾器[tile-lang] JITKernel內(nèi)部 | Pass流水線鏈?zhǔn)睫D(zhuǎn)換TIR(中間表示)[tile-lang] JITKernel | 編譯程序的智能封裝[tile-lang] 布局與分塊管理 | Layout | Fragment[tile-lang] 張量核心 | 傳統(tǒng)MMA-WGMMA | 底層自動選擇優(yōu)化[tile-lang] 語言接口 |T.prim_functilelang.jit| 底層原理[tile-lang] docs | 基準(zhǔn)測試 | GEMM示例Triton部分MLIR架構(gòu) 看了一下 但還沒整理 之后有時間或許會整理吧1核心1. 架構(gòu)基礎(chǔ)的不同選擇TileLang的TVM基礎(chǔ)# TileLang基于TVM提供成熟的編譯器基礎(chǔ)設(shè)施T.prim_funcdefgemm_kernel(A:T.Buffer,B:T.Buffer,C:T.Buffer):# 利用TVM的三階段編譯管道# PreLowerSemanticCheck → LowerAndLegalize → OptimizeForTargetpassTriton的MLIR基礎(chǔ)# Triton直接基于MLIR構(gòu)建triton.jitdefgemm_kernel(a_ptr,b_ptr,c_ptr,M,N,K,stride_am,stride_ak,...):# 更直接的MLIR編譯路徑pass這種架構(gòu)差異帶來了根本性的不同TileLang繼承了TVM生態(tài)系統(tǒng)的所有優(yōu)勢包括成熟的優(yōu)化pass和多后端支持而Triton則享受MLIR的靈活性和現(xiàn)代編譯器設(shè)計。2. 編程抽象層次的差異TileLang主要專注于多層次抽象# 高級操作抽象withT.Kernel(T.ceildiv(M,128),T.ceildiv(N,128))as(bx,by):# 自動選擇最優(yōu)指令WGMMA/MMA/MFMAT.gemm(A_shared,B_shared,C_local,layouttn)# 線程級精細(xì)控制withT.thread_binding(0,128)astx:# 可以進(jìn)行線程級優(yōu)化T.copy(A_global[...],A_shared[...])Triton主要專注于塊級抽象triton.jitdefkernel(x_ptr,y_ptr,n_elements,BLOCK_SIZE:tl.constexpr):# 主要在塊級別進(jìn)行操作pidtl.program_id(axis0)block_startpid*BLOCK_SIZE offsetsblock_starttl.arange(0,BLOCK_SIZE)TileLang的優(yōu)勢1. 多后端支持的真正實(shí)現(xiàn)TileLang不僅僅是口頭承諾多后端支持而是真正實(shí)現(xiàn)了NVIDIA GPUs: 完整的CUDA支持AMD GPUs: 通過HIP后端Apple Silicon: 原生Metal支持華為昇騰: AscendC和NPU IR后端# 同一份代碼多個后端T.prim_funcdefattention_kernel(...):# 這份代碼可以在NVIDIA、AMD、Apple、華為芯片上運(yùn)行pass2. 自動化優(yōu)化的Carver框架TileLang提供了獨(dú)特的Carver框架能夠自動推薦最優(yōu)的tile結(jié)構(gòu)# Carver自動分析并推薦最優(yōu)配置carverT.Carver()optimal_configcarver.analyze(workload_shape(4096,4096,2048))# 輸出建議使用 tile_size(128, 128), thread_tile(8, 8)3. 先進(jìn)的內(nèi)存布局推理TileLang實(shí)現(xiàn)了三階段布局推理算法Strict階段嚴(yán)格約束下的布局確定Common階段通用優(yōu)化布局Free階段自由度最大的布局選擇這種自動化程度是Triton目前無法匹配的。應(yīng)用場景選擇TileLang的場景需要跨平臺支持# 一份代碼支持NVIDIA、AMD、Apple、華為iftargetcuda:# 自動生成CUDA代碼eliftargetmetal:# 自動生成Metal代碼需要線程級精細(xì)控制# TileLang允許線程級優(yōu)化withT.thread_binding(0,32)astx:# 精確控制每個線程的行為local_dataT.alloc_local([16],dtypefloat16)稀疏計算需求# 原生支持2:4稀疏張量核心T.gemm_sp(A_sparse,B_dense,C,sparsity_pattern2:4)選擇Triton的場景PyTorch生態(tài)集成如果你主要在PyTorch環(huán)境中工作快速原型開發(fā)Triton的學(xué)習(xí)曲線相對平緩成熟的社區(qū)支持更大的用戶基數(shù)和更多的示例開發(fā)體驗(yàn)TileLang的開發(fā)體驗(yàn)# 豐富的調(diào)試工具T.prim_funcdefdebug_kernel(...):T.print(Matrix A shape:,A.shape)# 內(nèi)置調(diào)試T.visualize_layout(A_shared)# 內(nèi)存布局可視化# JIT編譯與緩存kernelT.compile(debug_kernel,targetcuda)# 自動緩存Triton的開發(fā)體驗(yàn)# 相對簡單的調(diào)試triton.jitdefsimple_kernel(...):# 主要依賴print和profiling工具pass展望從技術(shù)發(fā)展趨勢來看TileLang代表了GPU編程語言發(fā)展的幾個重要方向編譯器技術(shù)的深度應(yīng)用基于TVM的成熟編譯器基礎(chǔ)設(shè)施自動化優(yōu)化減少手工調(diào)優(yōu)的需求真正的跨平臺支持不僅僅是理論上的支持多層次抽象從高級操作到線程級控制的完整覆蓋結(jié)論與建議TileLang和Triton都是優(yōu)秀的GPU編程語言但它們服務(wù)于不同的需求選擇TileLang如果你需要跨多個GPU廠商的平臺支持要求線程級的精細(xì)控制能力希望利用自動化優(yōu)化減少手工調(diào)優(yōu)正在開發(fā)稀疏計算或高級注意力機(jī)制選擇Triton如果你主要在PyTorch生態(tài)系統(tǒng)中工作需要快速原型開發(fā)和驗(yàn)證更看重成熟的社區(qū)和豐富的示例專注于深度學(xué)習(xí)算子開發(fā)建議是不要把這看作是非此即彼的選擇。兩個項(xiàng)目都在快速發(fā)展學(xué)習(xí)它們的設(shè)計理念和技術(shù)特點(diǎn)能夠幫助我們更好地理解GPU編程的未來方向。對于企業(yè)級應(yīng)用建議同時關(guān)注兩個項(xiàng)目的發(fā)展根據(jù)具體的技術(shù)需求和團(tuán)隊(duì)能力做出選擇。對于研究者和技術(shù)愛好者TileLang的創(chuàng)新性設(shè)計和多后端支持能力值得探索。GPU編程正在從手工優(yōu)化向自動化、從單一平臺向跨平臺、從簡單抽象向多層次抽象發(fā)展。TileLang和Triton都是這個趨勢的重要參與者它們將推動整個生態(tài)系統(tǒng)向前發(fā)展。