නවීන CUDA C++ සහ Triton: පාලනය, ඵලදායිතාවය සහ වර්ක්ලෝඩ් තේරීම්
නවීන CUDA C++ සහ OpenAI Triton පිළිබඳ දැඩි පැති-පැති විශ්ලේෂණයක් පෙනෙන්නට සලස්වන්නේ ඒවා දෘඩාංග පාලනයේ මූලික වශයෙන් වෙනස් දාර්ශනිකයන් දෙකක් නියෝජනය කරන බවයි: පැහැදිලි cycle-level සම්බන්ධීකරණය එදිරිව compiler-මත පදනම් වූ අවකාශීය වියුක්තකරණය (spatial abstraction).
1. මූලික ගෘහ නිර්මාණ තරඟකාරී තීරණය: පාලනය එදිරිව ඵලදායිතාවය
CUDA C++ සහ Triton අතර මධ්‍යගත ආතතිය වන්නේ උපරිම න්‍යායාත්මක දෘඩාංග කාර්යක්ෂමතාවය සහ ඉංජිනේරු වේගය අතර සම්භාව්‍ය පද්ධති ඉංජිනේරු තරඟකාරී තීරණයයි.
- නවීන CUDA C++ (උපරිම පාලනය, ඉහළ ඝර්ෂණය):
- ශක්තීන්: සෑම දෘඩාංග register එකකටම, warp shuffle උපදෙසකට, shared-memory bank ලිපිනයකට සහ අසමමුහුර්ත (asynchronous) දෘඩාංග ඒකකයකට (Hopper ගේ Tensor Memory Accelerator හෝ Blackwell ගේ tcgen05 Tensor Core උපදෙස් වැනි) ඉංජිනේරුවන්ට සෘජු, පෙරහනක් නැති ප්‍රවේශය ලබා දෙයි. cuDNN හෝ FlashAttention-3 වැනි අත්‍යවශ්‍ය පුස්තකාල ගොඩනඟන විට මෙම පාලනය අමු සිලිකන් FLOPS වලින් අවසාන 10% සිට 25% දක්වා කොටස අගුළු හරිනු ලබයි.
- දුර්වලතා: ප්‍රශස්ත CUDA C++ ලිවීමට සංකීර්ණ C++ template metaprogramming (NVIDIA CUTLASS සහ CuTe වැනි) ප්‍රගුණ කිරීම, දිගු compilation චක්‍ර කළමනාකරණය කිරීම සහ NVIDIA නව GPU microarchitecture එකක් හඳුන්වා දෙන සෑම අවස්ථාවකම kernels අතින් නැවත ලිවීම අවශ්‍ය වේ.
- OpenAI Triton (ඉහළ ඵලදායිතාවය, ස්වයංක්‍රීය ප්‍රශස්තකරණය):
- ශක්තීන්: මානසික ආකෘතිය scalar threads වලින් සෘජුවම Python තුළ 2D tensor blocks දක්වා ඔසවා තබයි. එහි MLIR-පදනම් compiler එක memory coalescing, shared-memory bank ගැටුම් සහ warp-level reductions ස්වයංක්‍රීයව විසඳන අතර, සංවර්ධන කාලය සතිවලින් පැය දක්වා අඩු කරමින් NVIDIA සහ AMD GPUs හරහා බහු-විකුණුම්කරු අතේ ගෙන යා හැකි බව අගුළු හරියි.
- දුර්වලතා: Triton තනි warps වියුක්ත කරන බැවින්, ඉංජිනේරුවන්ට උසස් warp-specialized pipelines (producer warps අසමමුහුර්තව මතකය ගෙන එන අතරතුර consumer warps matrix ගණිතය සිදු කරන) පහසුවෙන් ප්‍රකාශ කළ නොහැකි අතර, ඉතා විශාල tile ප්‍රමාණ සමඟ වැඩ කරන විට register spilling අතින් පාලනය කළ නොහැක.
2. වර්ක්ලෝඩ්-එක-වර්ක්ලෝඩ් තීන්දුව: එක එකය ජය ගන්නා තැන
CUDA C++ සහ Triton අතර තේරීම රඳා පවතින්නේ ඔබේ වර්ක්ලෝඩ් එක memory-bandwidth සීමිතද හෝ compute සීමිතද යන්න මතය.
| වර්ක්ලෝඩ් වර්ගය | නිර්දේශිත මෙවලම | තාක්ෂණික සාධාරණීකරණය |
|---|---|---|
| Fused Element-Wise, Normalization & RoPE Kernels | OpenAI Triton | Memory-bandwidth සීමිත; Triton බිංදු C++ boilerplate සමඟ HBM bandwidth හි 85%–95% ක් ස්වයංක්‍රීයව පිරවයි. |
| අභිරුචි පර්යේෂණ ගෘහ නිර්මාණ & මූලාකෘති නිර්මාණය | OpenAI Triton | Python තුළ වේගවත් පුනරාවර්තනය (@triton.jit + @triton.autotune) PyTorch autograd සමඟ බාධාවකින් තොරව ඒකාබද්ධ වේ. |
| ස්වයංක්‍රීය ග්‍රාෆ් සංයුක්තකරණය (torch.compile) | OpenAI Triton | PyTorch TorchInductor ගේ ස්වදේශීය GPU backend එක ලෙස ක්‍රියා කරමින්, එයින් එතැනම fused kernels ගතිකව ජනනය කරයි. |
| අන්ත compute-සීමිත GEMMs & FlashAttention-3/4 | නවීන CUDA C++ | පැහැදිලි warp specialization, TMA async pipelines සහ micro-scaled FP8/FP4 Tensor Core scheduling අවශ්‍ය වේ. |
| බහු-විකුණුම්කරු යොදවීම (NVIDIA + AMD ROCm) | OpenAI Triton | තනි Python codebase එකක් C++ repositories දෙකක් පවත්වා නොගෙන NVIDIA PTX සහ AMD LLVM IR යන දෙකටම පහත හෙළයි. |
3. උපායාත්මක සංශ්ලේෂණය: නවීන AI කණ්ඩායම් දෙකම භාවිතා කරන ආකාරය
නිෂ්පාදන AI ඉංජිනේරුකරණයේදී, CUDA C++ සහ Triton තවදුරටත් එකිනෙකාට වළක්වන තේරීම් ලෙස සැලකෙන්නේ නැත—ඒවා ද්වි-ස්තර stack එකක් ලෙස ක්‍රියාත්මක වේ:
1. Compiler & අභිරුචි ස්තරය (Triton – අභිරුචි ops වලින් 90%): AI පර්යේෂකයන් සහ ML ඉංජිනේරුවන් Triton තුළ custom fusion kernels, quantization unpacking routines සහ අලුත් attention variants ලියයි (හෝ torch.compile විසින් ඒවා ස්වයංක්‍රීයව ජනනය කිරීමට ඉඩ දෙයි).
2. අත්‍යවශ්‍ය primitive ස්තරය (CUDA C++ – මූලික ops වලින් 10%): පහළ-මට්ටමේ kernel කණ්ඩායම් බර, compute-සීමිත මේරු primitives—මූලික matrix multiplications සහ ප්‍රධාන attention kernels වැනි—CUDA C++ / CUTLASS තුළ ලියනුයේ ප්‍රධාන දෘඩාංග මත Tensor Core throughput හි සෑම බිංදුවක්ම ලබා ගැනීමටය.