CUDA Graphs, තර්කන මාදිලි සහ වෙන් කළ සේවා සැපයීම
නවීන AI යටිතල පහසුකම් CPU අමතර බර ඉවත් කිරීම, අනුමානන වේලාවේ තර්කන ලූප සහ අදියර සඳහා විශේෂිත GPU cluster යොමුකරණය හරහා කාර්යසාධනය සිලිකන් සහ clusters වල භෞතික සීමා දක්වා තල්ලු කරයි. මෙම ක්‍රම තුන අද වේගවත්ම සහ බුද්ධිමත්ම නිෂ්පාදන AI පද්ධතිවලට බලය සපයයි.
1. CUDA Graphs සහ කර්නල් ඒකාබද්ධ කිරීම: CPU & මතක අමතර බර ඉවත් කිරීම
නවීන GPU (H100 සහ B200 වැනි) ඝාතීය ලෙස වේගවත් වී ඇති බැවින්, එක් සැහැල්ලු GPU කර්නලයක් ක්‍රියාත්මක කිරීමට මයික්‍රෝතත්පර 2 සිට 5 දක්වා තරම් කෙටි කාලයක් ගත විය හැක. කෙසේ වෙතත්, PCIe driver හරහා එම කර්නලය සූදානම් කිරීමට, වලංගු කිරීමට සහ දියත් කිරීමට පමණක් CPU එකට බොහෝ විට මයික්‍රෝතත්පර 10 සිට 20 දක්වා ගත වේ. එමගින් ඩොලර් මිලියන ගණනක GPU එක CPU උපදෙස් බලා සිටිමින් සම්පූර්ණයෙන්ම නිෂ්ක්‍රීය වේ.
- කර්නල් ඒකාබද්ධ කිරීම (මතකය සහ දියත් කිරීම් ඉතිරි කිරීමට මෙහෙයුම් එක් කිරීම).
- ඒකාබද්ධ නොකළ බාධකය. සම්මත Transformer ස්තරයක් කුඩා මෙහෙයුම් දුසිම් ගණනක් අනුක්‍රමිකව ක්‍රියාත්මක කරයි (උදා., LayerNorm → Linear → Add Residual → GeLU). ඒකාබද්ධ කිරීමකින් තොරව GPU එක් එක් පියවර සඳහා වෙනම කර්නල් දියත් කර, අතරමැදි ටෙන්සර් මන්දගාමී HBM (VRAM) වෙත ලියා, ඊළඟ පියවර සඳහා වහාම ඒවා නැවත කියවයි.
- ඒකාබද්ධ ක්‍රියාත්මක කිරීම. torch.compile (TorchInductor) සහ TensorRT-LLM වැනි compilers බහු element-wise සහ reduction මෙහෙයුම් එක් අභිරුචි CUDA/Triton කර්නලයකට ඒකාබද්ධ කරයි. අගයන් HBM වෙතින් එක් වරක් පූරණය කර, චිපය මත අතිවේගී registers/SRAM තුළ පරිවර්තනය කර, අවසානයේ පමණක් HBM වෙත ආපසු ලියයි. එමගින් මතක කලාප පළල ගමනාගමනය සහ කර්නල් දියත් කිරීම් සංඛ්‍යාව යන දෙකම දැඩිව අඩු කරයි.
- CUDA Graphs (සම්පූර්ණ ක්‍රියාත්මක කිරීමේ පයිප්ලයින එකවර නැවත ධාවනය කිරීම).
- වාර්තා කර නැවත ධාවනය කිරීම. කර්නල් ඒකාබද්ධ කිරීමෙන් පසුවද, ජනනය කරන එක් ටෝකනයකට LLM forward pass එකකට කර්නල් දියත් කිරීම් සිය ගණනක් අවශ්‍ය වේ. CUDA Graphs මෙය විසඳන්නේ warmup ධාවනයකදී GPU මෙහෙයුම්වල සම්පූර්ණ අනුක්‍රමයක්, එනම් කර්නල්, මතක පිටපත් සහ පරායත්තතා, ග්‍රහණය කර ඒවා GPU මතකයේ සෘජුව ගබඩා වන ස්ථිතික ක්‍රියාත්මක කිරීමේ ප්‍රස්තාරයකට compile කිරීමෙනි.
- CPU මැදිහත්වීමක් නැත. තත්කාලීන අනුමානනයේදී CPU විසින් වෙනම කර්නල් 300ක් එකින් එක දියත් කිරීම වෙනුවට, CPU එකම API ඇමතුමක් (cudaGraphLaunch) නිකුත් කරයි. එය GPU මත සම්පූර්ණ forward pass එක ස්වාධීනව ක්‍රියාත්මක කරවයි.
- ගතික හැඩතල හැසිරවීම. CUDA Graphs සඳහා ස්ථිතික මතක ලිපින සහ ටෙන්සර් හැඩතල අවශ්‍ය බැවින්, අනුමානන එන්ජින් පැමිණෙන batches ස්ථාවර bucket ප්‍රමාණවලට padding කරයි (උදා., batch ප්‍රමාණ 1, 2, 4, 8, 16). කලින් ග්‍රහණය කළ ප්‍රස්තාරය නැවත ධාවනය කිරීමට පෙර ආදාන pointers එම ස්ථානයේම යාවත්කාලීන කරයි.
2. පරීක්ෂණ වේලා ගණනය & තර්කන මාදිලි (o1/o3 & DeepSeek-R1)
අතීතයේ AI පර්යේෂණාගාර බුද්ධිය පරිමාණනය කළේ පූර්ව පුහුණුවට වැඩි ගණන හැකියාවක් යෙදීමෙන් පමණි (වැඩි අන්තර්ජාල පෙළ මත පුහුණු කළ විශාල මාදිලි). OpenAI හි o1/o3 සහ DeepSeek-R1 වැනි තර්කන මාදිලි දෙවැනි පරිමාණන අක්ෂයක් විවෘත කළේය: Test-Time Compute (අනුමානන වේලා පරිමාණනය). එය පිළිතුරු දීමට පෙර මාදිලිවලට වැඩි කාලයක් "සිතීමට" ඉඩ දෙයි.
- Chain-of-Thought (CoT) සඳහා ප්‍රතිබලන ඉගෙනීම.
- පියවරෙන් පියවර තර්කනය පිළිබඳ මිනිසුන් ලියූ උදාහරණ මත පමණක් රඳා සිටීම වෙනුවට, මෙම මාදිලි ගණිතය, කේතකරණය සහ විධිමත් තර්ක ශාස්ත්‍රය වැනි තහවුරු කළ හැකි ක්ෂේත්‍රවල මහා පරිමාණ Reinforcement Learning (RL) මගින් පුහුණු කරනු ලැබේ (DeepSeek-R1 හි GRPO, එනම් Group Relative Policy Optimization වැනි).
- මාදිලිය හැකි තර්කන මාර්ග කිහිපයක් ජනනය කරයි, එහි අවසාන පිළිතුර unit tests හෝ ගණිතමය තහවුරු කිරීම සමත් වූ විට පමණක් වෛෂයික ත්‍යාග ලබයි, සහ ස්වයං-තහවුරු කිරීම, ඉදිරියට යා නොහැකි තැනකට පැමිණි විට ආපසු හැරීම, සංකීර්ණ ගැටලු උප-ඉලක්කවලට බෙදීම ඇතුළු මතුවන සංජානන හැසිරීම් ස්වාධීනව සොයා ගනී.
- අනුමානන ගණනය පරිමාණනය වන ආකාරය.
- දුෂ්කර prompt එකක් ලබා දුන් විට, අවසාන ප්‍රතිචාරය නිකුත් කිරීමට පෙර මාදිලිය සැඟවුණු scratchpad එකක් තුළ අභ්‍යන්තර "සිතීමේ ටෝකන" දහස් ගණනක් ජනනය කරයි. උපකල්පන ගවේෂණයට මාදිලිය වැඩි අනුමානන ටෝකන වැය කරන විට නිවැරදිභාවය ලඝුගණකීයව වැඩි දියුණු වේ.
- ගණන හුවමාරු සමතුලිතතාවේ වෙනස. සාම්ප්‍රදායික LLM වල අනුමානනය ලාභදායී සහ වේගවත්ය (ප්‍රතිදාන ටෝකන ~50ක් ජනනය කිරීම). තර්කන මාදිලිවල එක් විමසුමක් සිතීමේ ටෝකන 10,000 සිට 50,000 දක්වා ජනනය කළ හැක. එමගින් අනුමානනය, KV-cache වර්ධනය සහ දිගු සන්දර්භ attention කාර්යක්ෂමතාව විසින් ප්‍රමුඛ වන අතිවිශාල, අඛණ්ඩ batch-ජනන වැඩභාරයක් බවට පත් වේ.
3. වෙන් කළ Prefill සහ Decode
LLM සේවා සැපයීම මූලික වශයෙන් එකිනෙකට විරුද්ධ ගණන අදියර දෙකකින් සමන්විත වේ. අදියර දෙකම හරියටම එකම GPU එක මත ධාවනය කිරීමෙන් දැඩි කාලසටහන් ගැටුම් සහ දෘඩාංග ප්‍රමාණවත් ලෙස භාවිත නොවීම ඇති වේ.
| අදියර | වැඩභාරයේ ස්වභාවය | දෘඩාංග බාධකය | ප්‍රමාද මිනුම |
|---|---|---|---|
| Prefill (Prompt සැකසීම) | සියලු prompt ටෝකන (උදා., ටෝකන 10,000ක්) එක් forward pass එකක සමාන්තරව සකසයි. | ගණන හැකියාවෙන් සීමා වේ (අතිවිශාල න්‍යාස ගුණනවලින් GPU Tensor Cores සම්පූර්ණයෙන් පුරවයි). | TTFT (පළමු ටෝකනය දක්වා කාලය) |
| Decode (ටෝකන ජනනය) | සෑම පියවරකදීම සම්පූර්ණ KV cache කියවමින් ප්‍රතිදාන ටෝකන එකින් එක අනුක්‍රමිකව ජනනය කරයි. | මතක කලාප පළලෙන් සීමා වේ (VRAM කියවීම් බලා සිටිමින් Tensor Cores බොහෝ විට නිෂ්ක්‍රීයව පවතී). | TPOT (ප්‍රතිදාන ටෝකනයකට කාලය) |
- එකම ස්ථානයේ තැබීමෙන් ඇතිවන බාධා ගැටලුව.
- සාම්ප්‍රදායික ඒකාබද්ධ සේවා සැපයීමේදී, අනෙක් පරිශීලකයන් 50 දෙනකු Decode ටෝකන ප්‍රවාහනය කරමින් සිටින අතර එක් පරිශීලකයකු Prefill සඳහා ටෝකන 32,000ක විශාල ලේඛනයක් ඉදිරිපත් කළහොත්, අතිවිශාල prefill න්‍යාස ගණිතය GPU හි Tensor Cores අල්ලා ගනී. එමගින් ප්‍රවාහනය ලබන පරිශීලකයන් 50 දෙනාටම පැහැදිලි නතරවීම් සහ ප්‍රමාදයේ හදිසි ඉහළ යාම් ("ගැස්සීම්") ඇති වේ.
- තවද, Prefill සඳහා ඉහළ ගණන FLOPs අවශ්‍ය වන අතර, Decode සඳහා විශාල batch KV caches තබාගැනීමට අතිවිශාල HBM මතක කලාප පළලක් සහ ධාරිතාවක් අවශ්‍ය වේ.
- Cluster එක බෙදීම (වෙන් කළ ගෘහනිර්මාණය).
- නවීන අතිමහා පරිමාණ අනුමානන පද්ධති (Mooncake, DistServe සහ NVIDIA Dynamo වැනි) GPU cluster එක විශේෂිත සංචිත දෙකකට බෙදයි:
- 1. Prefill සංචිතය: දිගු prompts ඉක්මනින් සැකසීමට සහ දැඩි Time-To-First-Token (TTFT) ඉලක්ක සපුරාලීමට අමු ගණන ප්‍රතිදාන වේගය සඳහා ප්‍රශස්ත කර ඇත (ඉහළ Tensor Core භාවිතය, කුඩා ටෙන්සර් සමාන්තරතාව).
- 2. Decode සංචිතය: තත්පරයකට ටෝකන උපරිම වේගයෙන් සුමටව ප්‍රවාහනය කිරීමට ඉහළ මතක කලාප පළල සහ විශාල KV-cache ධාරිතාව සඳහා ප්‍රශස්ත කර ඇත (වඩා පුළුල් ටෙන්සර්/විශේෂඥ සමාන්තරතාව, විශාල batch ප්‍රමාණ).
- අධිවේගී KV Cache හුවමාරුව. Prefill GPU එකක් prompt එක සැකසීම අවසන් කර ආරම්භක KV Cache ගොඩනැගූ පසු, එම KV Cache අතිවේගී NVLink හෝ InfiniBand RDMA සම්බන්ධතා හරහා සෘජුව Decode GPU එකක VRAM වෙත ප්‍රවාහනය කරයි. එය කිසිදු බාධාවකින් තොරව වහාම ටෝකන ජනනය භාර ගනී.