PagedAttention, අනුමානශීලී විකේතනය, MoE සහ Blackwell

නවීන AI යෙදවීම අතිවිශාල මාදිලි ඉහළ වේගයෙන් සහ අඩු වියදමකින් සේවය කිරීමට මතකය අතථ්‍යකරණය කළ සේවා එන්ජින්, විරල විශේෂඥ යොමුකරණය සහ බයිටයකට අඩු දෘඩාංග නිරවද්‍යතාව මත රඳා පවතී. මෙම තාක්ෂණ තුන නිෂ්පාදන LLM යටිතල පහසුකම්වල ඉදිරි පෙළ නියෝජනය කරයි.

1. LLM අනුමානන සේවා ප්‍රශස්තකරණ: PagedAttention & අනුමානශීලී විකේතනය

පෙළ ජනනය කිරීමේදී LLM එකක් පෙර සෑම ටෝකනයකම Key (K) සහ Value (V) ටෙන්සර් VRAM තුළ cache කරයි. එබැවින් සෑම පියවරකදීම ඒවා නැවත ගණනය කිරීමට අවශ්‍ය නොවේ. මෙම KV Cache කළමනාකරණය සහ ටෝකනයෙන් ටෝකනය ජනනයේ අනුක්‍රමික බාධකය ජය ගැනීම අනුමානන සේවා සැපයීමේ විශාලතම අභියෝග දෙකයි.

• PagedAttention (vLLM): KV Cache සඳහා අතථ්‍ය මතකය.

• ඛණ්ඩනයේ ගැටලුව. අතීතයේදී අනුමානන එන්ජින් මාදිලියේ උපරිම හැකි අනුක්‍රම දිග මත පදනම්ව (උදා., ටෝකන 32,768) එක් එක් ඉල්ලීම සඳහා එක දිගට පිහිටි VRAM කොටසක් කල්තියා වෙන් කළේය. පරිශීලකයකු ටෝකන 200ක් පමණක් ජනනය කළේ නම්, වෙන් කළ එම VRAM වලින් 99%කට වැඩි ප්‍රමාණයක් හිස්ව පැවතුණු අතර, අභ්‍යන්තර හා බාහිර ඛණ්ඩනය හරහා GPU මතකයෙන් 60% සිට 80% දක්වා නාස්ති විය.
• OS ආකාරයේ Paging. මෙහෙයුම් පද්ධතිවල අතථ්‍ය මතකයෙන් ආභාසය ලැබූ PagedAttention එක් එක් අනුක්‍රමයේ KV cache කුඩා, ස්ථාවර ප්‍රමාණයේ blocks වලට බෙදයි (උදා., block එකකට ටෝකන 16ක්). ඒවා භෞතික VRAM තුළ ඕනෑම තැනක අඛණ්ඩ නොවන ලෙස පැවතිය හැක. සැහැල්ලු block වගුවක් attention කර්නලය තුළම තාර්කික ටෝකන blocks භෞතික GPU මතක ලිපිනවලට එවෙලේම සිතියම්ගත කරයි.
• මතක බෙදාගැනීම (Copy-on-Write). Blocks එකිනෙකින් වෙන්ව ඇති නිසා, එකම system prompt බෙදාගන්නා හෝ සමාන්තර completions ජනනය කරන (beam search වැනි) බහු ඉල්ලීම් VRAM තුළ හරියටම එකම භෞතික KV blocks වෙත යොමු වෙයි. එමගින් මතක භාවිතය දැඩිව අඩු කර බෙහෙවින් විශාල batch ප්‍රමාණ සක්‍රීය කරයි.

• අනුමානශීලී විකේතනය: අනුක්‍රමික බාධකය බිඳීම.

• ස්වයංප්‍රතිගාමී ජනනය මන්දගාමී වන්නේ ඇයි. ටෝකන 100ක් ජනනය කිරීමට අනුක්‍රමික forward passes 100ක් අවශ්‍ය වේ. එක් එක් pass එක නව ටෝකනයක් පමණක් සකසන බැවින්, GPU කාලයෙන් වැඩි කොටසක් VRAM වෙතින් මාදිලි බර කියවීමට වැය කරන අතර එහි Tensor Cores බොහෝ දුරට නිෂ්ක්‍රීයව පවතී.
• කෙටුම්පත් කර තහවුරු කිරීමේ පයිප්ලයිනය. අනුමානශීලී විකේතනය විශාල ඉලක්ක මාදිලිය (උදා., පරාමිති 70B) ඉතා කුඩා, අතිවේගී කෙටුම්පත් මාදිලියක් සමඟ යුගල කරයි (උදා., පරාමිති 1B–3B, හෝ Medusa / EAGLE වැනි සැහැල්ලු අනාවැකි heads).
• සමාන්තර තහවුරු කිරීම. කුඩා කෙටුම්පත් මාදිලිය ඊළඟ K ටෝකන (උදා., ටෝකන 5ක්) අනුක්‍රමිකව ඉක්මනින් අනුමාන කරයි. පසුව විශාල ඉලක්ක මාදිලිය එම අනුමාන කළ ටෝකන 5ම එක් සමාන්තර forward pass එකක එකවර සකසා ඒවායේ සම්භාවිතා පරීක්ෂා කරයි. ටෝකන 5ක් සමාන්තරව තහවුරු කිරීම ටෝකනයක් ජනනය කිරීමට ගතවන කාලයට ආසන්න වශයෙන් සමාන කාලයක් ගන්නා නිසා, පද්ධතිය ගැළපෙන සියලු ටෝකන එකවර පිළිගනී. එමගින් ගණිතමය වශයෙන් සමාන ප්‍රතිදාන ගුණාත්මකභාවයක් සමඟ 2× සිට 3× දක්වා වේගවත් ජනනයක් ලැබේ.

2. විශේෂඥ මිශ්‍රණය (MoE) & විශේෂඥ සමාන්තරතාව

ඝන මාදිලි සෑම ටෝකනයක් සඳහාම තම පරාමිතිවලින් 100%ක් සක්‍රීය කරන නිසා අතිවිශාල මාදිලි ධාවනය අධික ලෙස මිල අධික වේ. Mixture-of-Experts (MoE) ගෘහනිර්මාණ සමස්ත මාදිලි දැනුම, එක් ටෝකනයකට ගණන වියදමෙන් වෙන් කරයි.

• MoE ස්තර ක්‍රියා කරන ආකාරය (Mixtral & DeepSeek).

• MoE Transformer block එකක, තනි ඝන Feed-Forward Network (FFN) වෙනුවට Experts ලෙස හැඳින්වෙන කුඩා ස්වාධීන FFN සමූහයක් යොදයි (උදා., Mixtral 8x7B හි විශේෂඥයන් 8ක් හෝ DeepSeek-V3 හි සියුම්ව බෙදුණු විශේෂඥයන් 256ක්).
• ඉගෙනගත් සැහැල්ලු Router (Gating Network) එකක් පැමිණෙන සෑම ටෝකනයක්ම පරීක්ෂා කර, වඩාත් අදාළ top-K විශේෂඥයන් වෙත පමණක් යොමු කරයි (සාමාන්‍යයෙන් විශේෂඥයන් 2 සිට 8 දක්වා). මාදිලියක් සමස්ත පරාමිති 600B+ මතකයේ තබාගත්තද, එක් ටෝකනයකට පරාමිති 37B පමණක් සක්‍රීය කර, ගණන වියදමේ කොටසකින් අතිවිශාල මාදිලි බුද්ධිය ලබාගත හැක.
• හවුල් විශේෂඥයන් & සහායක Loss රහිත තුලනය. DeepSeek වැනි නවීන MoE සැලසුම් පොදු මූලික දැනුම ග්‍රහණය කිරීමට සෑම ටෝකනයක්ම සකසන හවුල් විශේෂඥයන් කිහිපදෙනකු වෙන් කරයි. යොමු කරන ලද විශේෂඥයන් විශේෂිත ක්ෂේත්‍රවලට විශේෂීකරණය වේ. ගතික bias ගැළපීම් "routing collapse" වළක්වයි (එනම් router එක ජනප්‍රිය විශේෂඥයන් කිහිපදෙනකුට අධික බර පටවා අනෙක් අය නොසලකා හැරීම).

• GPU හරහා විශේෂඥ සමාන්තරතාව (EP).

• MoE මාදිලියක විශේෂඥයන් සිය ගණනක් ඇති බැවින් ඔවුන් එක් GPU එකකට නොගැළපේ. විශේෂඥ සමාන්තරතාව වෙනස් විශේෂඥයන් වෙනස් GPU අතර බෙදා හරියි (උදා., විශේෂඥයන් 1–4 GPU 0 මත, විශේෂඥයන් 5–8 GPU 1 මත).
• All-to-All සන්නිවේදනය. GPU 0 ටෝකන batch එකක් සකසන විට එහි router සමහර ටෝකන GPU 3 මත සිටින විශේෂඥයන්ට පැවරිය හැක. එබැවින් සෑම MoE ස්තරයක්ම All-to-All යැවීමක් සිදු කරයි. එහිදී ටෝකනවල සැඟවුණු තත්ත්ව අධිවේගී NVLink/InfiniBand සම්බන්ධතා හරහා පැවරූ විශේෂඥයා ඇති GPU වෙත යවයි, විශේෂඥ FFN ගණනය කරයි, පසුව ප්‍රතිඵල ආපසු ලබා දීමට දෙවැනි All-to-All ඒකාබද්ධ කිරීමේ පියවරක් සිදු කරයි.

3. NVIDIA Blackwell (B200) & දෙවැනි පරම්පරාවේ Transformer Engine (FP4)

ට්‍රිලියන පරාමිති සහිත තර්කන සහ MoE මාදිලි පරිමාණනය කිරීමට හඳුන්වා දුන් NVIDIA Blackwell (B200) ගෘහනිර්මාණය, බහු-die ඇසුරුම්කරණය සහ බයිටයකට අඩු සංඛ්‍යාත්මක නිරවද්‍යතාව යන දෙකම නැවත සැලසුම් කළේය.

• ද්විත්ව-Die ඒකාබද්ධ ගෘහනිර්මාණය.

• එක් B200 GPU එකක් reticle සීමාවට යටත් dies දෙකක් පුරා ට්‍රාන්සිස්ටර බිලියන 208ක් ඇසුරුම් කරයි. ඒවා 10 TB/s NV-HBI (High-Bandwidth Interface) මගින් එකට සම්බන්ධ කර ඇත. CUDA කර්නල් සහ මෘදුකාංග frameworks සඳහා dies දෙකම cache-coherency දඬුවම් කිසිවක් නොමැතිව එකම ඒකාබද්ධ GPU එකක් ලෙස ක්‍රියා කරයි.
• HBM3e මතක කලාප පළල. 192 GB HBM3e VRAM සහ 8 TB/s මතක කලාප පළලකින් (H100 හි 3.35 TB/s මෙන් දෙගුණයකට වැඩි) සන්නද්ධ Blackwell, KV caches සහ MoE බර පූරණයේ මතක කලාප පළල බාධක සෘජුව ඉලක්ක කරයි.

• දෙවැනි පරම්පරාවේ Transformer Engine & NVFP4.

• Hopper විසින් 8-bit පාවෙන ලක්ෂ්‍යය (FP8) හඳුන්වා දුන් අතර, Blackwell හි දෙවැනි පරම්පරාවේ Transformer Engine, Tensor Core ගණනය 4-bit පාවෙන ලක්ෂ්‍යය (FP4) දක්වා ගෙනයයි. එමගින් අමු ගණන ප්‍රතිදාන වේගය නැවත දෙගුණ කරයි (GPU එකකට ඝන FP4 ගණනයේ petaFLOPS 20 දක්වා) සහ FP8 ට සාපේක්ෂව මතක අවශ්‍යතාව අඩක් කරයි.
• Micro-Tensor Scaling (NVFP4) මගින් FP4 ගතික පරාසය විසඳීම. සම්මත 4-bit සංඛ්‍යාවලට ඇත්තේ හැකි අගයන් 16ක් පමණි. ස්නායු activations තුළ අතිශය අසාමාන්‍ය සංඛ්‍යා ඇති වූ විට එය සාමාන්‍යයෙන් නිවැරදිභාවය විනාශ කරයි. Blackwell දෘඩාංග තුළ ද්වි-මට්ටම් micro-scaling මගින් මෙය විසඳයි: විශාල න්‍යාසයකට එක් පරිමාණන සාධකයක් යෙදීම වෙනුවට, Blackwell බර සහ activations අංග 16ක කුඩා blocks වලට කාණ්ඩ කර, ගෝලීය FP32 ටෙන්සර් පරිමාණයක් සමඟ එක් එක් කුඩා block එකට තමන්ගේම ඉහළ නිරවද්‍යතා FP8 පරිමාණන සාධකයක් පවරයි.
• දෘඩාංග මගින් වේගවත් කළ ක්වොන්ටීකරණය. Transformer Engine ස්තරයෙන් ස්තරයට ටෙන්සර් පරාස ගතිකව පරීක්ෂා කර, අමතර මතක ගමන් වාර නොමැතිව Tensor Core පයිප්ලයිනය තුළම FP16/BF16, FP8 සහ NVFP4 අතර අගයන් පරිවර්තනය කරයි.