Rubin, අභිරුචි AI චිප් සහ සම්පීඩිත KV හැඹිලි
AI යටිතල පහසුකම්වල මීළඟ රැල්ල තනි චිපයක පරිමාණය වැඩි කිරීමෙන් ඔබ්බට ගොස්, රාක්ක පරිමාණයෙන් ඒකාබද්ධව නිර්මාණය කළ සුපිරි පරිගණක, විශේෂිත ක්ෂේත්‍ර සඳහා වන ASIC ව්‍යුහ සහ බයිටයකට අඩු KV හැඹිලි සම්පීඩනය වෙත යොමු වේ.
1. NVIDIA Rubin (R100) සහ ඊළඟ පරම්පරාවේ AI දෘඪාංග
2026 අග භාගයේ බෙදා හැරීමට නියමිත NVIDIA Vera Rubin වේදිකාව, තනි චිපයක් යාවත්කාලීන කිරීමේ සිට නියෝජිත-පාදක AI සහ තර්කන මාදිලි සඳහා ගොඩනැඟූ චිප් හයක රාක්ක පරිමාණ ව්‍යුහයක් වෙත මාරු වේ. [1], [2], [3], [4]
- Rubin GPU (3nm සහ තුන්වන පරම්පරාවේ Transformer Engine). ට්‍රාන්සිස්ටර බිලියන 336ක් සහ Streaming Multiprocessors 224ක් සමඟ TSMC හි 3nm ක්‍රියාවලිය මත නිපදවූ තනි Rubin GPU එකක්, sparse NVFP4 අනුමාන ගණනය සඳහා 50 PFLOPS සහ NVFP4 පුහුණු ගණනය සඳහා 35 PFLOPS සපයයි. මෙය Blackwell ට සාපේක්ෂව 3.3× සිට 5× දක්වා පිම්මකි. [1], [2], [3]
- HBM4 මතක උපපද්ධතිය. Rubin විසින් HBM3e වෙනුවට 288 GB HBM4 මතකයක් යොදන අතර, අවසාන බෙදාහැරීමේ වින්‍යාසවලදී GPU එකකට 19.2 TB/s මතක කලාප පළලක් සපයයි (Blackwell හි 8 TB/s මෙන් දෙගුණයකටත් වඩා වැඩිය). මෙම විශාල කලාප පළල මතකයෙන් සීමා වන LLM විකේතන පියවර සහ ටෝකන මිලියන ගණනක සන්දර්භ කවුළු සෘජුවම වේගවත් කරයි. [1], [2], [3], [4]
- NVLink 6 සහ රාක්ක පරිමාණ NVL72. හයවන පරම්පරාවේ NVLink 6 චිපයකට 3 TB/s ද්විදිශා GPU-සිට-GPU කලාප පළලක් සපයයි (සහ GPU 72ක Vera Rubin NVL72 රාක්කයක් පුරා සමස්තය 216 TB/s වේ). නව Vera CPU සමඟ එක් කළ විට (1.8 TB/s NVLink-C2C හරහා සම්බන්ධ කළ අභිරුචි Armv9.2 Olympus හර 88ක්), මුළු GPU 72 රාක්කයම තනි ඒකාබද්ධ පරිගණකයක් ලෙස ක්‍රියා කරයි. [1], [2], [3]
2. අභිරුචි AI ත්වරණකාරක එදිරිව NVIDIA CUDA GPUs
NVIDIA GPUs, ග්‍රැෆික්ස්, විද්‍යාත්මක අනුකරණ සහ ඕනෑම AI ව්‍යුහයක් ධාවනය කළ හැකි නම්‍යශීලී සමාන්තර සකසන ලෙස ක්‍රියා කරන අතර, අභිරුචි ASICs (Application-Specific Integrated Circuits) න්‍යාස ගණිත කාර්යක්ෂමතාව උපරිම කිරීමට පොදු කාර්ය දෘඪාංග ඉවත් කරයි. [1]
| අංශය | NVIDIA GPU (CUDA) | Google TPU (v5p / Trillium) | AWS Trainium / Inferentia | Groq LPU (භාෂා සැකසුම් ඒකකය) |
|---|---|---|---|---|
| මූලික ගණන සැලසුම | දෘඪාංග උපලේඛකයන් විසින් ගතිකව කළමනාකරණය කරන SIMT හර දහස් ගණනක් + Tensor Cores. | Systolic Arrays (රෙජිස්ටර කියවීම් නොමැතිව රිද්මයානුකූලව දත්ත ගලා යවන ALU වල 2D ජාල). | NeuronCores (වැඩසටහන්ගත කළ හැකි SIMD දෛශික එන්ජින් සමඟ යුගල කළ systolic න්‍යාස එන්ජින්). | නිශ්චිත VLIW (Very Long Instruction Word) තනි-හර අවකාශීය ව්‍යුහය. |
| මතක ව්‍යුහය | කුඩා චිපය-මත SRAM හැඹිලි සමඟ යුගල කළ විශාල චිපයෙන්-පිටත HBM3e / HBM4 (80 GB–288 GB). | විශාල මෘදුකාංග-කළමනාකෘත තාවකාලික වැඩ මතකයක් (VMEM) සමඟ යුගල කළ ඉහළ ධාරිතා HBM. | සම්පාදකය උපලේඛනය කරන දත්ත නැවත භාවිතය සඳහා ප්‍රශස්ත කළ HBM + විශාල චිපය-මත SRAM හැඹිලි. | බාහිර HBM කිසිවක් නැත. ~80 TB/s කලාප පළලක් සපයන චිපය-මත SRAM පමණක් භාවිත කරයි (චිපයකට ~230 MB). |
| උපලේඛනය සහ ක්‍රියාත්මක කිරීම | ධාවන කාලයේ දෘඪාංග මඟින් උපලේඛනය කෙරේ (warps ගතිකව මතක ප්‍රමාදය සඟවයි). | XLA (Accelerated Linear Algebra) හරහා සම්පාදකය මඟින් ස්ථිතිකව උපලේඛනය කෙරේ. | AWS Neuron SDK හරහා සම්පාදකය මඟින් ස්ථිතිකව උපලේඛනය කෙරේ. | Groq සම්පාදකය මඟින් 100% නිශ්චිත, චක්‍රයට නිරවද්‍ය උපලේඛනය. |
| ප්‍රධාන හුවමාරුව | අසමසම මෘදුකාංග පරිසර පද්ධතියක් (CUDA) සහ නම්‍යශීලී බවක් ඇතත් පිරිවැය සහ බල පරිභෝජනය වැඩිය. | Google Cloud/JAX හා බැඳුණු, චිප් දහස් ගණනක් දක්වා සුවිශේෂී පරිමාණනය (ICI torus අන්තර්සම්බන්ධතාව). | AWS මත මිලට සාපේක්ෂව ශක්තිමත් කාර්යසාධනයක්; අභිරුචි මෙහෙයුම් සඳහා Neuron සම්පාදක සුසර කිරීම අවශ්‍යය. | ඉතා අඩු ටෝකන ප්‍රමාදය (තත්පරයකට ටෝකන සිය ගණනක්), නමුත් විශාල මාදිලි රඳවා ගැනීමට චිප් බොහෝ ගණනක් අවශ්‍යය. |
3. KV හැඹිලි සම්පීඩන ක්‍රම
තර්කන මාදිලි සිතීමේ ටෝකන දස දහස් ගණනක් ජනනය කරන අතර පරිශීලකයන් සම්පූර්ණ කේත පදනම් ප්‍රොම්ප්ට්වලට ඇතුළත් කරන විට, Key-Value (KV) හැඹිලිය පරිශීලකයකුට ගිගාබයිට් දස ගණනක් දක්වා වර්ධනය වී, කාණ්ඩ ප්‍රමාණය සහ අනුමාන වේගය සඳහා මූලික බාධකය බවට පත් වේ.
- බහු-ශීර්ෂ ගුප්ත අවධානය (MLA) - DeepSeek.
- සම්මත MHA/GQA බාධකය. සම්මත Multi-Head Attention (MHA), සෑම අවධාන ශීර්ෂයක් සහ ටෝකනයක් සඳහාම පූර්ණ මාන සහිත Key සහ Value දෛශික ගබඩා කරයි. Grouped-Query Attention (GQA) පවා විශාල සම්පීඩනය නොකළ න්‍යාස හැඹිලිගත කරයි.
- අඩු-රැන්ක් ඒකාබද්ධ සම්පීඩනය. DeepSeek-V2 හි හඳුන්වා දී DeepSeek-V3/R1 හි පරිමාණනය කළ MLA, සැඟවුණු තත්ත්වය කුඩා, හවුල් සම්පීඩිත ගුප්ත දෛශිකයක් වෙත ප්‍රක්ෂේපණය කරයි (c_(t)^(KV), උදා., මාන 16,384+ වෙනුවට 512ක්). VRAM තුළ හැඹිලිගත කරන්නේ එම සංක්ෂිප්ත ගුප්ත දෛශිකය පමණි.
- න්‍යාස අවශෝෂණ උපක්‍රමය. අනුමානයේදී ගුප්ත දෛශිකය දිග හැර නැවත VRAM තුළ දැවැන්ත K සහ V න්‍යාස සෑදීම වෙනුවට, MLA විසම්පීඩන ප්‍රක්ෂේපණ න්‍යාස සෘජුවම Query (W_(Q)) සහ Output (W_(O)) බර න්‍යාස තුළට ගණිතමය ලෙස අවශෝෂණය කරයි. මෙය සම්මත MHA ට වඩා නිරවද්‍යතාවයෙන් ඉදිරියෙන් සිටින අතරම KV හැඹිලි මතකය 90%+ කින් අඩු කරයි.
- FP8 සහ INT4 KV හැඹිලි ක්වොන්ටීකරණය.
- සම්මත 16-bit නිරවද්‍යතාවයෙන් (FP16/BF16) KV හැඹිලි ගබඩා කිරීම විකේතනයේදී පවතින මතක කලාප පළලෙන් අඩක් නාස්ති කරයි. නවීන සේවා එන්ජින් (TensorRT-LLM, vLLM) නව ටෝකන ජනනය වන විට K සහ V ටෙන්සර් වහාම FP8 (E4M3) හෝ INT4 බවට ක්වොන්ටීකරණය කරයි.
- Key ටෙන්සර්වල විශේෂිත ලක්ෂණ නාලිකා හරහා බොහෝවිට අතිශය බාහිර අගයන් තිබෙන බැවින්, කර්නල් Keys සඳහා නාලිකාවකට පරිමාණනය සහ Values සඳහා ටෝකනයකට පරිමාණනය යොදයි. එමඟින් නිරවද්‍යතාවයේ පිරිහීම ප්‍රායෝගිකව ශූන්‍ය මට්ටමක තබා ගනිමින් KV හැඹිලි මතක භාවිතය සහ HBM කියවීමේ කාලය අඩකින් අඩු කරයි.
- ටෝකන ඉවත් කිරීම සහ චලන කවුළු සම්පීඩනය (H2O / SnapKV).
- පර්යේෂණ අනුව අවධාන ලකුණුවලින් 95%කට වඩා වැඩි ප්‍රමාණයක් ටෝකනවල ඉතා කුඩා කොටසකට සංකේන්ද්‍රණය වේ: මුල්ම ටෝකන කිහිපය (Softmax සම්භාවිතා ස්ථාවර කරන "Attention Sinks") සහ වඩාත් මෑත දේශීය ටෝකන.
- H2O (Heavy-Hitter Oracle) සහ SnapKV වැනි ගතික ඉවත්කිරීමේ ඇල්ගොරිතම සමුච්චිත අවධාන ලකුණු අඛණ්ඩව නිරීක්ෂණය කරයි. ඒවා Attention Sinks, මෑත ටෝකනවල චලන කවුළුවක් සහ ඉහළ වැදගත්කමක් ඇති "heavy hitter" ටෝකන පමණක් රඳවාගෙන, අඩු බලපෑමක් ඇති මැද ටෝකන VRAM වෙතින් ඉවත් කරයි.