ඔබේ දෘඪාංග සඳහා AI ප්‍රශස්තකරණ උපායමාර්ග තෝරාගැනීම
නිවැරදි ප්‍රශස්තකරණ උපායමාර්ගය තෝරාගැනීම ආරම්භ වන්නේ ඔබේ දෘඪාංග වාස්තු විද්‍යාව ප්‍රධාන කාර්යසාධන අවහිරයට ගැළපීමෙනි. සෑම වේදිකාවක්ම ගණන ප්‍රතිදාන වේගය, මතක කලාප පළල සහ ධාරිතාව මත දැඩි භෞතික සීමා පනවයි.
1. ඉලක්ක දෘඪාංග වාස්තු විද්‍යාත්මක හුවමාරු
විවිධ දෘඪාංග වේදිකා ටෙන්සර් චලනය හා ගුණනය මූලික වශයෙන් වෙනස් ආකාරවලින් විසඳයි.
| දෘඪාංග පන්තිය | මතක වාස්තු විද්‍යාව | ගණන එන්ජින් | මෘදුකාංග සහ කර්නල් පරිසර පද්ධතිය | ප්‍රධාන ශක්තීන් සහ දැඩි සීමා |
|---|---|---|---|---|
| දත්ත මධ්‍යස්ථාන NVIDIA GPU (H100, B200, R100) | වෙන් වූ HBM3e / HBM4 (80 GB–288 GB, 3.35–19.2 TB/s) + වේගවත් චිපය මත SRAM. | Tensor Cores (FP16, BF16, FP8, NVFP4) + TMA අසමමුහුර්ත පිටපත් ඒකක. | CUDA, cuDNN, Triton, TensorRT-LLM, vLLM, NCCL. | ඉහළම අමු FLOPS සහ බහු-GPU පරිමාණනය; මිල අධික වන අතර PCIe/NVLink සීමා මඟින් සීමා වේ. |
| පාරිභෝගික NVIDIA GPU (RTX 4090 / 5090) | වෙන් වූ GDDR6X / GDDR7 (24 GB–32 GB, ~1.0–1.8 TB/s). | අඩු FP64/NVLink හැකියාවන් සහිත Tensor Cores (FP16, FP8, FP4). | CUDA, PyTorch, Triton, llama.cpp, ExLlamaV2. | දේශීය භාවිතයට අසමසම මිලට සාපේක්ෂ කාර්යසාධනය; 24–32 GB VRAM උපරිමය සහ NVLink නොමැතිකම හේතුවෙන් දැඩි අවහිර ඇති වේ. |
| Apple Silicon (M3/M4 Max & Ultra) | CPU/GPU/NPU අතර හවුල් Unified Memory (LPDDR5) (192–512 GB දක්වා, ~400–800 GB/s). | GPU හර + Simdgroup Matrix ඒකක + Apple Neural Engine (ANE). | Metal (MSL), MLX, PyTorch MPS, llama.cpp. | අතිවිශාල මාදිලි දේශීයව පූරණය කිරීමට විශාල RAM ධාරිතාව; මධ්‍යස්ථ මතක කලාප පළල prompt prefill වේගය සීමා කරයි. |
| ජංගම SoC (Snapdragon 8 Elite, Apple A18/A19) | අඩු බලශක්ති LPDDR5X හවුල් RAM (8 GB–16 GB, ~50–85 GB/s). | ජංගම GPU (Adreno/Apple) + වෙන් කළ INT4/INT8 NPU (Hexagon/ANE). | Vulkan, Metal, ExecuTorch, LiteRT, MLC-LLM. | අතිශය අඩු බලශක්තිය (3–8 W); දැඩි තාප පාලන වේග අඩුකිරීම් සහ තද 3–6 GB OS යෙදුම් මතක සීමා. |
2. විශේෂිත අවහිර සහ ඉංජිනේරු ඉලක්ක විසඳීම
ඉලක්ක දෘඪාංගය හඳුනාගත් පසු සෑම කාර්යසාධන අවහිරයක්ම ඉංජිනේරු වර්ග තුනෙන් එකකට අයත් වේ. ඒ සෑම එකකටම වෙනම තාක්ෂණික ක්‍රියාමාර්ග මාලාවක් අවශ්‍යය.
ඉලක්කය A: පුහුණු වේගය උපරිම කිරීම (ප්‍රතිදාන වේගය සහ පරිමාණනය)
පුහුණුවේ ප්‍රධාන කාර්යයන් වන්නේ සක්‍රියකරණ/අනුක්‍රමණ ගබඩා කිරීම සහ පියවර කිහිපයක් පුරා Tensor Cores වෙත අඛණ්ඩව දත්ත සැපයීමයි.
- Python සහ මතක අතිරේක බර ඉවත් කරන්න: සක්‍රියකරණ මතකය අඩකින් අඩු කරන අතර Tensor Cores පූර්ණ වේගයෙන් ධාවනය කිරීමට torch.compile(mode="max-autotune") සහ BF16/FP8 මිශ්‍ර නිරවද්‍යතාව සක්‍රිය කරන්න.
- සන්නිවේදනය සහ ගණනය සමගාමී කරන්න: බහු GPU පුරා අනුක්‍රමණ සමුච්චය සමඟ PyTorch FSDP2 හෝ ZeRO-3 භාවිත කරන්න. එවිට All-Gather සහ Reduce-Scatter හුවමාරු න්‍යාස ගුණනවල පසුබිමේ අසමමුහුර්තව සිදු වේ.
- සක්‍රියකරණ පරීක්ෂණ ලක්ෂ්‍ය: විශාල කාණ්ඩ ප්‍රමාණ හේතුවෙන් Out-Of-Memory (OOM) දෝෂ ඇති වුවහොත් ඉදිරි ගමන් වාරයේදී අතරමැදි ස්තර සක්‍රියකරණ ඉවත් කර පසුපස ප්‍රචාරණයේදී ඒවා නැවත ගණනය කරන්න. එමඟින් ~25% අතිරේක ගණනය වෙනුවෙන් කාණ්ඩ ප්‍රමාණය විශාල ලෙස වැඩි කිරීමට ඉඩ ලැබේ.
ඉලක්කය B: අනුමාන ප්‍රමාදය අවම කිරීම (TTFT සහ Tokens/Sec)
අනුමානය Prefill (ගණනයෙන් සීමා වූ ප්‍රොම්ප්ට් ඇතුළත් කිරීම) සහ Decode (මතක කලාප පළලෙන් සීමා වූ ටෝකන ජනනය) ලෙස බෙදේ.
- පළමු ටෝකනයට ගතවන කාලය (TTFT) අඩු කරන්න: FlashAttention-2/3 සහ Prefix Caching (හවුල් පද්ධති ප්‍රොම්ප්ට් සඳහා KV හැඹිලි බ්ලොක් නැවත භාවිත කිරීම) භාවිත කරන්න. එවිට දිගු ප්‍රොම්ප්ට් අනවශ්‍ය ගණනයකින් තොරව Tensor Cores ධාරිතාව සම්පූර්ණයෙන් භාවිත කරයි.
- ටෝකන ජනනය වේගවත් කරන්න (TPOT): HBM කියවීම් 2×–4× කින් අඩු කිරීමට බර FP8 හෝ INT4 (AWQ/Marlin) වෙත ක්වොන්ටීකරණය කරන්න, CPU කර්නල් දියත් කිරීමේ හිඩැස් ඉවත් කිරීමට CUDA Graphs සක්‍රිය කරන්න, සහ එක් ඉදිරි ගමන් වාරයකට ටෝකන 3–5 ක් තහවුරු කිරීමට Speculative Decoding (EAGLE/Medusa) එක් කරන්න.
- කාණ්ඩ අතර බාධා ඉවත් කරන්න: බහු පරිශීලක නිෂ්පාදන පරිසරවල අඛණ්ඩ කාණ්ඩගත කිරීම සමඟ PagedAttention භාවිත කරන්න, නැතහොත් Prefill සහ Decode වෙන වෙනම GPU සංචිතවලට බෙදන්න. එවිට බර ප්‍රොම්ප්ට් මඟින් සක්‍රිය ටෝකන ප්‍රවාහ කිසිවිටෙක නතර නොවේ.
ඉලක්කය C: මතක භාවිත පරිමාව අඩු කිරීම (සීමිත උපාංගවලට මාදිලි ගැළපීම)
මාදිලියක් තිබෙන VRAM හෝ ජංගම RAM ඉක්මවන විට දැඩි සම්පීඩනය සහ පිටපත් රහිත ක්‍රියාත්මක කිරීම අනිවාර්ය වේ.
- උප-බයිට් බර සම්පීඩනය: 70B මාදිලියක් 140 GB සිට ~40 GB දක්වා හෝ 8B මාදිලියක් 16 GB සිට ~4.9 GB දක්වා කුඩා කිරීමට 4-bit ක්වොන්ටීකරණය (Q4_K_M හෝ AWQ) භාවිත කරන්න.
- KV හැඹිලිය සම්පීඩනය කරන්න: දිගු සංවාද බොහෝ විට මාදිලි බරවලටත් වඩා RAM භාවිත කරයි. සන්දර්භ මතකය 50%–90% කින් අඩු කිරීමට FP8/INT4 KV Cache ක්වොන්ටීකරණය, Sliding Window Attention හෝ Multi-Head Latent Attention (MLA) සහිත වාස්තු විද්‍යා යොදන්න.
- පිටපත් රහිත ප්‍රවාහනය (mmap): Unified Memory සහිත ලැප්ටොප් සහ දුරකථන මත ක්වොන්ටීකරණය කළ මාදිලි ගොනු NVMe/UFS ආචයනයෙන් සෘජුවම මතක අනුරූපණය කරන්න. එවිට ආරම්භයේදී RAM භාවිතය දෙගුණ නොකර OS විසින් අවශ්‍ය විට බර පිටු මතකයට ගෙන එයි.