AlexNet: 2012 ජයග්‍රහණය පිටුපස තිබූ CUDA ඉංජිනේරුකම

2012 දී, AlexNet ජයග්‍රහණය මගින් CUDA-සක්‍රීය GPU සමඟ යුගල කළ ගැඹුරු ස්නායුක ජාලවලට දශක ගණනාවක සාම්ප්‍රදායික පරිගණක දැක්ම ඉංජිනේරුකම අභිබවා යා හැකි බව ඔප්පු විය. ImageNet Large Scale Visual Recognition Challenge (ILSVRC) හිදී, Alex Krizhevsky, Ilya Sutskever සහ Geoffrey Hinton විසින් 15.3% top-5 දෝෂ අනුපාතයක් ලබා ගත් අතර, 26.2% වූ දෙවන ස්ථානය ලද්දාට වඩා ප්‍රතිශත ලක්ෂ්‍ය 11 කින් පමණ ඉදිරියෙන් සිටියේය.

දෘඪාංග බාධාව සහ විසඳුම

එකල PyTorch සහ TensorFlow වැනි ගැඹුරු ඉගෙනුම් රාමු නොතිබූ අතර, පාරිභෝගික GPU වල දැඩි මතක සීමා තිබුණි.

• පාරිභෝගික ක්‍රීඩා දෘඪාංග: කණ්ඩායම ජාලය නිදන කාමරයක දී පාරිභෝගික මට්ටමේ NVIDIA GTX 580 GPU දෙකක් භාවිතයෙන් පුහුණු කළේය. එක් එක් කාඩ්පතෙහි තිබුණේ VRAM 3 GB ක් පමණි; එය පරාමිති මිලියන 60 ක් සහිත මුළු ජාලයම තනි චිපයක රඳවා ගැනීමට ප්‍රමාණවත් නොවීය.

• CUDA හරහා ආකෘති සමාන්තරතාව: Alex Krizhevsky විසින් ජාලය GPU දෙක හරහා සිරස් අතට බෙදීමට අභිරුචි CUDA C++ කර්නල් (cuda-convnet) ලිවීය. සෑම GPU එකක්ම ස්නායු සහ කර්නල් වලින් අඩක් තමන්ගේම 3 GB මතක සංචිතයේ ගබඩා කළේය.

• තෝරාගත් GPU අතර සන්නිවේදනය: මවු පුවරුවේ PCIe බසය හරහා GPU අතර දත්ත මාරු කිරීම මන්දගාමී බැවින්, Krizhevsky විසින් GPU නිශ්චිත ස්ථර වලදී පමණක් (3 වන ස්ථරය වැනි) සන්නිවේදනය කිරීමට ක්‍රමලේඛනය කළේය. අනෙක් ස්ථර එක් එක් කාඩ්පතෙහි සම්පූර්ණයෙන්ම ස්වාධීනව ක්‍රියාත්මක වූ අතර, කලාප පළල බාධා අවම කළේය.

ප්‍රධාන ගෘහනිර්මාණ ජයග්‍රහණ

අමු CUDA පරිගණක බලය තිබීම නිසා, මීට පෙර මහා පරිමාණයෙන් පරීක්ෂා කිරීමට අතිශය මන්දගාමී වූ තීරණාත්මක ක්‍රමවේද කිහිපයක් ඒකාබද්ධ කිරීමට කණ්ඩායමට හැකි විය:

• ගැඹුරු ගෘහනිර්මාණය: AlexNet විසින් ඉගෙනගත් ස්ථර 8 ක් (convolutional ස්ථර 5 ක් සහ ඉන්පසු සම්පූර්ණයෙන් සම්බන්ධිත ස්ථර 3 ක්) ගොඩ ගැසූ අතර, එය පෙර ස්නායුක ජාලවලට වඩා බොහෝ ගැඹුරු විය.

• ReLU සක්‍රීයකරණ ශ්‍රිතය: සාම්ප්‍රදායික tanh හෝ sigmoid ගණිතය වෙනුවට ඔවුන් Rectified Linear Units (ReLU) භාවිතා කළහ. ReLU CUDA හි ගණනය කිරීමේ අතින් සරල වන අතර, gradients අතුරුදහන් නොවී ගැඹුරු ජාලය ආසන්න වශයෙන් හය ගුණයක් වේගයෙන් පුහුණු වීමට ඉඩ දුන්නේය.

• දත්ත වර්ධනය සහ Dropout: GPU න්‍යාස ගණිතය ගණනය කරමින් සිටියදී, අධි-ගැළපීම (overfitting) වැළැක්වීමට CPU විසින් තත්කාලීන රූප පරිවර්තන (crops සහ flips) ජනනය කළේය. ඔවුන් Dropout ද යෙදූ අතර, ජාලය ශක්තිමත් ලක්ෂණ ඉගෙනීමට බල කිරීමට පුහුණුව අතරතුර ස්නායු අහඹු ලෙස අක්‍රිය කළහ.

එය ගැඹුරු ඉගෙනුම් විප්ලවය අවුලුවාලූයේ ඇයි

2012 සැප්තැම්බරයට පෙර, බොහෝ පරිගණක දැක්ම පර්යේෂකයින් දාර සහ හැඩතල හඳුනාගැනීමට අතින් සකස් කළ ඇල්ගොරිතම (SIFT සහ HOG වැනි) මත රඳා සිටි අතර, ගැඹුරු ස්නායුක ජාල අවසානයක් නැති න්‍යායක් ලෙස සැලකූහ.

• පුහුණු කාලය: අභිරුචි CUDA ප්‍රශස්තකරණය සහිතව පවා, ඉහළ විභේදන රූප මිලියන 1.2 ක් මත AlexNet පුහුණු කිරීමට දින 5 සිට 6 දක්වා ගත විය. CUDA නොමැතිව, එම අත්හදා බැලීමටම CPU මත මාස ගණනක් ගත වනු ඇත.

• කර්මාන්ත මාරුව: AlexNet ImageNet හිදී සෑම සාම්ප්‍රදායික ක්‍රමයක්ම පරයා යන විට, මුළු AI පර්යේෂණ ප්‍රජාවම අතින් සකස් කළ ලක්ෂණ ආසන්න වශයෙන් එක රැයකින් අත්හැරියේය. පර්යේෂකයින් NVIDIA GPU මිලදී ගැනීමට කඩිමුඩියේ දිවූ අතර, එය NVIDIA ට AI දෙසට හැරීමට සහ වසර දෙකකට පසු cuDNN නිකුත් කිරීමට පොළඹවා ගත්තේය.