තරාදිය මත ඇඟිල්ලක්: AI මිනුම්දණ්ඩවලට (benchmarks) බාධා කිරීම් පර්යේෂණයක් විමසයි

Jiarui Li සහ සහකතෘ සත් දෙනෙකු විසින් සැප්තැම්බර් 2 වන දින arXiv හි පළ කළ පර්යේෂණ පූර්ව-මුද්‍රිතයක් (preprint), AI නියෝජිතයන්ට ලබා දෙන නැවත භාවිත කළ හැකි 'skills' benchmark ප්‍රතිඵල බෙන්තට කිරීමට හසුරුවා ගත හැකි ආකාරය විමසයි; කතෘවරු මෙම ගැටලුව Skill Policy Integrity ලෙස හඳුන්වති.

ලිපිය, සියුම් ලෙස වෙනස් කළ skill එකක් නියෝජිතයෙකු ප්‍රහාරකයාට හිතවත් තේරීම් දෙසට යොමු කරන රහසිගත 'SkillShift' ප්‍රහාරයක් විස්තර කරයි. කතෘවරු තම අත්හදා බැලීම්වලදී පිළිවෙලින් 81.33% සහ 63.33% ක ප්‍රහාරක-හිතවත් තේරීම් අනුපාත වාර්තා කරති.

මෙම සොයාගැනීම් ඇවැසිනි සමඟ එයි: මෙය සහකාර සමාලෝචනය (peer review) සම්පූර්ණ කර නැති preprint එකක් වන අතර, ප්‍රතිඵල ලැබී ඇත්තේ නිර්මිත අත්හදා බැලීම් පරිසරවලින් මිස නිරීක්ෂණය කළ සැබෑ-ලෝක ප්‍රහාරවලින් නොවේ.

විශාල වශයෙන් ගත් කරුණ එසේ වුවත් පවතී. AI නියෝජිතයන්ට ඔවුන්ගේ හැකියාවන් ලබා දෙන බෙදාගත් ගොඩනැගිලි කොටස් වන නැවත භාවිත කළ හැකි skills, මෘදුකාංග dependencies දැනට සිටින ආකාරයටම, සැපයුම්-දාම ප්‍රතිපත්ති කෞතුකාගාර ලෙස විග්‍රහ කළ යුතුය, මන්ද බිඳ දමන ලද skill එකක් එය පූරණය කරන සෑම නියෝජිතයෙකුම නිහඬව බිඳ දමන බැවිනි.

Skill-පදනම් නියෝජිත රාමු භාවිත කරන සංවිධාන, සෑම skill එකක්ම කොතැනින් එන්නේද යන්න නිරීක්ෂණය කළ යුතු අතර, අනුවාද pin කළ යුතු අතර, ඒවා ස්වයංක්‍රීයව ලබා ගැනීම වෙනුවට යොදවීමට පෙර යාවත්කාලීනයන් සමාලෝචනය කළ යුතුය.