vToken: අනුමානකරණ මතකය අතථ්‍යකරණය කිරීම

2026 අගෝස්තු 14 දින ලැයිස්තුගත කළ vToken පර්යේෂණ පත්‍රිකාව, අවශ්‍ය විට මතක ඉඩ නැවත ලබා ගත හැකි යතුරු-අගය හැඹිලි (reclaimable key-value caches) සඳහා ටෝකන මට්ටමේ අතථ්‍යකරණය (token-level virtualisation) යෝජනා කරයි.

මෙය බහු පරිශීලක පරිසරවල අනුමානකරණය (multi-tenant inference) සඳහා අවශ්‍ය මතකය මත ඇති පීඩනය අඩු කළ හැකි පර්යේෂණයකි.

සැබෑ නිෂ්පාදන පරිසරයකදී මෙය තවමත් සත්‍යාපනය කර නොමැත. එබැවින් මෙම තාක්ෂණය දැනට භාවිත කළ හැකි ප්‍රශස්තකරණයක් (optimisation) ලෙස නොව පර්යේෂණ දිශාවක් ලෙස සැලකිය යුතුය.