Declarative Attention: KV-cache කියවීම් අඩු කිරීම

සැප්තැම්බර් 2 වන දින arXiv වෙත පළ කළ Namgyu Ho සහ සගයන්ගේ පූර්ව-මුද්‍රණයකට (preprint) අනුව, ආකෘතියකට ගෝලීය, අවධානය යොමු කළ සහ දේශීය සන්දර්භ කලාප (global, focus and local context regions) ප්‍රකාශ කිරීමට හැකි වන අතර එමඟින් KV-cache කියවීම් අඩු වේ.

කතෘවරු වාර්තා කරන අන්දමට, අවධානයට ලක් වන ටෝකන (attended tokens) 31.1-52.0% කින් අඩු වන අතර නිරවද්‍යතා අලාභය සළුකොට තැකිය හැකි මට්ටමකි.

පරීක්ෂණයන් ආකෘති පවුල් දෙකක් ආවරණය කළ නමුත්, නිෂ්පාදන මට්ටමේ වලංගුකරණයක් (production validation) සිදු කර නොමැත.