Decodage Speculatif
1 article(s)
→
v0.34.2-rc2: mlxrunner: Release freed KV buffers during speculative decode
📖 Lire sur Vigie24La version v0.34.2-rc2 d'Ollama introduit une optimisation pour mlxrunner, permettant la libération des buffers KV lors du décodage spéculatif. Cette mise à jour vise à améliorer la gestion de la mémoire lors de l'exécution des modèles.
États-Unis
· 01/01/0001 00:00 ·
⚙️ 979 tok
Score : 48.0 ⓘ
Notez :👁 0