Optimisation Memoire
3 article(s)
vLLM - 01. Introduction : C'est quoi ? (modèles, inférences, cache)
📖 Lire sur Vigie24Cette introduction présente vLLM, une bibliothèque optimisée pour l'inférence de modèles de langage. Elle explique les concepts fondamentaux liés à la gestion du cache et à l'optimisation des ressources pour améliorer les performances de génération.
France
· 05/07/2026 18:58 ·
⚙️ 622 tok
Score : 63.0 ⓘ
Comment compter des millions de vues ? HyperLogLog
📖 Lire sur Vigie24L'article explique le fonctionnement de l'algorithme HyperLogLog, utilisé pour estimer le nombre d'éléments uniques dans des ensembles de données massifs. Il détaille comment réduire drastiquement l'utilisation de la mémoire tout en acceptant une légère marge d'erreur.
France
· 22/06/2026 13:00 ·
⚙️ 616 tok
Score : 63.0 ⓘ
v0.34.2-rc2: mlxrunner: Release freed KV buffers during speculative decode
📖 Lire sur Vigie24La version v0.34.2-rc2 d'Ollama introduit une optimisation pour mlxrunner, permettant la libération des buffers KV lors du décodage spéculatif. Cette mise à jour vise à améliorer la gestion de la mémoire lors de l'exécution des modèles.
États-Unis
· 01/01/0001 00:00 ·
⚙️ 979 tok
Score : 50.8 ⓘ