Vllm

2 article(s)

→

vLLM - 04. Provisioning GPU chez Infomaniak

🧘 1/10Développement ›DevOps & Cloud Cloud Computing Inference Llm Vllm Infrastructure Gpu

vLLM - 04. Provisioning GPU chez Infomaniak

Cette vidéo présente la mise en œuvre du provisioning de GPU chez Infomaniak pour supporter vLLM. Elle détaille l'infrastructure nécessaire pour optimiser le déploiement et l'inférence de modèles de langage à grande échelle.

✍️ xavki · via Xavki

France · 31/08/2026 18:53 · ⚙️ 970 tok Score : 71.4 ⓘ

Notez :👁 1

vLLM - 01. Introduction : C'est quoi ? (modèles, inférences, cache)

🧘 0/10IA ›Outils & Applications Inference Llm Vllm Optimisation Memoire

vLLM - 01. Introduction : C'est quoi ? (modèles, inférences, cache)

📖 Lire sur Vigie24

Cette introduction présente vLLM, une bibliothèque optimisée pour l'inférence de modèles de langage. Elle explique les concepts fondamentaux liés à la gestion du cache et à l'optimisation des ressources pour améliorer les performances de génération.

✍️ xavki · via Xavki

France · 05/07/2026 18:58 · ⚙️ 622 tok Score : 59.8 ⓘ

Notez :👁 2