Inference Llm
8 article(s)
vLLM - 06. Le standard API OpenAI pour l'inférence
📖 Lire sur Vigie24Cette vidéo présente l'implémentation du standard API OpenAI au sein de vLLM pour faciliter l'inférence de modèles de langage. Elle explique comment vLLM permet de déployer des modèles open-source tout en restant compatible avec les outils conçus pour GPT.
France
· 15/10/2026 18:33 ·
⚙️ 967 tok
Score : 74.6 ⓘ
vLLM - 05. Premier inférence (model Mistral)
📖 Lire sur Vigie24Ce tutoriel présente la mise en œuvre d'une première inférence avec la bibliothèque vLLM en utilisant un modèle de la famille Mistral. La vidéo guide l'utilisateur à travers le processus technique pour déployer et tester le modèle efficacement.
France
· 22/09/2026 19:17 ·
⚙️ 949 tok
Score : 70.7 ⓘ
vLLM - 04. Provisioning GPU chez Infomaniak
📖 Lire sur Vigie24Cette vidéo présente la mise en œuvre du provisioning de GPU chez Infomaniak pour supporter vLLM. Elle détaille l'infrastructure nécessaire pour optimiser le déploiement et l'inférence de modèles de langage à grande échelle.
France
· 31/08/2026 18:53 ·
⚙️ 970 tok
Score : 74.6 ⓘ
vLLM - 02. L'inférence sans vLLM ? pytorch + transformer
📖 Lire sur Vigie24Cette ressource explore la mise en œuvre de l'inférence de modèles de langage en utilisant PyTorch et la bibliothèque Transformers, sans recourir à vLLM. Elle permet de comprendre les mécanismes fondamentaux de l'exécution des modèles avant d'optimiser via des frameworks spécialisés.
France
· 15/07/2026 19:41 ·
⚙️ 631 tok
Score : 63.0 ⓘ
vLLM - 01. Introduction : C'est quoi ? (modèles, inférences, cache)
📖 Lire sur Vigie24Cette introduction présente vLLM, une bibliothèque optimisée pour l'inférence de modèles de langage. Elle explique les concepts fondamentaux liés à la gestion du cache et à l'optimisation des ressources pour améliorer les performances de génération.
France
· 05/07/2026 18:58 ·
⚙️ 622 tok
Score : 63.0 ⓘ
v0.34.4-rc0: mlx: speed up Qwen 3.8 prompt processing (#18550)
📖 Lire sur Vigie24Mise à jour de Ollama (v0.34.4-rc0) visant à optimiser le traitement des prompts pour le modèle Qwen via le framework MLX. Cette amélioration cible spécifiquement la vitesse d'exécution sur les architectures Apple Silicon.
États-Unis
· 01/01/0001 00:00 ·
⚙️ 990 tok
Score : 50.8 ⓘ
v0.33.1-rc0: MLX: Qwen3.8 Flash Next support (#18032)
📖 Lire sur Vigie24La version v0.33.1-rc0 d'Ollama introduit le support du modèle Qwen3.8 Flash Next via le framework MLX. Cette mise à jour permet une meilleure intégration et exécution de ce modèle spécifique sur les architectures compatibles.
États-Unis
· 01/01/0001 00:00 ·
⚙️ 988 tok
Score : 52.0 ⓘ
v0.34.2-rc2: mlxrunner: Release freed KV buffers during speculative decode
📖 Lire sur Vigie24La version v0.34.2-rc2 d'Ollama introduit une optimisation pour mlxrunner, permettant la libération des buffers KV lors du décodage spéculatif. Cette mise à jour vise à améliorer la gestion de la mémoire lors de l'exécution des modèles.
États-Unis
· 01/01/0001 00:00 ·
⚙️ 979 tok
Score : 50.8 ⓘ