Ton IA met 15 minutes à répondre à un bonjour pendant un pic de charge ? Le réflexe de Kevin : vingt fois plus de GPU.
Spoiler : vingt fois plus de GPU, c'est vingt fois plus lent à la faillite. Chaque instance reste aussi lente, tu payes juste pour absorber la file d'attente.
Le vrai goulot, c'est la bande passante mémoire. Un token = une relecture complète des poids du modèle. Dans cet épisode, je montre à Kevin le speculative decoding : un petit modèle draft écrit quatre tokens d'avance, le gros les vérifie en une seule passe, et la distribution en sortie reste celle du gros modèle. Mais tout dépend du taux d'acceptation, alors tu mesures dans vLLM avant de déployer.
#devops #programmation #dev #ia #pixelcrafted
Spoiler : vingt fois plus de GPU, c'est vingt fois plus lent à la faillite. Chaque instance reste aussi lente, tu payes juste pour absorber la file d'attente.
Le vrai goulot, c'est la bande passante mémoire. Un token = une relecture complète des poids du modèle. Dans cet épisode, je montre à Kevin le speculative decoding : un petit modèle draft écrit quatre tokens d'avance, le gros les vérifie en une seule passe, et la distribution en sortie reste celle du gros modèle. Mais tout dépend du taux d'acceptation, alors tu mesures dans vLLM avant de déployer.
#devops #programmation #dev #ia #pixelcrafted
618