Ton modèle affiche 99 % de bonnes prédictions ? Spoiler : ça ne veut rien dire.
Kevin a entraîné une IA de contrôle qualité qui répond « conforme » à absolument tout. Comme les pièces défectueuses sont rares, son score reste magnifique. Le client, lui, rappelle ses appareils et réclame 10 000 euros.
Dans cet épisode, je t'explique la class imbalance, et pourquoi tu dois regarder le rappel (combien de vrais défauts tu arrêtes) et la précision (combien de tes alertes sont de vrais défauts) plutôt que ton taux de bonnes réponses.
Ton IA met 15 minutes à répondre à un bonjour pendant un pic de charge ? Le réflexe de Kevin : vingt fois plus de GPU.
Spoiler : vingt fois plus de GPU, c'est vingt fois plus lent à la faillite. Chaque instance reste aussi lente, tu payes juste pour absorber la file d'attente.
Le vrai goulot, c'est la bande passante mémoire. Un token = une relecture complète des poids du modèle. Dans cet épisode, je montre à Kevin le speculative decoding : un petit modèle draft écrit quatre tokens d'avance, le gros les vérifie en une seule passe, et la distribution en sortie reste celle du gros modèle. Mais tout dépend du taux d'acceptation, alors tu mesures dans vLLM avant de déployer.
Tu es un des meilleurs éléments quand il parle au client. Tu dois faire tes preuves quand il parle à toi. Facturé 1000€ par jour, 4 ans sans augmentation, mais y a pas de budget.
Tu fais tourner Claude Code sur un serveur avec une clé API ? Félicitations, tu paies deux fois.
Kevin a monté une automatisation qui tourne toutes les nuits pour trier les retours clients. Propre, sauf qu'il l'a branchée sur l'API alors que la boîte paie déjà un abonnement Claude Max. Trois semaines plus tard : 27 000 euros de facture.
Dans cet épisode, je te montre `claude setup-token` : comment générer un token, le mettre dans `CLAUDE_CODE_OAUTH_TOKEN` sur ton serveur, virer la clé API, et faire tourner tes tâches en headless avec le quota que tu paies déjà chaque mois.
