Leçon 6 : latence contre débit — deux métriques, deux objectifs

Un ingénieur dit « le modèle est rapide ». La première question chez NVIDIA : rapide dans quel sens ? La latence (la vitesse de retour d'une seule réponse) ou le débit (le nombre de réponses par seconde) ? Ce sont deux objectifs différents qui entrent parfois en conflit — et il faut savoir lequel tu

La latence, c'est le temps que met ton plat à arriver de la cuisine. Le débit, c'est le nombre de plats que la cuisine sort par heure. On peut cuisiner beaucoup de plats ensemble (débit élevé), mais alors chaque plat individuel attend un peu plus longtemps (latence plus élevée).

Latence: Le temps que met une seule requête à revenir — de l'entrée à la sortie. Mesuré en millisecondes. Critique pour l'expérience utilisateur en temps réel.
Débit: Le nombre d'éléments/requêtes traités par seconde. Mesuré en items/sec. Critique pour le traitement en masse et le coût.