Aula 6: Latência vs Throughput — Duas Métricas, Dois Objetivos

Um engenheiro diz 'o modelo é rápido'. A primeira pergunta na NVIDIA: rápido em que sentido? Latência (quão rápido uma resposta volta) ou throughput (quantas respostas por segundo)? São dois objetivos diferentes que às vezes entram em conflito — e você precisa saber qual deles está mirando antes de

Latência é quanto tempo leva até seu prato chegar da cozinha. Throughput é quantos pratos a cozinha manda por hora. Você pode cozinhar muitos pratos juntos (throughput alto), mas aí cada prato individual espera um pouco mais (latência mais alta).

Latência: O tempo para uma única requisição voltar — da entrada até a saída. Medido em milissegundos. Crítico para UX em tempo real.
Throughput: Quantos itens/requisições são processados por segundo. Medido em items/seg. Crítico para processamento em massa e custo.