Урок 6: Задержка против пропускной способности — две метрики, две цели

Инженер говорит: «модель быстрая». Первый вопрос в NVIDIA: быстрая в каком смысле? Задержка (как быстро возвращается один ответ) или пропускная способность (сколько ответов в секунду)? Это две разные цели, которые иногда конфликтуют — и вы должны знать, на какую нацелены, прежде чем коснуться кода.

Задержка — это сколько времени проходит, пока ваше блюдо не прибудет с кухни. Пропускная способность — это сколько блюд кухня отправляет в час. Вы можете готовить много блюд вместе (высокая пропускная способность), но тогда каждое отдельное блюдо ждёт немного дольше (более высокая задержка).

Задержка: Время возврата одного запроса — от входа до выхода. Измеряется в миллисекундах. Критична для UX в реальном времени.
Пропускная способность: Сколько элементов/запросов обрабатывается в секунду. Измеряется в элементах/сек. Критична для массовой обработки и стоимости.