Урок 9: Батчинг — как повысить пропускную способность
Запуск по одному изображению за раз тратит GPU впустую: его тысячи ядер стоят почти пустыми. Батчинг — это самый мощный инструмент пропускной способности — вы складываете множество входов в один батч, и один запуск ядра заполняет GPU. В этом уроке мы увидим, как он умножает пропускную способность и
Запуск по одному элементу за раз — как отправлять пустой автобус с одним пассажиром снова и снова. Батчинг — это заполнение автобуса перед отправлением — та же поездка, гораздо больше пассажиров.
- Батч
- Группа входов, выполняемых вместе за один запуск ядра. Измерение батча — это первое измерение тензора.
- Загрузка GPU
- Сколько ядер GPU действительно заняты. Маленький батч = низкая загрузка; большой батч заполняет их.
