Lección 9: Batching — Cómo subir el throughput

Ejecutar una imagen a la vez desperdicia la GPU: sus miles de núcleos quedan casi vacíos. El batching es la herramienta más poderosa para el throughput — apilas muchas entradas en un solo batch, y un único lanzamiento de kernel llena la GPU. En esta lección vemos cómo multiplica el throughput, y qué

Ejecutar un elemento a la vez es como mandar un autobús vacío con un solo pasajero una y otra vez. El batching es llenar el autobús antes de que salga — el mismo viaje, muchos más pasajeros.

Batch: Un grupo de entradas que se ejecutan juntas en un solo lanzamiento de kernel. La dimensión del batch es la primera dimensión del tensor.
Utilización de la GPU: Cuánto de los núcleos de la GPU está realmente ocupado. Un batch pequeño = utilización baja; un batch grande los llena.