Lição 9: Batching — Como Aumentar o Throughput

Rodar uma imagem de cada vez desperdiça a GPU: seus milhares de núcleos ficam praticamente vazios. Batching é a ferramenta mais poderosa para throughput — você empilha muitas entradas em um único batch, e uma única chamada de kernel preenche a GPU. Nesta aula vamos ver como isso multiplica o through

Rodar um item de cada vez é como mandar um ônibus quase vazio com um único passageiro, repetidas vezes. Batching é encher o ônibus antes de ele sair — a mesma viagem, com muito mais passageiros.

Batch: Um conjunto de entradas rodadas juntas em uma única chamada de kernel. A dimensão do batch é a primeira dimensão do tensor.
Utilização da GPU: Quanto dos núcleos da GPU estão realmente ocupados. Um batch pequeno = utilização baixa; um batch grande os preenche.