Inferência de IA e Desempenho em GPU

O caminho da NVIDIA para Inferência de IA, pensado também para iniciantes: começa do zero absoluto (o que é um modelo, o que é uma GPU) e evolui aos poucos. Você vai entender o que é inferência, medir latência e throughput corretamente (warmup, torch.cuda.synchronize(), percentis), descobrir se está compute-bound ou memory-bound, e acelerar com batching, mixed precision (FP16/BF16 + Tensor Cores), quantization (INT8/FP8), kernel fusion, CUDA Graphs e TensorRT — até um projeto final de benchmark no estilo Triton.

Aula 1: O que é IA e o que é um modelo, afinal? — Começando do zero
Aula 2: O que é uma GPU, e por que não simplesmente uma CPU?
Aula 3: O que é Inferência? — A intuição, sem código
Aula 4: Onde os dados 'moram'? — CPU, GPU e a viagem entre eles
Aula 5: 'Modo Apresentação' — Os dois interruptores antes de rodar
Aula 6: Latência vs Throughput — Duas Métricas, Dois Objetivos
Aula 7: Medir corretamente — Warmup, synchronize e Percentis
Lição 8: O Gargalo — Compute-bound vs Memory-bound
Lição 9: Batching — Como Aumentar o Throughput
Lição 10: Dynamic Batching e Serving — Agrupando Requisições em Tempo Real
Lição 11: Precisão — FP32 → FP16/BF16 e Tensor Cores
Lição 12: Quantization — INT8/FP8
Lição 13: Otimização de Grafo e Kernel — Fusion, CUDA Graphs e TensorRT
Lição 14: Projeto Final de Benchmark — Juntando Tudo