Inferencia de IA y rendimiento en GPU

La ruta de NVIDIA hacia la inferencia de IA, pensada también para principiantes: empieza desde cero absoluto (qué es un modelo, qué es una GPU) y sube de nivel gradualmente. Vas a entender qué es la inferencia, a medir bien la latencia frente al throughput (warmup, torch.cuda.synchronize(), percentiles), a detectar si estás limitado por cómputo o por memoria, y a acelerar con batching, precisión mixta (FP16/BF16 + Tensor Cores), cuantización (INT8/FP8), fusión de kernels, CUDA Graphs y TensorRT — hasta un proyecto final de benchmark al estilo Triton.

Lección 1: ¿Qué es la IA y qué es un modelo? — Empezando desde cero
Lección 2: ¿Qué es una GPU, y por qué no alcanza con una CPU?
Lección 3: ¿Qué es la inferencia? — La intuición, sin código
Lección 4: ¿Dónde 'viven' los datos? — CPU, GPU, y el viaje entre ambos
Lección 5: Modo 'función' — Los dos interruptores antes de ejecutar
Lección 6: Latencia vs. throughput — Dos métricas, dos objetivos
Lección 7: Medir correctamente — Warmup, synchronize y percentiles
Lección 8: El cuello de botella — Limitado por cómputo vs. limitado por memoria
Lección 9: Batching — Cómo subir el throughput
Lección 10: Batching dinámico y serving — Agrupar solicitudes en tiempo real
Lección 11: Precisión — FP32 → FP16/BF16 y Tensor Cores
Lección 12: Cuantización — INT8/FP8
Lección 13: Optimización de grafos y kernels — Fusión, CUDA Graphs y TensorRT
Lección 14: El proyecto final de benchmark — Uniendo todo