CUDA y programación de GPU

El curso base para candidatos de NVIDIA: el modelo de programación de CUDA, la jerarquía de memoria, el coalescing, los kernels, el profiling y la optimización de la multiplicación de matrices.

Lección 1: ¿Qué es una GPU?
Lección 2: ¿Por qué una GPU? Throughput vs. latencia
Lección 3: Tu primer kernel — __global__ y <<<>>>
Lección 4: Dimensionar el grid — suficientes hilos para N
Lección 5: Indexación: threadIdx, blockIdx, blockDim
Lección 6: Dos memorias separadas — host, device y cudaMalloc
Lección 7: Memoria host/device: cudaMalloc, cudaMemcpy
Lección 8: Bucles grid-stride y N arbitrario
Lección 9: Grids y bloques 2D
Lección 10: Warps y SIMT: la unidad de 32 hilos
Lección 11: Divergencia de warp
Lección 12: Manejo de errores y sincronización
Lección 13: La jerarquía de memoria
Lección 14: Coalescing de memoria global — el concepto
Lección 15: Diagnosticar y corregir el acceso con stride
Lección 16: Fundamentos de la memoria compartida
Lección 17: __syncthreads() y condiciones de carrera
Lección 18: Conflictos de bank en memoria compartida
Lección 19: Memoria constante y registros
Lección 20: Reducción paralela: suma basada en árbol
Lección 21: Optimización de la reducción: direccionamiento secuencial
Lección 22: Condiciones de carrera en memoria global — Por qué se necesitan los atomics
Lección 23: Operaciones atómicas: atomicAdd e histogramas
Lección 24: Scan paralelo (suma de prefijos) — la idea
Lección 25: Scan paralelo — el kernel de duplicación
Lección 26: Multiplicación de matrices — el kernel ingenuo de GPU
Lección 27: Multiplicación de matrices con tiling
Lección 28: Occupancy: warps activos por SM
Lección 29: Ancho de banda e intensidad aritmética
Lección 30: El modelo roofline
Lección 31: Profiling con Nsight
Lección 32: Streams y concurrencia
Lección 33: Transferencias asíncronas y memoria pinned
Lección 34: Memoria unificada (Unified Memory) con cudaMallocManaged
Lección 35: cuBLAS, Thrust y cuándo no escribir un kernel
Lección 36: Proyecto final — Optimización de kernel de punta a punta