CUDA e Programação de GPU

O curso essencial para candidatos da NVIDIA: o modelo de programação do CUDA, a hierarquia de memória, coalescing, kernels, profiling e otimização de multiplicação de matrizes.

Aula 1: O que é uma GPU?
Aula 2: Por que uma GPU? Throughput vs. Latência
Aula 3: Seu Primeiro Kernel — __global__ e <<<>>>
Aula 4: Dimensionando o Grid — Threads Suficientes para N
Aula 5: Indexação: threadIdx, blockIdx, blockDim
Aula 6: Duas Memórias Separadas — Host, Device e cudaMalloc
Aula 7: Memória Host/Device: cudaMalloc, cudaMemcpy
Aula 8: Loops Grid-Stride e N Arbitrário
Aula 9: Grids e Blocks 2D
Aula 10: Warps e SIMT: a unidade de 32 threads
Aula 11: Divergência de Warp
Aula 12: Tratamento de Erros e Sincronização
Aula 13: A Hierarquia de Memória
Aula 14: Coalescing de Memória Global — o conceito
Aula 15: Diagnosticando e Corrigindo Acesso com Stride
Aula 16: Fundamentos de Shared Memory
Aula 17: __syncthreads() e Condições de Corrida
Aula 18: Conflitos de Bank em Shared Memory
Aula 19: Constant Memory e Registers
Aula 20: Redução Paralela: soma baseada em árvore
Aula 21: Otimizando a Redução: sequential addressing
Aula 22: Condições de Corrida na Memória Global — Por Que Atomics
Aula 23: Operações Atômicas: atomicAdd e histogramas
Aula 24: Scan Paralelo (Soma de Prefixos) — a Ideia
Aula 25: Scan Paralelo — o Kernel de Duplicação
Aula 26: Multiplicação de Matrizes — o Kernel Ingénuo na GPU
Aula 27: Multiplicação de Matrizes em Tiles
Aula 28: Ocupância: warps ativos por SM
Aula 29: Largura de Banda e Intensidade Aritmética
Aula 30: O Modelo Roofline
Aula 31: Profiling com Nsight
Aula 32: Streams e Concorrência
Aula 33: Transferências Assíncronas e Pinned Memory
Aula 34: Unified Memory com cudaMallocManaged
Aula 35: cuBLAS, Thrust e quando não escrever um kernel
Aula 36: Projeto Final — Otimização de Kernel de Ponta a Ponta