CUDA и программирование на GPU

Базовый курс для кандидатов в NVIDIA: модель программирования CUDA, иерархия памяти, coalescing, kernels, профилирование и оптимизация умножения матриц.

Урок 1: Что такое GPU?
Урок 2: Зачем нужен GPU? Пропускная способность против задержки
Урок 3: Ваш первый kernel — __global__ и <<<>>>
Урок 4: Подбор размера сетки — достаточно потоков для N
Урок 5: Индексация: threadIdx, blockIdx, blockDim
Урок 6: Две отдельные памяти — host, device и cudaMalloc
Урок 7: Память host/device: cudaMalloc, cudaMemcpy
Урок 8: циклы grid-stride и произвольное N
Урок 9: Двумерные сетки и блоки
Урок 10: Warps и SIMT: единица из 32 threads
Урок 11: Расхождение warp
Урок 12: Обработка ошибок и синхронизация
Урок 13: Иерархия памяти
Урок 14: Объединение доступов к глобальной памяти — концепция
Урок 15: Диагностика и исправление шагового доступа
Урок 16: Основы shared-памяти
Урок 17: __syncthreads() и состояния гонки
Урок 18: Конфликты банков в shared memory
Урок 19: constant memory и registers
Урок 20: Параллельная редукция: суммирование на основе дерева
Урок 21: Оптимизация редукции: sequential addressing
Урок 22: гонки в глобальной памяти — зачем нужны atomics
Урок 23: Атомарные операции: atomicAdd и гистограммы
Урок 24: Параллельное сканирование (префиксная сумма) — идея
Урок 25: параллельный scan — удваивающий kernel
Урок 26: Умножение матриц — наивное GPU-ядро
Урок 27: Тайловое умножение матриц
Урок 28: Занятость: активные warp на SM
Урок 29: Пропускная способность и арифметическая интенсивность
Урок 30: Модель Roofline
Урок 31: Профилирование с Nsight
Урок 32: Streams и параллелизм
Урок 33: Асинхронные передачи и pinned-память
Урок 34: Унифицированная память (Unified Memory) с cudaMallocManaged
Урок 35: cuBLAS, Thrust и когда не стоит писать kernel
Урок 36: Итоговый проект — сквозная оптимизация kernel