CUDA et programmation GPU

Le cours de référence pour les candidats NVIDIA : le modèle de programmation de CUDA, la hiérarchie de la mémoire, le coalescing, les kernels, le profiling et l'optimisation de la multiplication de matrices.

Leçon 1 : Qu'est-ce qu'un GPU ?
Leçon 2 : Pourquoi un GPU ? Débit contre latence
Leçon 3 : Ton premier kernel — __global__ et <<<>>>
Leçon 4 : Dimensionner la grid — assez de threads pour N
Leçon 5 : Indexation : threadIdx, blockIdx, blockDim
Leçon 6 : Deux mémoires séparées — host, device et cudaMalloc
Leçon 7 : Mémoire host/device : cudaMalloc, cudaMemcpy
Leçon 8 : Boucles grid-stride et N arbitraire
Leçon 9 : Grids et blocks 2D
Leçon 10 : Warps et SIMT : l'unité de 32 threads
Leçon 11 : Divergence de warp
Leçon 12 : Gestion des erreurs et synchronisation
Leçon 13 : La hiérarchie de la mémoire
Leçon 14 : Coalescing de la mémoire globale — le concept
Leçon 15 : Diagnostiquer et corriger un accès avec stride
Leçon 16 : Fondamentaux de la mémoire partagée
Leçon 17 : __syncthreads() et conditions de course
Leçon 18 : Conflits de bank en mémoire partagée
Leçon 19 : Mémoire constante et registres
Leçon 20 : Réduction parallèle : somme basée sur un arbre
Leçon 21 : Optimisation de la réduction : adressage séquentiel
Leçon 22 : Conditions de course en mémoire globale — pourquoi les atomics sont nécessaires
Leçon 23 : Opérations atomiques : atomicAdd et histogrammes
Leçon 24 : Scan parallèle (somme de préfixes) — l'idée
Leçon 25 : Scan parallèle — le kernel de doublement
Leçon 26 : Multiplication de matrices — le kernel GPU naïf
Leçon 27 : Multiplication de matrices avec tiling
Leçon 28 : Occupancy : warps actifs par SM
Leçon 29 : Bande passante et intensité arithmétique
Leçon 30 : Le modèle roofline
Leçon 31 : Profiling avec Nsight
Leçon 32 : Streams et concurrence
Leçon 33 : Transferts asynchrones et mémoire pinned
Leçon 34 : Mémoire unifiée (Unified Memory) avec cudaMallocManaged
Leçon 35 : cuBLAS, Thrust et quand ne pas écrire de kernel
Leçon 36 : Projet final — Optimisation de kernel de bout en bout