CUDA ו-GPU Programming

קורס הליבה למועמדי NVIDIA: מודל התכנות של CUDA, היררכיית זיכרון, coalescing, kernels, profiling ואופטימיזציית matrix multiplication.

שיעור 1: מה זה GPU?
שיעור 2: למה GPU? תפוקה מול זמן-תגובה
שיעור 3: ה-Kernel הראשון — __global__ ו-<<<>>>
שיעור 4: כמה בלוקים צריך? כיסוי N איברים
שיעור 5: אינדוקס: threadIdx, blockIdx, blockDim
שיעור 6: שני זיכרונות נפרדים — host, device ו-cudaMalloc
שיעור 7: זיכרון host↔device: cudaMalloc, cudaMemcpy
שיעור 8: לולאת grid-stride וטיפול ב-N שרירותי
שיעור 9: גרידים דו-ממדיים: אינדוקס מטריצות ותמונות
שיעור 10: warps ו-SIMT: יחידת 32 ה-threads
שיעור 11: התפצלות warp: ענפי if/else וביצועים
שיעור 12: טיפול בשגיאות וסנכרון: cudaGetLastError, cudaDeviceSynchronize
שיעור 13: היררכיית הזיכרון: registers, shared, global, constant
שיעור 14: Coalescing — המושג של גישה מאוחדת לזיכרון גלובלי
שיעור 15: לזהות ולתקן גישה עם stride
שיעור 16: Shared memory — scratchpad על-השבב
שיעור 17: __syncthreads() ותנאי מרוץ
שיעור 18: התנגשויות banks ב-shared memory
שיעור 19: constant memory ו-registers
שיעור 20: רדוקציה מקבילה: סכום במבנה עץ
שיעור 21: אופטימיזציית רדוקציה: sequential addressing
שיעור 22: תנאי מרוץ בזיכרון גלובלי — למה צריך atomics
שיעור 23: פעולות אטומיות: atomicAdd והיסטוגרמה
שיעור 24: scan מקבילי (prefix sum) — הרעיון
שיעור 25: scan מקבילי — ה-kernel המוכפל
שיעור 26: כפל מטריצות — ה-kernel הנאיבי
שיעור 27: כפל מטריצות עם tiling ב-shared memory
שיעור 28: Occupancy — warps פעילים per SM
שיעור 29: רוחב פס ועצימות אריתמטית
שיעור 30: מודל ה-Roofline
שיעור 31: Profiling עם Nsight — מדדים וצווארי בקבוק
שיעור 32: Streams ומקביליות — חפיפת copy ו-compute
שיעור 33: העברות אסינכרוניות וזיכרון pinned
שיעור 34: זיכרון מאוחד (Unified Memory) עם cudaMallocManaged
שיעור 35: cuBLAS, Thrust ומתי לא לכתוב kernel
שיעור 36: פרויקט מסכם — אופטימיזציית kernel מקצה-לקצה