CUDA وبرمجة GPU

الدورة الأساسية للمرشّحين للعمل في NVIDIA: نموذج البرمجة في CUDA، وهرمية الذاكرة، وcoalescing، والـ kernels، وقياس الأداء (profiling)، وتحسين ضرب المصفوفات.

الدرس 1: ما هو الـ GPU؟
الدرس 2: لماذا نستخدم GPU؟ الإنتاجية مقابل زمن الاستجابة
الدرس 3: أول kernel لك — __global__ و<<<>>>
الدرس 4: تحديد حجم الشبكة — عدد كافٍ من الـ threads للـ N
الدرس 5: الفهرسة: threadIdx, blockIdx, blockDim
الدرس 6: ذاكرتان منفصلتان — host وdevice وcudaMalloc
الدرس 7: ذاكرة host/device: cudaMalloc, cudaMemcpy
الدرس 8: حلقات grid-stride و N الاعتباطي
الدرس 9: الشبكات والكتل ثنائية الأبعاد
الدرس 10: warps و SIMT: وحدة الـ 32 thread
الدرس 11: تباعد الـ warp
الدرس 12: معالجة الأخطاء والمزامنة
الدرس 13: التسلسل الهرمي للذاكرة
الدرس 14: تجميع الوصول إلى الذاكرة العامة (Coalescing) — المفهوم
الدرس 15: تشخيص وإصلاح الوصول ذي الـ stride
الدرس 16: أساسيات shared memory
الدرس 17: __syncthreads() وحالات التسابق
الدرس 18: تعارضات banks في shared memory
الدرس 19: constant memory و registers
الدرس 20: الاختزال المتوازي: الجمع القائم على الشجرة
الدرس 21: تحسين الاختزال: sequential addressing
الدرس 22: تسابقات الذاكرة العالمية — لماذا نحتاج atomics
الدرس 23: العمليات الذرية: atomicAdd والمدرّجات التكرارية
الدرس 24: المسح المتوازي (Parallel Scan / Prefix Sum) — الفكرة
الدرس 25: scan متوازٍ — kernel المضاعفة
الدرس 26: ضرب المصفوفات — الـ kernel الساذج على GPU
الدرس 27: ضرب المصفوفات باستخدام البلاطات (Tiled)
الدرس 28: occupancy: warps نشطة لكل SM
الدرس 29: عرض النطاق والكثافة الحسابية
الدرس 30: نموذج Roofline
الدرس 31: التوصيف باستخدام Nsight
الدرس 32: Streams والتزامن
الدرس 33: عمليات النقل غير المتزامنة وذاكرة pinned
الدرس 34: الذاكرة الموحّدة (Unified Memory) مع cudaMallocManaged
الدرس 35: cuBLAS و Thrust ومتى لا تكتب kernel
الدرس 36: مشروع ختامي — تحسين kernel من الطرف إلى الطرف