שיעור 4: איפה הנתונים 'גרים'? — CPU, GPU והמסע ביניהם
עדיין כמעט בלי קוד. בשיעור הקודם הבנו מה זה inference; עכשיו נבין איפה הנתונים יושבים בזמן שהוא רץ. ל-GPU יש זיכרון משלו, נפרד מהמחשב הרגיל. כדי שהוא יעבוד על הנתונים שלך — קודם צריך לשלוח אותם אליו, וזה מסע שעולה זמן. נבין את הרעיון הזה באינטואיציה, ונכיר בעדינות את שם ההוראה שמבצעת אותו.
ה-tensor הוא מזוודה של מספרים. ה-GPU הוא בית מלאכה ענק בצד השני של העיר. כדי שיעבוד עליה, צריך לשלוח את המזוודה לשם — וכל משלוח עולה זמן.
- Tensor
- קופסה של מספרים — הטיפוס הבסיסי שבו AI עובד. תמונה, טקסט או וקטור — הכול הופך ל-tensor.
- Device
- המקום שבו ה-tensor 'גר' והחישוב קורה: 'cpu' (הזיכרון הרגיל) או 'cuda' (זיכרון ה-GPU).
- העברה בין CPU ל-GPU
- העתקת נתונים בין הזיכרון הרגיל לזיכרון ה-GPU, דרך צינור ששמו PCIe. יחסית איטית — ממזערים אותה.
