שיעור 2: מה זה GPU, ולמה לא סתם CPU?

שמעת ש-AI 'רץ על GPU' אבל לא בטוח/ה מה זה או למה? מצוין — אין כאן קוד. נבין בפשטות מה ההבדל בין CPU (המוח הרגיל של המחשב) ל-GPU (כרטיס המסך), ולמה דווקא ה-GPU מתאים כל כך להרצת מודלים. רמז: הכול עניין של לעשות המון דברים קטנים בו-זמנית.

CPU הוא שף מומחה אחד — מעולה למנה מורכבת אחת. GPU הוא אלף טבחי קו — מעולים להכין אלף מנות פשוטות וזהות בבת אחת.

CPU: המעבד הרגיל של המחשב. כמה ליבות חזקות וחכמות, מצוינות במשימה מורכבת אחת בכל פעם.
GPU: כרטיס המסך. אלפי ליבות פשוטות שעובדות יחד בו-זמנית — מצוין להמון עבודה פשוטה במקביל.
מקביליות (parallelism): לעשות הרבה דברים באותו זמן במקום בזה אחר זה. ה-GPU בנוי בדיוק לזה.