Урок 4: Где «живут» данные? — CPU, GPU и путешествие между ними

Кода по-прежнему почти нет. В прошлом уроке мы поняли, что такое инференс; теперь мы поймём, где находятся данные во время его выполнения. У GPU есть собственная память, отдельная от обычного компьютера. Чтобы он работал с вашими данными, вы сначала должны отправить данные туда — а это путешествие,

Тензор — это чемодан чисел. GPU — гигантская мастерская на другом конце города. Чтобы он поработал с чемоданом, вы должны отправить его туда — а каждая отправка стоит времени.

Тензор: Коробка чисел — базовый тип, с которым работает ИИ. Изображение, текст или вектор — всё становится тензором.
Устройство: Где тензор «живёт» и происходят вычисления: 'cpu' (обычная память) или 'cuda' (память GPU).
Передача CPU↔GPU: Копирование данных между обычной памятью и памятью GPU по шине под названием PCIe. Относительно медленно — вы минимизируете это.