Aula 4: Onde os dados 'moram'? — CPU, GPU e a viagem entre eles

Ainda quase sem código. Na aula passada entendemos o que é inferência; agora vamos entender onde os dados ficam enquanto ela roda. Uma GPU tem sua própria memória, separada do computador comum. Para que ela trabalhe com seus dados, você primeiro precisa enviá-los até lá — e essa é uma viagem que cus

Um tensor é uma mala de números. A GPU é uma oficina gigante do outro lado da cidade. Para que ela trabalhe na mala, você precisa enviá-la para lá — e cada envio custa tempo.

Tensor: Uma caixa de números — o tipo básico com o qual a IA trabalha. Uma imagem, texto ou vetor — tudo se torna um tensor.
Device: O lugar onde o tensor 'mora' e onde o cálculo acontece: 'cpu' (memória comum) ou 'cuda' (memória da GPU).
Transferência CPU↔GPU: Copiar dados entre a memória comum e a memória da GPU, por um barramento chamado PCIe. Relativamente lento — você minimiza isso.