Lección 4: ¿Dónde 'viven' los datos? — CPU, GPU, y el viaje entre ambos
Todavía casi sin código. En la lección anterior entendimos qué es la inferencia; ahora vamos a entender dónde se ubican los datos mientras se ejecuta. Una GPU tiene su propia memoria, separada de la computadora normal. Para que trabaje con tus datos, primero tienes que enviárselos — y eso es un viaj
Un tensor es una maleta de números. La GPU es un taller gigante al otro lado de la ciudad. Para que trabaje con la maleta, tienes que enviarla hasta allá — y cada envío cuesta tiempo.
- Tensor
- Una caja de números — el tipo básico con el que trabaja la IA. Una imagen, un texto o un vector — todo se convierte en un tensor.
- Device
- El lugar donde 'vive' un tensor y donde ocurre el cómputo: 'cpu' (la memoria normal) o 'cuda' (la memoria de la GPU).
- Transferencia CPU↔GPU
- Copiar datos entre la memoria normal y la memoria de la GPU, a través de un bus llamado PCIe. Relativamente lento — se minimiza.