Leçon 9 : le batching — comment augmenter le débit
Faire tourner une image à la fois, c'est gaspiller le GPU : ses milliers de cœurs restent presque inactifs. Le batching est l'outil le plus puissant pour le débit — on empile de nombreuses entrées dans un seul batch, et un unique lancement de kernel remplit le GPU. Dans cette leçon, on voit comment
Faire tourner un élément à la fois, c'est comme envoyer un bus vide avec un seul passager, encore et encore. Le batching, c'est remplir le bus avant qu'il ne parte — même trajet, beaucoup plus de passagers.
- Batch
- Un groupe d'entrées exécutées ensemble en un seul lancement de kernel. La dimension du batch est la première dimension du tensor.
- Utilisation du GPU
- La proportion des cœurs du GPU réellement occupés. Un petit batch = faible utilisation ; un gros batch les remplit.
