Aula 2: Por que uma GPU? Throughput vs. Latência

Uma CPU tem poucos núcleos muito poderosos que terminam uma única tarefa rapidamente — isso é latência baixa. Uma GPU tem milhares de núcleos simples que realizam a mesma operação em muitos dados ao mesmo tempo — isso é throughput alto. Para somar dois vetores de um milhão de elementos, a CPU percor

Uma CPU é como alguns chefs experientes cozinhando um prato complexo rapidamente. Uma GPU é como mil cozinheiros de linha, cada um cortando um tomate — sozinho, cada um é lento, mas juntos eles cortam mil tomates no tempo de um só.

throughput: A quantidade de trabalho concluída por unidade de tempo. A GPU vence aqui: muitas operações idênticas em paralelo.
latência: O tempo para terminar uma única operação. A CPU vence aqui: um núcleo forte termina uma tarefa rapidamente.
kernel: Uma função que roda na GPU. Marcada com __global__ e lançada por milhares de threads ao mesmo tempo.
SIMT: Single Instruction, Multiple Threads — todas as threads executam a mesma instrução, cada uma em dados diferentes.