الدرس 6: Latency مقابل Throughput — مقياسان، هدفان

يقول مهندس: 'النموذج سريع'. السؤال الأول في NVIDIA: سريع بأي معنى؟ latency (كم بسرعة تعود إجابة واحدة) أم throughput (كم إجابة في الثانية)؟ هذان هدفان مختلفان يتعارضان أحيانًا — وعليك أن تعرف أيهما تستهدف قبل أن تلمس الكود.

latency هو كم من الوقت يستغرق حتى يصل طبقك من المطبخ. throughput هو كم طبقًا يُخرج المطبخ في الساعة. يمكنك طهي أطباق كثيرة معًا (throughput مرتفع) لكن عندئذٍ ينتظر كل طبق مفرد وقتًا أطول قليلًا (latency أعلى).

Latency: الوقت الذي يستغرقه طلب واحد ليعود — من الدخل إلى الخرج. يُقاس بالميلي ثانية. حاسم لتجربة المستخدم في الزمن الحقيقي.
Throughput: كم عنصرًا/طلبًا يُعالَج في الثانية. يُقاس بـ items/sec. حاسم للمعالجة الجماعية وللتكلفة.