מימוש פיצ'ר AI — Streaming
שיעור זה עוסק בממשים streaming של תשובות AI עם SSE ו-ReadableStream.
כמו שראיית סרט streaming לא מחכה שהסרט כולו יוריד — streaming AI מחזיר מילים מיד כשהן מגיעות ולא מחכה לתגובה שלמה.
- SSE
- Server-Sent Events — פרוטוקול HTTP חד-כיווני לשליחת אירועים מserver ל-client
- ReadableStream
- Web API ל-streaming שמאפשר קריאת נתונים בחלקים (chunks) כשהם מגיעים
- Backpressure
- מנגנון שמאט את ה-producer כש-consumer לא מסוגל לעבד מהר מספיק
