Реализация функции с ИИ — потоковая передача
В этом уроке рассматривается реализация потоковой передачи ответов ИИ с помощью SSE и ReadableStream.
Как просмотр фильма в потоковом режиме без ожидания полной загрузки, — потоковая передача ИИ возвращает слова по мере их поступления, не дожидаясь полного ответа.
- SSE
- Server-Sent Events — односторонний протокол HTTP для отправки событий от сервера к клиенту.
- ReadableStream
- Web API для потоковой передачи, позволяющий читать данные фрагментами по мере их поступления.
- Backpressure (обратное давление)
- Механизм, замедляющий производителя, когда потребитель не успевает обрабатывать данные достаточно быстро.
