Наблюдаемость и безопасность ИИ

Этот урок охватывает мониторинг ИИ-систем с помощью Langfuse и защиту от рисков безопасности.

Как врач, следящий за жизненными показателями, — наблюдаемость ИИ отслеживает задержку, стоимость и ошибки в LLM, чтобы заметить проблемы до того, как их почувствуют пользователи.

Langfuse: Платформа наблюдаемости LLM, которая записывает трейсы, задержку и стоимость каждого вызова.
Prompt injection: Попытка пользователя переопределить системный промпт через пользовательское сообщение.
Утечка PII: Утечка персонально идентифицируемой информации (имена, email, банковские карты) через ответы ИИ.
Злоупотребление затратами (cost abuse): Злоупотребление API путём отправки чрезмерного числа запросов, вызывающих неконтролируемые затраты.