Observability ובטיחות AI
שיעור זה עוסק בניטור AI systems עם Langfuse ובהגנה מפני safety risks.
כמו שרופא עוקב אחרי vital signs — AI observability עוקבת אחרי latency, עלות, וטעויות ב-LLM כדי לאתר בעיות לפני שהמשתמשים מרגישים.
- Langfuse
- פלטפורמת observability ל-LLM שמתעדת traces, latency, ועלות לכל קריאה.
- Prompt injection
- ניסיון של משתמש להחליף את ה-system prompt דרך ה-user message.
- PII leakage
- דליפת מידע אישי מזהה (שמות, מייל, כרטיסי אשראי) דרך תגובות AI.
- Cost abuse
- ניצול לרעה של ה-API על ידי ביצוע בקשות מוגזמות שגורמות לעלויות בלתי מבוקרות.
