שיעור 0: למה צריך שכבת AI ייעודית?
פרויקט AI מתחיל בקטן: קומפוננטה אחת קוראת ל-LLM API ישירות, וזה עובד מצוין. אז מוסיפים תכונה שנייה — צ'אטבוט תמיכה, למשל — וקוראים לאותו API שוב, ממקום אחר לגמרי בקוד. ואז תכונה שלישית. עכשיו יש שלוש קריאות ישירות למודל, כל אחת עם ההגדרות וההנחות שלה. ואז המציאות דופקת בדלת. ספק אחד יקר מדי או לא מס
כמו תחנת שירות אחת שמכינה כל מנה במסעדה, במקום ששלושה טבחים יאלתרו כל אחד בפינה שלו — כשמחליטים לשנות מרכיב, משנים במקום אחד ולא בשלוש פינות שונות.
- שכבת AI
- מודול ייעודי אחד שמרכז את כל הקריאות למודל שפה, את שליפת המידע (retrieval) ואת בניית הפרומפט, כך ששאר האפליקציה פונה אליו בלי לדעת אילו פרטים פנימיים משתנים.
- Guardrails
- מנגנוני הגנה שמונעים ממשתמש לתמרן את הפרומפט כדי לחשוף הוראות מערכת או לגרום למודל לפעול בניגוד לכוונה המקורית.
- Fallback ו-Retry
- לוגיקה שמנסה שוב או עוברת לספק חלופי כאשר קריאה למודל נכשלת או מחזירה שגיאה זמנית.
- Observability
- היכולת לראות מה בדיוק נשלח למודל ומה חזר ממנו — חיונית לניפוי תקלות ולמעקב אחר עלות ואיכות.