שיעור 0: למה צריך שכבת AI ייעודית?

פרויקט AI מתחיל בקטן: קומפוננטה אחת קוראת ל-LLM API ישירות, וזה עובד מצוין. אז מוסיפים תכונה שנייה — צ'אטבוט תמיכה, למשל — וקוראים לאותו API שוב, ממקום אחר לגמרי בקוד. ואז תכונה שלישית. עכשיו יש שלוש קריאות ישירות למודל, כל אחת עם ההגדרות וההנחות שלה. ואז המציאות דופקת בדלת: ספק אחד יקר מדי או לא מס

כמו תחנת שירות אחת שמכינה כל מנה במסעדה, במקום ששלושה טבחים יאלתרו כל אחד בפינה שלו — כשמחליטים לשנות מרכיב, משנים במקום אחד ולא בשלוש פינות שונות.

שכבת AI: מודול ייעודי אחד שמרכז את כל הקריאות למודל שפה, את שליפת המידע (retrieval) ואת בניית הפרומפט, כך ששאר האפליקציה פונה אליו בלי לדעת אילו פרטים פנימיים משתנים.
Guardrails: מנגנוני הגנה שמונעים ממשתמש לתמרן את הפרומפט כדי לחשוף הוראות מערכת או לגרום למודל לפעול בניגוד לכוונה המקורית.
Fallback ו-Retry: לוגיקה שמנסה שוב או עוברת לספק חלופי כאשר קריאה למודל נכשלת או מחזירה שגיאה זמנית.
Observability: היכולת לראות מה בדיוק נשלח למודל ומה חזר ממנו — חיונית לניפוי תקלות ולמעקב אחר עלות ואיכות.