Prompt Engineering ו-Evals
שיעור זה עוסק בטכניקות prompt engineering ובבניית eval harness לבדיקת איכות תגובות.
כמו שסופר מנסה כמה גרסאות של פסקת פתיחה — prompt engineering מנסה ניסוחים שונים כדי לקבל את התגובה הכי טובה מה-AI.
- Few-shot
- הכללת דוגמאות ב-prompt כדי לעזור ל-LLM להבין את הפורמט הרצוי.
- Chain-of-thought
- הנחיית ה-LLM לחשוב בשלבים לפני מתן תשובה — משפרת דיוק.
- Eval harness
- מערכת אוטומטית להרצת prompts על test cases ולמדידת איכות.
- LLM-as-judge
- שימוש ב-LLM אחד לדירוג תגובות של LLM אחר.
