Prompt engineering et evals

Cette leçon couvre les techniques de prompt engineering et la construction d'un eval harness pour tester la qualité des réponses.

Comme un écrivain qui essaie plusieurs versions d'un paragraphe d'ouverture — le prompt engineering teste différentes formulations pour obtenir la meilleure réponse de l'IA.

Few-shot: Inclure des exemples dans le prompt pour aider le LLM à comprendre le format souhaité.
Chain-of-thought: Guider le LLM pour qu'il réfléchisse étape par étape avant de répondre — améliore la précision.
Eval harness: Un système automatisé qui exécute des prompts sur des cas de test et mesure la qualité.
LLM-as-judge: Utiliser un LLM pour noter les réponses d'un autre LLM.