Prompt Engineering y Evals
Esta lección trata sobre técnicas de prompt engineering y cómo construir un eval harness para evaluar la calidad de las respuestas.
Como un escritor que prueba varias versiones de un párrafo de apertura — el prompt engineering prueba distintas formulaciones para obtener la mejor respuesta de la IA.
- Few-shot
- Incluir ejemplos en el prompt para ayudar al LLM a entender el formato deseado.
- Chain-of-thought
- Guiar al LLM para que piense paso a paso antes de responder — mejora la precisión.
- Eval harness
- Un sistema automatizado que ejecuta prompts contra test cases y mide la calidad.
- LLM-as-judge
- Usar un LLM para calificar las respuestas de otro LLM.
