Prompt Engineering e Evals
Esta lição aborda técnicas de prompt engineering e a construção de um eval harness para testar a qualidade das respostas.
Assim como um escritor testa várias versões de um parágrafo de abertura — prompt engineering testa diferentes formulações para obter a melhor resposta da IA.
- Few-shot
- Incluir exemplos no prompt para ajudar o LLM a entender o formato desejado.
- Chain-of-thought
- Guiar o LLM para pensar passo a passo antes de responder — melhora a precisão.
- Eval harness
- Um sistema automatizado que executa prompts contra test cases e mede a qualidade.
- LLM-as-judge
- Usar um LLM para avaliar as respostas de outro LLM.
