Промпт-инжиниринг и оценки (evals)

Этот урок охватывает техники промпт-инжиниринга и построение eval-обвязки для проверки качества ответов.

Как писатель, пробующий несколько версий вступительного абзаца, — промпт-инжиниринг проверяет разные формулировки, чтобы получить лучший ответ ИИ.

Few-shot: Включение примеров в промпт, чтобы помочь LLM понять желаемый формат.
Chain-of-thought: Направление LLM думать шаг за шагом перед ответом — повышает точность.
Eval-обвязка (eval harness): Автоматизированная система, которая прогоняет промпты на тестовых сценариях и измеряет качество.
LLM-as-judge: Использование одной LLM для оценки ответов другой LLM.