Урок 16: элементы управления генерацией — регуляторы, которые настраивает разработчик
До сих пор мы улучшали сам промпт — слова. Но у разработчика есть ещё несколько «регуляторов», которые меняют то, как модель генерирует ответ, не трогая формулировку: temperature (насколько творчески или стабильно), максимальная длина (насколько длинным будет ответ) и стоп-последовательность (где ос
Как регуляторы на устройстве: temperature — это регулятор творчества (низкое = стабильно и предсказуемо, высокое = разнообразно и неожиданно), максимальная длина ограничивает длину ответа, а стоп-последовательность говорит «остановись здесь».
- temperature
- Регулятор творчества модели: низкое значение даёт стабильные, предсказуемые ответы; высокое значение даёт более разнообразные, неожиданные.
- максимальная длина
- Ограничение на длину ответа — максимум, который модели разрешено сгенерировать, прежде чем она остановится.
- стоп-последовательность
- Условленный маркер, который, как только модель его выдаёт, заставляет её остановиться — способ обрезать ответ в точном месте.