Параметры генерации: управление балансом креативности и точности

Параметры генерации определяют, как модель выбирает следующий токен из распределения вероятностей. Понимание их влияния позволяет точно контролировать баланс между предсказуемостью и креативностью ответов.

Temperature: контроль случайности

Temperature масштабирует распределение вероятностей токенов перед выбором. При низких значениях (0.0–0.3) модель становится более "уверенной" — вероятность наиболее вероятных токенов увеличивается, а маловероятных уменьшается. При высоких значениях (0.7–1.5) распределение становится более равномерным, давая шанс менее очевидным вариантам.

Практический эффект: - Temperature = 0: детерминированный вывод, модель всегда выбирает наиболее вероятный токен - Temperature = 0.3: предсказуемые, точные ответы с минимальными вариациями - Temperature = 0.7: баланс между точностью и разнообразием (часто используется по умолчанию) - Temperature = 1.0+: креативные, разнообразные, но менее предсказуемые ответы

# Технический запрос
prompt = "Напиши SQL запрос для выборки пользователей старше 25 лет"
temperature = 0.1  # Нужна точность, стандартный синтаксис

# Креативный запрос
prompt = "Придумай 5 нестандартных названий для стартапа в области EdTech"
temperature = 0.9  # Нужно разнообразие и оригинальность

Top-p и Top-k: фильтрация кандидатов

Top-k sampling ограничивает выбор только k наиболее вероятными токенами. Например, при top-k=50 модель рассматривает только 50 самых вероятных следующих слов, игнорируя остальные.

Top-p (nucleus sampling) работает динамически: модель выбирает минимальный набор токенов, чья суммарная вероятность превышает порог p. При top-p=0.9 модель рассматривает наименьший набор токенов, составляющих 90% вероятностной массы.

Важно: Top-p обычно предпочтительнее top-k, так как адаптируется к контексту. Когда модель "уверена" (узкое распределение), top-p выберет меньше токенов; когда "не уверена" (широкое распределение), рассмотрит больше вариантов.

Комбинирование параметров для разных задач

Параметры работают совместно. Temperature изменяет распределение, а top-p/top-k фильтруют кандидатов из уже измененного распределения.

Рекомендации по типам задач:

Извлечение данных / Классификация:
temperature: 0.0–0.2
top-p: 0.1–0.5
Цель: максимальная детерминированность

Техническая документация / Код:
temperature: 0.2–0.4
top-p: 0.5–0.7
Цель: точность с минимальными вариациями

Диалоги / Объяснения:
temperature: 0.5–0.7
top-p: 0.8–0.9
Цель: естественность и разнообразие

Креативное письмо / Идеи:
temperature: 0.8–1.2
top-p: 0.9–0.95
Цель: оригинальность и неожиданность

Ключевые принципы

1. Начинайте с низкой temperature для новых промптов — так проще диагностировать проблемы в формулировке
2. Используйте temperature=0 для тестирования — это упрощает воспроизводимость при отладке
3. Top-p предпочтительнее top-k в большинстве случаев благодаря адаптивности
4. Документируйте оптимальные настройки для каждого типа задач в вашей системе
5. Тестируйте на граничных случаях — экстремальные значения часто выявляют неочевидные проблемы

Правильная настройка параметров может существенно улучшить качество ответов без изменения промпта, но требует систематического тестирования на реальных данных вашего use case.