температура модели
температура — это ручка «предсказуемость против разнообразия»: на низкой модель отвечает одинаково и по делу, на высокой — вариативнее и рискованнее.
что это
модель генерирует текст, каждый раз выбирая следующее слово из нескольких вероятных. температура определяет, насколько смело она выбирает. аналогия: повар и рецепт. температура около нуля — повар готовит строго по рецепту, блюдо каждый раз практически одинаковое. высокая — импровизирует: иногда получается интереснее, иногда несъедобно.
это число задаётся в настройках при обращении к модели, обычно от 0 до 1 (у части моделей шкала шире). никакой магии: одна строчка в коде, которую подрядчик выставляет под задачу.
зачем это бизнесу
потому что задачи разные. бот отвечает на вопросы по регламенту, система вытаскивает данные из счетов — нужна низкая температура: одинаковый вопрос должен давать одинаковый ответ. генерация вариантов заголовков или идей для рассылки — можно поднять, разнообразие здесь плюс. типовая ошибка — «креативная» температура в боте поддержки: бот каждый раз отвечает чуть по-разному, тестировать невозможно, клиенты получают разные условия. если ваш ии-инструмент «плавает» в ответах — первым делом стоит спросить именно про эту настройку.
о чём спросить подрядчика
- «какая температура стоит и почему именно такая?» — для извлечения данных и ответов по базе ожидаете услышать «ноль или около». ответ «дефолтная, не трогали» означает, что параметр не осознан.
- «как вы проверяете, что на одинаковых вопросах бот отвечает одинаково?» — воспроизводимость ответов — база для тестирования. если её не меряют, любой «мы всё протестировали» — на глазок.
термины — это карта. дорогу строим на разборе
словарь помогает не потеряться в разговоре с подрядчиком. а какие процессы в вашей компании автоматизировать первыми и что это даст в деньгах — это разбор за 25 000 ₽: смотрю процессы, считаю эффект, отдаю карту внедрения. фикс-цена, без «менеджер свяжется».