a/b-тест

что это

a/b-тест — способ разрешать споры данными: делите поток пополам, одной половине показываете старый вариант, другой — новый, сравниваете метрики. аналогия: два рецепта в кафе. можно месяц спорить на кухне, какой борщ лучше, а можно неделю подавать оба разным столикам и посчитать, какой заказывают повторно.

ключевое условие — одновременность. сравнение «в марте без бота, в апреле с ботом» — не a/b-тест: между мартом и апрелем изменилось ещё сто вещей, от сезона до рекламного бюджета. честный тест гоняет оба варианта параллельно на случайно поделённом потоке.

зачем это бизнесу

в ии-проектах a/b-тест — противоядие от главной болезни: эффектов «по ощущениям». бот против живых менеджеров на половине заявок — и через месяц у вас конверсия, средний чек и скорость ответа по обеим группам, а не мнения. новый промпт против старого — цифры вместо «вроде отвечает лучше». это же защищает и от обратной ошибки — свернуть работающее: иногда «клиенты жалуются на бота» — это три громких письма при выросшей конверсии. границы честности: тесту нужен объём — на потоке в двадцать заявок в месяц разница не наберёт статистики, и придётся решать по качественным признакам, это нормально, просто называйте вещи своими именами.

о чём спросить подрядчика

• «как мы узнаем, что внедрение сработало — с чем и как сравниваем?» — правильный ответ содержит контрольную группу или хотя бы честную методику сравнения, а не «замерим после запуска».
• «какой объём потока нужен, чтобы разница была значима?» — тот, кто гонял тесты, оперирует этим свободно. тот, кто нет, скажет «посмотрим недельку».