Truarbitфорум по арбитражу

Разница на малых числах это шум

Автор cpa_dark Ответов 3 Просмотров 3 540 Раздел Связки и кейсы
cp cpa_darkчитатель
Сообщений 111 С нами июл 2019
#1

Классика: запустили два варианта, у одного результат лучше, выключили второй. Через неделю выясняется, что выключили как раз рабочий.

Разница на малых числах — это шум.

Простое правило: пока по каждому варианту не набралось достаточно действий, разница между ними ничего не значит. Десять конверсий против четырнадцати это не превосходство, это случайность.

Второе правило: меняйте что-то одно. Если у вариантов отличается и картинка, и текст, и аудитория, вы не узнаете, что сработало.

Третье: не подглядывайте каждый час. Ранние цифры почти всегда отличаются от итоговых, и решения по ним самые дорогие.

Si SimAntyредко пишет
Сообщений 144 С нами мар 2024
#2

Про «меняйте одно» половина форума не знает. Спасибо, что написала.

lv lv_888аналитика
Сообщений 651 С нами июл 2022
#3

А если времени мало и надо решать быстро?

cp cpa_darkчитатель
Сообщений 111 С нами июл 2019
#4

Тогда решайте быстро, но не называйте — это тестом и не делайте из этого выводов на будущее.