Кейсы увеличения конверсии на модели посетителя

Почему "наивное" предположение в MVT о независимости факторов не работает

Мы оптимизируем лендинги, предполагая, что существуют "триггерные" комбинации значений факторов, которые конвертируют посетителя в покупателя гораздо лучше, т.е. факторы могут быть зависимыми между собой, их значения могут иметь совместное влияние на конверсию гораздо более сильное, чем по отдельности.

Однако, это не единственный вариант: действительно, многие факторы могут не иметь взаимного влияния с другими - например, факторы, отвечающие за визуальное оформление, размер, цвет, шрифт, положение элементов на странице.

Многие предполагают, что если мы имеем дело с такими независимыми факторами, никакие ухищрения не нужны и решить задачу можно таким простым образом:

1. Сделать тест, показывая случайные значения факторов, набрать "достоверное" число конверсий в сумме (рекомендуемое около 100)
2. Анализировать каждый отдельный фактор, игнорируя значения остальных, считая их серой массой. Итого, по каждому фактору отдельно оптимальное значение находится по бОльшей conversion rate.

Проблема в том, что даже если предположение о независимости факторов верно - в очень многих случаях задача будет не решена. Причина в том, что при увеличении количества факторов в собираемые данные вносится все бОльшая неопределенность, и влияние всех остальных факторов становится более сильным, чем влияние одного анализируемого фактора. Проблема в том, что очень часто нельзя считать остальные факторы серой массой.

Покажем, в каких случаях этот "наивный" метод не работает: сделаем модель на независимых факторах, проведем 100 численных тестов - и увидим, в каком числе случаев "лучшая" наивная комбинация угадана.

Модель со средним геометрическим

Пусть есть F факторов, у каждого V значений. Каждому значению приписано некое число, имеющее смысл conversion rate (CR) в отрыве от остальных значений. Для расчета общей конверсии набора значений мы используем среднее геометрическое (корень F-й степени из произведения CR по всем выбранным значениям). Наборы CR значений для всех факторов одинаковы.

Пример: три фактора, у каждого два значения с CR: 0.1 и 0.2 (первое значение 10% и второе значение 20%, одинаковы по всем факторам). Пусть мы увидели показанную комбинацию 112. Тогда ее конверсия будет равна (0.1*0.1*0.2)^^1/3=0.12599. В этом случае худшая конверсия будет у комбинации 111 (CR=0.1), а лучшая у комбинации 222 (CR=0.2).

Численный эксперимент проводим так: генерируем показы комбинаций со случайными значениями факторов, по выбранной комбинации считаем вероятность конверсии, в соотвествии с этой вероятностью "делаем" действие либо нет, в сумме накапливаем 100 действий, смотрим, какая комбинация стала самой лучшей. Делаем 100 таких прогонов, считаем, в каком числе случаев мы найдем самую лучшую комбинацию.

Что мешает угадыванию лучшей комбинации? Результаты 100 численных тестов

Слабое отличие в конверсиях отдельных значений

Чем сильнее отличаются друг от друга CR разных значений, тем лучше результат. Итак, та же модель: 3 фактора, 2 значения у каждого, но мы рассмотрим несколько разных пар с сильным и слабым различием в конверсии (средняя конверсия все время одинакова и равна 0.15). Число просмотров до набора 100 действий - около 750.

Мы используем четыре варианта: от варианта с очень сильным отличием CR (5% и 25%, в пять раз) до варианта с более слабым отличием (12% и 18%, в полтора раза), средняя конверсия всегда 15%:

Мы видим, что для случая с отличием CR в пять раз мы угадываем в 99% случаев. Но в жизни на такое сильное отличие в эффективности рассчитывать не приходится, конечно. Второй случай - с отличием в два раза - дает 75% попаданий. Третий случай - с отличием в полтора раза - меньше половины попаданий. Но ведь и отличие в полтора раза между значениями - это довольно много! В реальности это отличие будет меньше, и вероятность угадывания лучшего лендинга - еще меньше.

В данном случае каждое значение был показано около 370 раз, в последней строке приведена вероятность того, что две пары (число действий / число просмотров) порождены разными распределениями, если бы эта вероятность была бы ниже 95%, следовало бы увеличить количество конверсий (100), которое мы собираем.

Увеличение числа факторов

Зафиксируем число значений (2) и зафиксируем CR для этих двух значений: 10% и 20% (средний вариант). Отличие в два раза довольно сильное. Будем проводить тесты для разного числа факторов - от 3 до 6:

Мы видим, что с ростом числа факторов падает вероятность угадать лучшую комбинацию: от 75% для 3 факторов до 18% для 6 факторов. Число факторов 6 вполне разумное, а попадание уже неудовлетворительное.

Увеличение числа значений

Зафиксируем число факторов (3) и будем изменять число значений от 2 до 5. При этом возьмем за базовый вариант с ОЧЕНЬ сильным отличием CR (5% и 25%), а дополнительные CR будем делать таким образом, чтобы во всех случаях средняя конверсия была бы 15%:

Аналогично, при увеличении числа разных значений даже для ОЧЕНЬ сильного отличия CR - вероятность успешного угадывания очень быстро падает.

Итог: "наивный" подход тоже имеет свои подводные камни и его не стоит использовать для такой оценки.

Мы увидели, как падает вероятность успешного угадывания лучшей комбинации при накоплении случайной статистики даже при независимости факторов. А если одновременно будет низкое различие в эффективности значений, увеличение числа значений и факторов - "наивный метод" просто становится бесполезным.

И хотя можно преодолеть эту неопределенность увеличением количества собранной статистики, нужное число собранных действий будет очень большим. И при этом заранее нельзя его предсказать, т.к. оно зависит от отличия в CR отдельных значений, а его никто не знает.

А вот с помощью KONVR - эта задача стабильно решается, и при гораздо бОльших числах факторов и значений.