A/B Эксперименты

Концепция

Модуль A/B экспериментов поможет вам тестировать разные гипотезы по улучшению опыта игрока и монетизации вашего проекта.
Каждый эксперимент делится на когорты игроков участников. Когорта - одна из групп участников эксперимента, в которую игрок попадает случайно.
Каждой когорте можно указать процент игроков, которые в нее попадут.
Когорта назначается игроку на сервере автоматически при первом входе в игру. Если вы перетасовали эксперимент, то у игрока группа изменится на следующий заход. В процессе игры во избежание казусов эксперименты не разыгрываются до повторного входа.
Когорта назначается на аккаунт игрока. При использовании разных устройств когорта будет одна и та же.
Через SDK вам доступна информация о всех экспериментах, в которых участвует игрок и в каких он когортах.
Информацию об экспериментах не нужно получать отдельным запросом, они доступны после автозагрузки игрока при старте.
Количество A/B экспериментов ограничено: 10 - при обычном плане использования, 100 - при платном плане использования.
Все эксперименты автоматически передаются в ваши системы аналитики (Яндекс.Метрика, Google.Analytics) как параметры визита и параметры событий / достижений цели.

📄️ A/B эксперименты API

Интеграция экспериментов через SDK. Методы работы.

Добавляйте эксперименты через панель управления

В разделе A/B Эксперименты проекта вы можете создавать эксперименты.

В форме добавления вы можете:

Указать тег для обращения через SDK.
Указать название для себя, чтобы удобнее ориентироваться по экспериментам.
Указать видимость. Всем игрокам или только в режиме тестирования.
Указать когорты эксперимента.

Сброс долей распределения / перетасовка

Вы можете сбросить распределение игроков по когортам или заново их перетасовать. При заходе в игру игроку заново разыграется версия эксперимента.

Это позволит вам:

Протестировать гипотезу еще раз с другим случайным распределением игроков по когортам. Так вы можете проверить были ли результаты эксперимента следствием перевеса игроков с определенными качествами в одной из когорт. Например, в эксперимент со скрытием кнопки "рестарт уровня" попали игроки с хорошим навыком игры и они меньше проигрывали и даже не видели эту кнопку.
Временно перевести игроков на основную версию / откатить эксперимент. Если по какой-то причине вы не можете снять эксперимент с публикации, вы можете установить значение основной версии в 100%, а остальных в 0% и нажать кнопку перетасовать, так вы сможете перевести всех игроков на основную версию эксперимента.
Завершить эксперимент без ожидания релиза версии с удалением кода под эксперимент. Код можно удалить позже, а перевести всех на нужную версию уже сейчас. Вы можете установить значение победившей версии в 100%, а остальных в 0% и нажать кнопку перетасовать.

Кнопка перетасовки находится внутри формы редактирования игроков:

Как разыгрывается эксперимент

Допускается указывать менее 100% суммарно по всем когортам. При таком условии когорты разыгрываются среди 100%. Если игрок не попал в когорту, то возвращается пустая когорта.

Пример:

C1 - 25%
C2 - 25%
Системой добавляется когорта CEMPTY - 50%

Тогда, при попадании в пустую когорту, значение когорты в SDK будет пустой строкой:

gp.experiments.has('OFFER_ON_START', ''); // true

info

Шанс попадания в когорту разыгрывается среди всей суммы долей когорт.

Например, вы указали каждой когорте 50%.

C1 - 50%
C2 - 50%
C3 - 50%
Всего 150%

Это значит, что у всех равная вероятность 1/3.

Пример расчета:

Система выбрасывает случайное число на интервале 0 - 150.
Выпадает 114.
Ищем на интервале кому принадлежит доля:
- C1 - [0-50)
- C2 - [50-100)
- C3 - [100-150)
- Ответ C3

Отслеживайте показатели через системы аналитики

При старте SDK посылает в системы аналитики параметры визита с указанием экспериментов игрока. Так же это происходит и при каждой отправке цели / события в аналитику.

Подробнее про настройку систем аналитики в разделе Аналитика.

С каждым действием отправляются параметры в формате "GP_AB_ваштег": "когорта".

Например: "GP_AB_OFFER_ON_START": "sale_50".

Яндекс.Метрика

Перейдите в Яндекс.Метрику, выберите счетчик вашей игры и перейдите в раздел Посещаемость.

Выберите параметры визита сначала версии А в формате:

Имя параметра: GP_AB_ваштег
Значение параметра (строка): когорта

Затем выберите Сравнить сегменты > С сегментом, заданным вручную.

Для второй версии также укажите параметры визита. В результате должно быть следующее:

Теперь вы можете посмотреть как эксперимент повлиял на отказы, время сессии.

Так же вы можете в разделе Конверсии посмотреть как изменились проценты достижения целей, если выбрать нужную группу также указав параметры визита.

Google.Analytics

Посмотрите видео и гайд как настроить сбор статистики со специальных параметров событий.

https://support.google.com/analytics/answer/10075209

Как начать

Перейдите в ваш проект в Панели GamePush;
Перейдите в раздел A/B эксперименты;
Добавьте первый эксперимент;
Ознакомьтесь с работой с экспериментами в SDK и проверяйте когорты экспериментов.

Перейти к документации по SDK 👇