Вечный A/B-тест: сохранится ли эффект после запуска?

Пользователь привыкает, учится — и попадает в новый контекст

Короткий A/B измеряет эффект за конкретный период. После запуска накапливается опыт использования, меняется аудитория, появляются соседние фичи, сезонность и маркетинг. Поэтому стартовую оценку нельзя механически умножать на годовой объем.

Soheil Sadeghi и соавторы исследуют, как меняется реакция пользователей по мере знакомства с фичей: первоначальный интерес может угасать, а польза — проявляться после освоения. Для оценки этой динамики они используют Difference-in-Differences. Sadeghi et al., Technometrics, 2022

В эксперименте Microsoft с развлекательными новостями более сильный эффект наблюдали у когорт, пришедших в недели «Грэмми» и «Оскара». Авторы предположили, что эту разницу мог объяснять повышенный интерес к развлечениям. Приписывать ее только адаптации пользователей было бы преждевременно. Dmitriev et al., IEEE Big Data, 2016 Подробнее разберем этот кейс в пятом разделе.

Кейс Pinterest добавляет третью важную мысль: эффект не обязательно стабилизируется на одной цифре навсегда. Он может снова вырасти, если меняется продукт. Долгосрочный контроль позволяет следить за тем, какую пользу фича приносит сейчас.

Из аудитории выделяют holdout — группу без новой фичи

После успешного A/B фичу запускают для основной аудитории, а небольшую случайную часть контрольной группы сохраняют для дальнейшего наблюдения. Эти пользователи по-прежнему не видят исследуемую фичу. Контроль выделяют до масштабирования: если сначала показать фичу всем, а потом кому-то отключить, прежний опыт уже мог изменить поведение.

При разном размере групп сравнивают сопоставимые показатели: например, долю активных пользователей или среднюю выручку на пользователя, а не суммарную выручку каждой группы.

Короткий A/B отвечает, есть ли эффект на старте и стоит ли запускать фичу. Долгосрочный holdout сохраняет прямую точку сравнения после масштабирования и отвечает на другой вопрос — что осталось спустя месяцы.

Случайно распределять между группами можно пользователей, магазины, товары или регионы. Почему в прайсинге разделение по пользователям подходит не всегда, разобрано в статье «Как оценить эффект динамического ценообразования».

Почему контроль обычно небольшой

Если фича полезна, пользователи в holdout остаются без нее. Поэтому компания старается оставить на старом опыте как можно меньше людей. Но слишком маленькая группа хуже различает небольшие эффекты: размер контроля — компромисс между ценой измерения для аудитории и точностью ответа.

1% Pinterest — пример, а не стандарт. В продукте со ста миллионами пользователей даже 1% означает миллион человек. Нужная доля зависит от размера аудитории, дисперсии метрики и MDE. Pinterest Engineering, 2015

Начать удобнее с вопроса: как часто бизнесу нужен достаточно точный ответ? Сам holdout может работать годами, но эффект оценивают за определенный период — например, месяц или квартал.

Чтобы заметить нужный эффект, в контроле должно набраться достаточно наблюдений. Чем меньший процент новых клиентов попадает в контроль, тем дольше набирается нужная выборка. Поэтому при одном и том же потоке клиентов для ответа через месяц может понадобиться больший процент контроля, а для ответа раз в квартал — меньший.

Допустим, каждый месяц в эксперимент впервые попадает 1 млн клиентов. Для каждого измеряют покупку в течение семи дней после включения. Бизнес хочет замечать рост конверсии с 5% до 5,3%: минимально обнаруживаемый эффект, или MDE, составляет 0,3 процентного пункта. Ниже — два варианта планирования такого измерения.

Этот пример показывает, как выбрать размер контроля. Для оценки долгосрочного поведения отдельно задают срок наблюдения за каждым клиентом.

В расчете каждый клиент дает одно независимое наблюдение: повторные визиты того же человека не увеличивают размер выборки. Квартальная оценка показывает средний эффект за квартал, а не только к его концу.

При этом даже большая выборка не заменяет времени на освоение фичи, отток или повторную покупку. Наблюдение должно охватить тот цикл поведения, эффект на который мы хотим измерить.

Тот же принцип можно применить сразу к нескольким изменениям в продукте. Например, Spotify использует квартальный holdback, чтобы оценить общий эффект фичей, запущенных за квартал. Это уже другой исследовательский вопрос — global holdout и измерение портфеля инициатив разберем отдельно. Spotify Engineering, 2020

Как сохранить корректность измерения

Что важно сохранить за месяцы наблюдения

Со временем пользователь может сменить идентификатор и получить новое назначение, очередной релиз — случайно включить фичу контролю, а изменения в сборе данных — оставить часть действий неучтенными. Поэтому проверяют стабильность назначений, фактическую доступность фичи и полноту данных. Одного SRM (Sample Ratio Mismatch) недостаточно: соотношение размеров групп может оставаться правильным даже при таких нарушениях.

Когда контроль стоит обновить

Если новых пользователей не включают в эксперимент, исходная когорта со временем может хуже представлять текущую аудиторию. Чтобы измерять эффект на сегодняшних пользователях, новичков включают по тому же случайному правилу или планируют новый цикл эксперимента. При ошибках назначения и потере данных сначала исправляют их причину. Различия в активности сами по себе не повод менять группы: это может быть эффектом фичи.

Новых пользователей можно добавлять, не меняя группы для остальных. Но при ротации пользователь может попасть в контроль после того, как уже пользовался фичей. Carryover effect — это влияние фичи, которое сохраняется после ее отключения.

Например, Amazon описывает, как изменение цены продолжает влиять на спрос в следующие дни. Поэтому в своих crossover-экспериментах компания исключает из анализа первые дни действия каждой из сравниваемых цен: цена уже изменилась, но спрос еще может зависеть от предыдущей цены. Этот период называют blackout period. Если же фича сформировала устойчивую привычку, короткого ожидания может быть недостаточно. Cooprider и Nassiri, Amazon, 2023

Как часто смотреть результаты

По календарю: ответ к назначенной дате

Эффект оценивают за заранее выбранный период — месяц, квартал или полгода. До начала измерения фиксируют метрики и необходимую выборку, а по окончании периода проводят обычный A/B-анализ. Можно наблюдать за графиком и раньше, но решение по значимости принимают по согласованному плану.

Sequential testing: решение по мере накопления данных

Иногда ждать квартального отчета неудобно: важно раньше заметить вред или получить достаточно убедительные свидетельства пользы. Представьте, что каждый день данные добавляют аргументы за наличие эффекта или против него. Последовательный тест накапливает эти свидетельства и сравнивает их с заранее заданными границами принятия решения. Слабого случайного всплеска недостаточно: правила учитывают, что попыток увидеть убедительный результат будет много.

Один из подходов — always-valid inference: p-value и доверительные интервалы строятся так, чтобы при выполнении предпосылок метода сохранять статистические гарантии и при выборе момента остановки по данным. Это позволяет смотреть результаты по ходу теста, сохраняя контроль ошибки первого рода. Подробнее об этом подходе — в работе Johari, Pekelis и Walsh.

Ранняя статистическая значимость еще не означает, что долгосрочный эффект известен: пользователям нужно время на освоение фичи, повторную покупку или продление подписки. Поэтому заранее определяют, какой цикл поведения нужно дождаться. Sequential testing позволяет раньше обнаружить эффект, но для вывода о его устойчивости наблюдение продолжают до завершения этого цикла.

Не каждое изменение эффекта — привыкание пользователей

При корректном дизайне долгосрочный holdout показывает, как меняется причинный эффект в конкретном периоде. Но увидеть изменение проще, чем объяснить его причину. За предполагаемым привыканием или обучением могут скрываться изменения аудитории, внешней среды или самого продукта.

Аудитория: пользователи привыкли к рекламе — или недовольные ушли?

В эксперименте Bing одним пользователям показывали больше рекламы, другим — меньше. Повышенная рекламная нагрузка снижала вовлеченность и увеличивала уход. Если позднее смотреть только на оставшихся, может показаться, что негативный эффект ослаб и пользователи привыкли. Среди ушедших могли оказаться люди, которых реклама раздражала сильнее всего. Тогда видимое улучшение отражает изменение состава аудитории, а не обязательно ее отношение к рекламе.

Среда: пользователи полюбили развлечения — или наступил сезон премий?

На стартовой странице Edge часть пользователей видела больше развлекательных материалов. У когорт, пришедших на пятой и седьмой неделях, позднее наблюдался более сильный «эффект обучения». На те же недели пришлись «Грэмми» и «Оскар», а интерес к развлекательным новостям действительно вырос. Различие между когортами могло возникнуть из-за календарного события, а не из-за разной длительности знакомства с продуктом.

Продукт: пользователь научился — или алгоритм изменился вместе с ним?

В другом эксперименте Bing пользователи с более качественной рекламой чаще кликали, а персонализация в ответ начала показывать им больше объявлений. Когда качество рекламы снова сравняли между группами, различие в рекламном покрытии сохранилось: алгоритм запомнил предыдущее поведение. Последующий эффект нельзя однозначно приписать обучению людей — сам продукт тоже изменил свое состояние.

Все три истории разобраны в исследовании Microsoft о ловушках долгосрочных экспериментов. Dmitriev et al., IEEE Big Data, 2016

Что проверить перед выводом об адаптации?

Сравнить отток между группами и убедиться, что ушедшие пользователи не исчезли из оценки. Проверить, сохраняется ли результат при включении разных когорт, а не только пользователей, пришедших в отдельную неделю.

Если после окончания эксперимента различия сохраняются, проверьте, не запомнил ли алгоритм поведение пользователей. Например, персонализация могла начать показывать одной группе больше рекламы. Тогда результат нельзя объяснять только привыканием людей.

Почему «вечный» A/B не обязан длиться вечно

Чтобы продолжать измерение после запуска, компания оставляет часть аудитории без исследуемой фичи и поддерживает прежний опыт. Чем дольше длится наблюдение, тем ощутимее две его цены.

Поэтому holdout не нужен каждой небольшой фиче. Он особенно полезен там, где ошибка долгосрочного прогноза способна изменить инвестиционное решение: в рекомендациях, рекламе, программе лояльности, ценовой политике или крупной ML-системе.

Сколько стоит месяц контроля?

Для компании цена контроля складывается из недополученной прибыли на группе без фичи и расходов на поддержку эксперимента. Ниже можно оценить обе составляющие за месяц.

Расчет предполагает, что доля контроля недополучает пропорциональную часть эффекта. Если вклад фичи оценивается диапазоном 6–14 млн ₽, цена месяца контроля в этом примере тоже будет диапазоном — 260–340 тыс. ₽.

Когда контроль стоит этих денег?

Если месяц контроля стоит 300 тыс. ₽, нужно понять, какое решение по результатам нового измерения может сберечь больше этой суммы. Например, вовремя отключить убыточную фичу или заменить дорогую модель более простой.

Пока эффект меняется и от следующего результата зависят наши действия, наблюдение может оправдывать расходы. Когда нужный цикл поведения уже прошел, эффект достаточно точно оценен и новые данные вряд ли изменят решение, ценность дальнейшего контроля снижается.

Однако стабилизация пользовательского поведения не гарантирует, что экономика фичи останется прежней. Например, рост конверсии может сохраняться, а дорогой инференс — перестать окупаться. Если стоимость модели или ее польза могут существенно меняться, длительный holdout помогает проверять чистый вклад фичи и вовремя замечать потери. Тогда компания платит за возможность пересмотреть решение до того, как эти потери превысят цену контроля.

Вывод

Успешный короткий тест — основание для запуска, но не гарантия постоянного эффекта. Долгосрочный holdout помогает опираться на наблюдаемую пользу фичи при пересмотре прогнозов и планировании инвестиций. Контроль стоит сохранять, пока новый результат способен повлиять на решение и оправдать цену измерения.

Коротко: частые вопросы

Никита Худов

Управляющий партнер, /strategai

Отвечает за методологию измерения финансового эффекта AI-проектов и защиту результата перед бизнесом.

Егор Тищенко

Senior ML Engineer, /strategai

Разрабатывает ML-системы, проектирует эксперименты и оценивает их влияние на финансовые показатели бизнеса.