Прайсинг работает? Как доказать эффект динамического ценообразования в деньгах

Коротко. Эффект динамического ценообразования нельзя оценить сравнением «до и после»: рост прибыли после запуска смешивает новые цены с сезонностью, промо и спросом. Нужен ценовой эксперимент — кластерный A/B-тест, где серия товаров × регион вместе с субститутами целиком попадает в тест или контроль, заранее выбранная метрика (недельная валовая прибыль) и оценка difference-in-differences (разность разностей) на 8 неделях истории. Масштабируют по доверительному интервалу, MDE и бизнес-порогу окупаемости.

Эта статья о реальном пилоте динамического ценообразования у крупного ритейлера. Мы не раскрываем клиента и нормируем цифры, но сохраняем логику проекта, эксперимента и принятия решения.

Каждую неделю система динамического ценообразования заново искала баланс цены и спроса

Для крупного ритейлера мы разработали систему динамического ценообразования. Она использовала историю продаж, цен, скидок и сезонности, чтобы оценить, как спрос отреагирует на разные варианты цены.

Раз в неделю алгоритм формировал новые цены: не просто повышал или снижал их, а искал вариант с наибольшей ожидаемой валовой прибылью. При этом он учитывал реакцию спроса и бизнес-ограничения: высокая цена бесполезна, если из-за нее покупатели перестают покупать.

Пилот проходил на ограниченном периметре: выбранных товарных сериях и регионах. Часть единиц получала еженедельные цены алгоритма, сопоставимая часть продолжала работать по прежней ценовой политике.

По итогам бизнесу предстояло решить, стоит ли масштабировать новую ценовую политику на больший ассортимент и географию, доработать ее или остановить. Для этого было мало показать, что система умеет менять цены: нужно было оценить дополнительную валовую прибыль и сопоставить ее со стоимостью разработки, внедрения и эксплуатации.

Главный вопрос — какую часть финансового результата создали именно новые цены, а не сезонность, промо или изменение спроса. Прежде чем разобрать этот вопрос в разделе 3, нужно договориться, что именно считать финансовым эффектом.

У прайсинга нет одной правильной метрики

Цена воздействует на бизнес через два рычага. Чем она выше, тем больше компания зарабатывает на одной продаже — но тем меньше покупателей могут согласиться на покупку. Более низкая цена способна разогнать объем, но снизить прибыль на каждой единице.

Поэтому универсальной метрики успеха для прайсинга нет. Она должна следовать из бизнес-задачи. Если приоритет — рост оборота или ускорение продаж, основной метрикой может быть выручка или GMV; если задача — финансовый результат, логичнее смотреть на валовую или маржинальную прибыль. В отдельных сценариях важны оборачиваемость, доля проданного запаса или другие ограничения бизнеса.

Ключевой принцип другой: primary metric выбирают до эксперимента и связывают с конкретной целью пилота. Иначе после запуска легко найти показатель, по которому результат выглядит выигрышно.

Нормированный пример показывает эту ловушку:

Продажи выросли, выручка тоже. Но валовая прибыль снизилась. Это не означает, что выручка сама по себе «неправильная» метрика: она была бы уместна для другой бизнес-цели. Проблема возникает, когда критерий успеха выбирают уже после того, как увидели результат.

Главный результат оцениваем по валовой прибыли

Цель пилота — понять, приносит ли новая ценовая политика бизнесу дополнительную прибыль. Поэтому главным показателем выбрали недельную валовую прибыль. В упрощенном виде это сумма маржи всех заказов в экспериментальном периметре:

Метрика объединяет оба эффекта новой цены: изменение дохода с одной единицы и реакцию спроса. А главное — переводит результат в рубли, которые можно связать с P&L.

Продажи, выручку и другие показатели при этом продолжают отслеживать как guardrail-метрики — защитные ограничения для решения. Они не заменяют главный критерий успеха, но показывают, не достигнут ли рост прибыли неприемлемой ценой.

Например, до запуска можно зафиксировать правило: масштабировать новую ценовую политику только в том случае, если валовая прибыль выросла, а количество проданных товаров снизилось не более чем на 5%.

Расчет ведется по каждой единице эксперимента за неделю. В него одинаково попадают тест и контроль, в том числе периоды с нулевыми продажами. Нельзя считать прибыль только на проданных товарах или на один заказ: новая цена сама влияет на то, какие товары будут куплены и сколько покупок состоится.

Количество продаж, выручка, средняя цена и маржинальность остаются диагностическими метриками. Они нужны, чтобы объяснить механизм результата — прибыль выросла благодаря более высокой марже, дополнительному объему или изменению товарного микса. Но решение по пилоту принимается по заранее выбранной основной метрике.

Формула этой метрики, периметр товаров и правила обработки данных фиксируются до запуска. Иначе после эксперимента всегда можно выбрать показатель, который выглядит лучше остальных.

+12% после запуска — еще не эффект прайсинга

Самый простой способ оценить пилот — взять среднюю прибыль до запуска, сравнить с прибылью после и записать разницу в эффект.

Допустим, до пилота тестовый ассортимент приносил в среднем 100 условных единиц валовой прибыли в неделю, а после запуска — 112:

Проблема в том, что за эти недели изменилась не только ценовая политика. Рассмотрим два сценария с тем же фактическим результатом теста.

В первом сценарии почти весь рост наблюдается и без нового прайсинга: общая динамика дала +9%. На долю ценовой политики остается около 3 п.п.

Во втором сценарии сопоставимые товары выросли на 16%, а тест — только на 12%. Те же «+12% после запуска» теперь означают отрицательный результат относительно контрфакта.

За время пилота меняются сезонность, реклама, промо, наличие и товарный микс. Даже длинный период «до» не решает проблему: он показывает историю, но не отвечает на вопрос, что произошло бы с тестовыми товарами именно в недели пилота.

Для этого нужна контрольная группа, которая живет в то же календарное время и сталкивается с теми же внешними изменениями, но продолжает работать по старой ценовой политике.

Сравнение «до/после» остается полезным для диагностики динамики и аномалий. Но использовать его как итоговую оценку финансового эффекта нельзя: «до и после» без контрольной группы — первая из пяти ошибок в нашей методике расчета финэффекта от ИИ.

«До и после» показывает, как изменился бизнес. Эксперимент должен показать, какая часть этого изменения появилась благодаря новым ценам.

Что делить на тест и контроль — зависит от задачи

Рандомизировать покупателей в прайсинге можно. Такой дизайн подходит, например, для персонализированных цен, купонов или промо, когда условие изначально назначается конкретному клиенту и его можно стабильно сохранять в одной группе.

В нашем пилоте задача была другой: проверить новую общую ценовую политику для ассортимента. Цена была свойством товара в конкретном регионе, а не персональным предложением. Деление покупателей не повторяло бы реальную механику решения.

Более того, один и тот же человек мог зайти с разных устройств или каналов и увидеть обе цены. Тогда воздействие смешивалось бы между группами, а эксперимент отвечал бы не на тот бизнес-вопрос.

Как разбили ассортимент в пилоте

Единицей рандомизации стала товарная серия × регион: серия похожих товаров в одной географической ценовой зоне. Вся такая единица целиком попадала либо в тест, либо в контроль.

Тест и контроль формировали примерно 50/50 отдельно внутри каждого региона. При распределении учитывали масштаб и исходные показатели товарных серий, чтобы до запуска группы были сопоставимы.

Такое разбиение решает три задачи:

1. Похожие товары одной серии не оказываются по разные стороны эксперимента.
2. Новая и старая ценовые политики сравниваются внутри сопоставимого товарного контекста.
3. Учитывается региональная ценовая логика: одна и та же серия в разных регионах может иметь разный уровень спроса и цены.

SKU (Stock Keeping Unit) — отдельная товарная позиция: конкретная модель, размер, цвет или комплектация с собственным артикулом.

Это spillover, или интерференция: изменение в тесте влияет на результат контроля. После эксперимента переток можно оценить лишь частично и при сильных допущениях о связях между товарами — надежнее объединить связанные товары до рандомизации.

Каннибализация: когда контроль перестает быть контролем

Один из главных источников spillover в прайсинге — каннибализация. Если алгоритм снизил цену одного товара, покупатель может выбрать его вместо похожего. Тогда цена изменилась только в тесте, но спрос — и в контроле.

Для бизнеса такое перераспределение может быть важной частью эффекта. Но если товары-субституты разнесены между test и control, нельзя отделить изменение общей прибыли от перетока продаж между плечами. Оценка может сместиться к нулю, завыситься или даже сменить знак — направление зависит от ценового сценария и метрики.

В статье Science of price experimentation at Amazon эту проблему формулируют как нарушение ожидания, что control не затронут воздействием. В разобранном авторами эксперименте каннибализация снижала продажи в control, поэтому наивная DiD-оценка завышала эффект. В их симуляциях кластерная рандомизация снижала смещение в среднем на 30% относительно наивного подхода, но стандартное отклонение оценки в среднем удваивалось, а мощность падала (Cooprider, Nassiri, Business Economics, 2023).¹

Как найти субституты до запуска

Сначала по товарным характеристикам и экспертной логике формируют пары товаров, между которыми возможно переключение спроса. Затем связь проверяют на истории:

• Перекрестная ценовая эластичность. Растет ли спрос на товар B, когда цена товара A повышается. Устойчивая положительная связь — признак субститутов. Amazon берет кандидатов из внутреннего сервиса субститутов, а затем отбирает значимые субституты и комплементы Poisson-моделью перекрестной эластичности примерно на годе истории.¹
• Естественные ценовые изменения. После акций или изменений прайс-листа смотрят, перетек ли спрос к похожим товарам после учета сезонности, промо и наличия.
• Поведение покупателей. Если доступны данные о просмотрах, сравнениях или переходах между товарами, они дают дополнительный сигнал замещения.

Найденные связи представляют как граф: узлы — товарные серии, ребра — подтвержденное замещение. Связанные серии объединяют в блок, и весь блок субститутов × регион целиком попадает либо в test, либо в control. Так переток остается внутри одной группы и учитывается в общем финансовом результате. Amazon использует тот же принцип: кластеру субститутов или комплементов назначается одна и та же политика.¹

Почему не switchback

Альтернативный дизайн — switchback² или crossover: один и тот же товар или кластер в разные периоды работает то по новой, то по старой политике. Такой подход может заметно повысить точность, потому что каждый объект становится контрольным сравнением для самого себя. В экспериментах Amazon crossover-дизайн сокращал стандартные ошибки примерно на 40–50% (Cooprider, Nassiri, Business Economics, 2023); carryover — влияние цены предыдущего периода на последующий спрос — авторы гасили, исключая из анализа переходный период в начале каждой половины эксперимента.¹

Для товаров с длинным циклом выбора это ограничение особенно важно. Покупатель может увидеть цену, несколько дней или недель сравнивать варианты и вернуться уже после переключения политики. Тогда продажи в условно контрольной неделе все еще зависят от цены, показанной в тестовой. Частое переключение цен также ухудшает интерпретируемость клиентского опыта.

Поэтому для пилота выбрали time-bound дизайн: кластер получает одну политику и сохраняет ее на всем протяжении эксперимента. Это жертвует частью потенциальной точности switchback, но снижает риск carryover и смешивания воздействий во времени.

Хорошая единица рандомизации — это граница, через которую эффект новой цены не перетекает из теста в контроль.

До запуска нужно зафиксировать не только группы, но и правила сравнения

После формирования кластеров тест и контроль нужно сбалансировать. Для этого используют стратификацию по ключевым характеристикам до запуска — например, прошлой прибыли, размеру кластера и региону. Это снижает риск, что в тест случайно попадет заметно больше крупных или быстро растущих серий.

Сопоставимыми должны оставаться не только группы, но и их состав

Есть нетривиальный момент: товарная серия во время пилота не обязана оставаться неизменной. Одни SKU могут появиться в ассортименте, другие — выбыть, попасть в распродажу или получить уценку. Такие изменения сами по себе влияют на продажи и прибыль.

Например, если в контрольной серии появились новые популярные товары, а в тестовой — нет, контроль может вырасти не из-за старой ценовой политики, а из-за обновления ассортимента. Без отдельного контроля этого фактора анализ может ошибочно приписать разницу прайсингу.

Поэтому до запуска нужно зафиксировать не только сами серии, но и правила работы с изменениями их состава: как учитывать новые, выбывшие и уцененные SKU. Эти правила должны быть одинаковыми для теста и контроля и не меняться после того, как команда увидела результаты.

Like-for-Like означает, что мы сравниваем сопоставимый состав ассортимента, а не смешиваем эффект цены с эффектом появления или исчезновения товаров.

История до запуска помогает точнее оценить эффект

Рандомизация создает честное сравнение теста и контроля, но сама по себе не гарантирует точную оценку. У товарных серий разные исходные уровни прибыли, а недельные показатели шумят из-за колебаний спроса, наличия и промо. Если сравнить группы только после запуска, часть этого шума попадет в оценку эффекта.

Чтобы повысить точность, в анализ добавили восемь недель истории до запуска и использовали Difference-in-Differences (DiD)³. Метод учитывает устойчивые различия между экспериментальными единицами и общие недельные изменения. Как правило, это снижает остаточный шум и стандартную ошибку оценки, а значит — получить более узкий доверительный интервал.

Механика простая: сначала DiD сравнивает каждую группу с ее собственной историей, а затем вычитает изменение контроля из изменения теста.

Постоянная разница между крупной и небольшой серией перестает быть эффектом. Общий рост категории, который одновременно произошел в обеих группах, тоже не записывается на счет алгоритма.

Похожую задачу решает оценщик HPTE (Heterogeneous Panel Treatment Effect) из Amazon Pricing Labs: он снимает доэкспериментальные тренды товаров и сопоставляет похожие товары теста и контроля; по данным авторов, это сокращает стандартные ошибки примерно на 30% относительно обычного DiD (Cooprider, Nassiri, Business Economics, 2023).¹

Как выбрать baseline

Baseline — это не «чем больше истории, тем лучше». Он должен быть достаточно длинным, чтобы увидеть обычные колебания спроса и оценить исходную динамику кластеров. Но слишком старые наблюдения могут относиться уже к другому режиму бизнеса — с другим ассортиментом, ценовой логикой, каналами или поведением спроса.

Поэтому границу baseline выбирают не по круглому числу недель, а по данным. Перед фиксацией окна проверяют:

1. Достаточно ли наблюдений. Для каждой экспериментальной единицы должно быть достаточно полных недель, чтобы отличить ее обычную динамику от случайного шума.
2. Нет ли структурных сдвигов. Смена ассортимента, модели продаж, учетной системы или крупная внешняя турбулентность могут сделать раннюю историю несопоставимой с пилотом.
3. Стабильна ли динамика групп. Тест и контроль до запуска должны двигаться сопоставимо; одинаковый средний уровень для этого не обязателен. Это диагностика, а не повод подбирать окно под результат.

В этом пилоте baseline составил восемь недель до запуска. Такое окно давало несколько наблюдений по каждой единице, но оставалось достаточно близким к пилоту, чтобы описывать актуальный режим бизнеса.

Главная предпосылка DiD — параллельные тренды: до запуска тест и контроль могут находиться на разных уровнях, но их динамика должна быть сопоставимой. В рандомизированном пилоте она выполняется в ожидании за счет дизайна, а проверка пре-трендов — лишь диагностика: у таких тестов низкая мощность, а выбор спецификации по их результату искажает оценки и интервалы.⁴ Если тестовые серии росли быстрее еще до новых цен, метод рискует приписать алгоритму уже существовавший тренд.

Также нужно проверить, что связанные товары не переносят эффект из теста в контроль, а дополнительные воздействия не создают систематической разницы между группами. То, что можно безопасно заморозить на время пилота — например, отдельные ручные ценовые вмешательства или экспериментальные промо, — лучше зафиксировать заранее. То, что является частью обычной работы бизнеса, нужно либо проводить симметрично для теста и контроля, либо подробно логировать и учитывать при анализе.

Критичны не любые промо или операционные изменения сами по себе, а асимметричные вмешательства: например, дополнительная рекламная поддержка только тестовой группы, ручное изменение цен в одном из плеч или систематически разный уровень наличия. Общий календарный шок может быть учтен эффектами недели; воздействие, совпавшее только с treatment, уже неотделимо от эффекта новой ценовой политики без дополнительных предположений.

DiD не делает плохой эксперимент хорошим. Он помогает точнее использовать тот контрфакт, который уже создает дизайн пилота.

Как оценивали эффект новой ценовой политики

В реальном пилоте товарных кластеров и недель много, поэтому DiD реализован как регрессия на недельной панели данных.

Одна строка такой панели — результат одной экспериментальной единицы за одну неделю:

В упрощенном виде модель — регрессия с двусторонними фиксированными эффектами (TWFE) — выглядит так:

За формулой стоит простая бизнес-логика:

• αᵢ учитывает постоянные различия между товарными кластерами;
• γₜ учитывает события, общие для теста и контроля: сезон, праздники или изменение спроса;
• Testᵢ × Afterₜ — переменная взаимодействия индикатора тестовой группы и индикатора периода после запуска; она равна единице только для тестовых кластеров после начала воздействия;
• β — искомый эффект: сколько дополнительной недельной валовой прибыли в среднем принесла новая ценовая политика одной экспериментальной единице. В процентах эффект выражают как β, деленный на средний контрфактный уровень теста.

Стандартные ошибки рассчитываются с кластеризацией на уровне фактической единицы рандомизации — серии или блока субститутов в регионе. Проще говоря, модель помнит: десять недель одной товарной серии — это не десять независимых экспериментов.

На выходе важны не только точечные +X%, но и диапазон неопределенности. Например, uplift +6% при 95%-м доверительном интервале от −2% до +14% еще не дает однозначного ответа: данные совместимы и с небольшим снижением, и с заметным ростом.

До пилота проверяем, способен ли эксперимент увидеть эффект

Перед реальным запуском полезно проверить весь контур измерения на исторических данных.

A/A-тест отвечает на первый вопрос: не находит ли метод «эффект» там, где его заведомо нет? Историческую панель многократно случайно делят на условные тест и контроль и запускают ту же модель без добавленного воздействия. Оценки должны группироваться около нуля, а ложные срабатывания — оставаться около выбранного порога.

Power simulation отвечает на обратный вопрос: найдет ли метод эффект, если он действительно появится? В исторические данные искусственно добавляют известный uplift — например, +3%, +5% или +8% — и проверяют, как часто модель его обнаруживает.

Так определяется MDE — минимально обнаружимый эффект: uplift, который дизайн находит с мощностью 80% при α = 5%. Если +5% находится только в 42% симуляций, а +8% — в 80%, текущий дизайн уверенно видит эффект примерно от 8%.

Это важная граница. Если для окупаемости бизнесу достаточно +3%, а эксперимент способен надежно увидеть только +8%, пилот плохо отвечает на бизнес-вопрос. Отрицательный результат такого теста еще не докажет, что экономически полезного эффекта нет.

Хороший эксперимент защищает от двух потерь: вложиться в пустой эффект и закрыть решение, которое могло приносить деньги.

«Эффект есть» и «эффект не найден» — не единственные ответы

После пилота бизнесу хочется получить бинарный вывод: алгоритм работает или нет. Но решение нужно принимать одновременно по размеру эффекта, неопределенности оценки и минимальному эффекту, который имеет смысл для бизнеса.

Перед этим стоит убедиться, что эксперимент не сломан: новая политика действительно применялась к тесту, контроль оставался на старых правилах, динамика групп до запуска заметно не расходилась, а промо, наличие и состав ассортимента не изменялись для групп систематически по-разному.

Точечная оценка показывает, какой эффект лучше всего согласуется с данными, но сама по себе не говорит, насколько точно он измерен. За точность отвечает стандартная ошибка: чем она выше, тем шире доверительный интервал и тем больший диапазон реальных эффектов остается совместимым с результатом эксперимента. Поэтому одинаковый uplift в +6% может означать разные вещи: интервал от +5% до +7% довольно точно локализует эффект, а интервал от −2% до +14% допускает и небольшой отрицательный результат, и существенный рост.

Точечная оценка отвечает на вопрос «какой эффект мы увидели», доверительный интервал — «насколько точно мы знаем его размер».

Четыре корректных вердикта

Рассмотрим два примера.

Допустим, оценка равна +4%, а доверительный интервал — от −2% до +10%. Нельзя сказать, что эффекта нет: данные допускают и небольшой вред, и сильный положительный результат. Эксперимент просто не дал достаточно точного ответа.

Другой случай: оценка +0,5%, интервал от −1% до +2%, а для окупаемости нужен рост минимум на 3%. Здесь можно сделать более полезный вывод: эффект нужного бизнесу размера не подтверждается и, вероятно, отсутствует.

Бизнес-порог и MDE — разные вещи

До запуска нужно определить два значения:

• Бизнес-порог — минимальный uplift, при котором дополнительная прибыль покрывает разработку, инфраструктуру и сопровождение и делает масштабирование рациональным.
• MDE — минимальный uplift, который выбранный дизайн способен надежно обнаружить.

Первый отвечает на вопрос «какой эффект нам нужен», второй — «какой эффект способен увидеть эксперимент».

Если для окупаемости достаточно +3%, а MDE равен +8%, дизайн пилота нужно усиливать: увеличивать число независимых кластеров, продолжительность или менять сам эксперимент.

Возможна и обратная ситуация: эффект статистически подтвержден, но слишком мал, чтобы окупить решение. Поэтому итоговое решение принимается в два шага:

1. Статистический: отделили ли мы результат от случайного шума?
2. Экономический: достаточно ли найденного эффекта для масштабирования?

Основной вывод строится на одной метрике

Вердикт принимается по заранее выбранной недельной валовой прибыли. Выручка и количество помогают объяснить механизм, но не подменяют основной результат.

То же относится к разрезам по сериям и географиям. В одном из десятков сегментов почти всегда найдется красивый результат случайно. Если сегмент не был выбран заранее и эксперимент не имел достаточной мощности на этом уровне, такой вывод остается гипотезой для следующего теста.

Итог пилота нельзя сводить к одному проценту. Чтобы принять решение, нужно показать:

Отсутствие статистической значимости — не доказательство отсутствия эффекта. Полезный вывод появляется тогда, когда точность эксперимента позволяет ответить на бизнес-вопрос.

Модель назначает цену. Эксперимент превращает ее в P&L

У оценки динамического ценообразования есть три главных правила.

Первое — эффект нельзя увидеть напрямую. Рост прибыли после запуска еще ничего не доказывает: нужен контрфакт, который показывает результат бизнеса без новой ценовой политики в те же недели.

Второе — дизайн важнее сложности формулы. Если связанные товары попали в разные группы или тысячи зависимых заказов выданы за независимые наблюдения, продвинутый статистический метод лишь аккуратно посчитает неправильный эффект.

Третье — решение не помещается в один p-value. Нужно одновременно смотреть на размер эффекта, доверительный интервал, MDE и бизнес-порог. Только так можно отличить отсутствие результата от эксперимента, которому просто не хватило мощности.

Чек-лист пилота

• Зафиксирована основная метрика. Она соответствует бизнес-цели пилота; в этом случае — недельная валовая прибыль.
• Определен бизнес-порог. Понятно, какой минимальный uplift окупает разработку, инфраструктуру и сопровождение.
• Зафиксирован периметр. Товары, географии, каналы, baseline и период пилота не меняются после появления первых результатов.
• Выбрана единица рандомизации. Связанные товары объединены так, чтобы эффект не перетекал из теста в контроль.
• Группы сбалансированы до запуска. Использованы подходящие baseline-характеристики и проверено, что одно плечо случайно не получило систематически более сильные кластеры.
• Корректно выбран и настроен метод оценки. Он соответствует дизайну эксперимента, учитывает структуру данных, а его ключевые предпосылки проверены.
• Проверена мощность. A/A не создает систематических ложных эффектов, а MDE соответствует бизнес-задаче.
• Контролируются дополнительные вмешательства. То, что можно заморозить, фиксируется заранее; промо, реклама, ручные изменения цен, out-of-stock и другие события проводятся симметрично либо логируются для анализа.
• Правило решения задано заранее. Понятно, при каких условиях пилот масштабируется, продлевается или останавливается.
• После пилота оцениваются эффект и неопределенность. Вывод содержит uplift в рублях и процентах, доверительный интервал, MDE и бизнес-порог.
• Масштабирование учитывает экономику решения. Результат пилота не переносится на весь бизнес без проверки применимости и расходов.

Динамическое ценообразование создает ценность не тогда, когда алгоритм изменил цену. А тогда, когда честный эксперимент доказал, сколько дополнительных денег эта цена принесла бизнесу.Никита Худов, управляющий партнёр /strategai · Егор Тищенко, Senior ML Engineer

Коротко: частые вопросы

Никита Худов

Управляющий партнёр, /strategai

Отвечает за методологию измерения финансового эффекта AI-проектов и защиту результата перед бизнесом.

Егор Тищенко

Senior ML Engineer, /strategai

Разрабатывает ML-системы, проектирует эксперименты и оценивает их влияние на финансовые показатели бизнеса.