renchen.ru
Как создать эффективную культуру экспериментов
Нил Хойн , Фрэнк Сеспедес
Большинство менеджеров умеют хорошо задавать вопросы, но не могут так же хорошо объяснить, что входит в обоснованный ответ на эти вопросы. Они проводят тесты и изучают полученные результаты, но это редко ведет к последовательному обсуждению и организационным изменениям.
Эксперименты поощряют инновации, но могут отнимать много времени и ресурсов. Чтобы эксперименты в вашей организации приносили результат, необходимо соблюдать несколько условий. Что вы узнаёте по итогам экспериментов, как вы применяете полученные знания, какие возможности в результате этого возникают и, пожалуй, что еще важнее, как вы обсуждаете их с коллегами — все это должно влиять на процесс принятия решений в организации.
В этой статье мы подробно обсудим необходимые условия проведения экспериментов, в том числе основные факторы, которые необходимо учесть при тестировании в постоянно меняющейся бизнес-среде, данные, с которыми следует сравнивать результаты, и критерии, по которым следует принимать решения.
Тестирование в бизнесе
Многие менеджеры думают, что тестирование нового продукта, цены или услуги аналогично клиническим испытаниям в медицине, где гипотезу можно досконально проверить. Но тестирование в бизнесе представляет проблемы, качественно отличающиеся от научных и медицинских исследований. На конкурентном рынке возможности для рандомизированных контролируемых испытаний ограничены. Они напоминают ремонт корабля в открытом море в неконтролируемых погодных условиях. Это особенно верно в эру больших данных и искусственного интеллекта.
Некоторые эксперименты могут оказаться ненужными или не будут иметь сколько-нибудь существенного значения с точки зрения управления, если вы изучите имеющиеся данные и литературу на соответствующую тему. При разработке цифровой стратегии известный ритейлер не стал рассматривать данные существующих работ, включая опубликованное и рецензированное исследование на тему кросс-канального покупательского поведения с участием почти 1 млн потребителей, совершивших более 7 млн покупок. Настаивая, что все данные должны быть получены «из первых рук», компания заказала тестирование в шести принадлежащих ей магазинах. В результате пришлось отложить принятие решений и переход к действиям на восемь месяцев — и к тому же это не дало никаких новых полезных сведений. Мало того, это еще и во многом могло закрепить сложившиеся системные предубеждения. Конкуренты между тем уже взялись за реализацию многоканальных инициатив, и все это не способствовало росту бизнеса ритейлера.
Следует учитывать издержки упущенных возможностей при проведении тестирования и быть готовыми корректировать методологию и масштаб соответствующим образом. B2B-компания, работающая в сфере SaaS, получила данные, что в традиционно неприбыльном клиентском сегменте покупательское поведение начинает меняться, и сравнительно скромные инвестиции в маркетинг могли бы ускорить эти изменения. Но память об убытках была сильна, поэтому, чтобы преодолеть неверие в организации, лица, принимающие решение, установили высокую планку в отношении длительности эксперимента, размера выборки и методологии, хотя можно было выбрать гораздо более простые методы тестирования рентабельности инвестиций (ROI) в новые инициативы в этом сегменте. Более масштабное тестирование обошлось почти в пять раз дороже и отсрочило переход к активным действиям на быстро меняющемся рынке.
Тестирование для практических управленческих целей редко предполагает «научные» результаты, но может подсказывать идеи и варианты. Его смысл не в том, чтобы добиться абсолютной истины, его задача — инициировать релевантный диалог среди лиц, принимающих решения, в меняющихся рыночных условиях. Используйте, что можете, сегодня и инвестируйте в поиск ответов на завтра.
Помните о данных
Чтобы не получалось ситуации «мусор на входе — мусор на выходе», вам необходимы надежные данные. В большинстве проектов машинного обучения до 80% времени и затрат специалистов по обработке и анализу данных и ИТ-групп уходит на очистку данных, причины тому — непоследовательно собираемые вводные, уже не соответствующие действительности представления о поведении покупателей и устаревшие допущения.
Частый пример — тестирование на основе данных, взятых из систем управления взаимоотношениями с клиентами (CRM). Вводные данные искажены, поскольку система выдает обобщенные результаты, которые на самом деле получены от разных специалистов, применявших разные критерии. Один торговый представитель отражает запрос ценового предложения в системе как квалифицированный лид или активного клиента, другой ориентируется на установление бюджета и считает его критерием квалификации потенциального клиента или ответа на запросы цены. Проблема усугубляется, когда тестируются многоканальные инициативы.
В большинстве программ CRM ожидаемая выручка рассчитывается как взвешенная величина по этапам воронки продаж с допущением, что вероятность заключения сделки возрастает на последующих этапах. Но вместо того, чтобы двигаться последовательно через линейную воронку, омниканальные покупатели теперь множество раз в процессе покупки перемещаются между онлайн-, физическим каналом и инфлюенсерами. Однако после установки системы тесты подбираются для оптимизации параметров, отслеживаемых в программе, и это усиливает влияние устаревших представлений о поведении потребителей. Тестирование становится самосбывающимся пророчеством, а не окном в реалии рынка. В целом, как отмечают другие источники, с учетом того, что благодаря мобильным устройствам оперативная информация, получаемая в момент принятия решения о покупке, все больше влияет на поведение покупателей, многие традиционные методы исследования (вроде совместного анализа) уже не соответствуют этим механизмам.
Наследие подобных «тестов» может сохраняться годами. Один из авторов этой статьи работал с компанией, где показатель оттока клиентской базы (по версии маркетологов компании — 3% в год) был установлен еще в 1990-е годы, и с тех пор фирма пользовалась этой цифрой несмотря на многократные изменения в продуктах, ценах, конкуренции, замещающих изделиях и выборе потребителей.
