Жертвы алгоритмов: что не так
с интернет-маркетингом

Теоретически персонализация маркетинга должна быть беспроигрышной затеей и для компаний, и для клиентов. Подобрав правильное сочетание средств коммуникации, рекомендаций и рекламных акций с учетом индивидуальных предпочтений каждого клиента, можно было бы найти лучший подход к любому покупателю.

Неуклюжие попытки персонализации могут сослужить недобрую службу, и все же технологии таргетинга с каждым днем становятся все более изощренными. С развитием машинного обучения и аналитики больших данных персонализация приобретает все большее значение и становится менее навязчивой и раздражающей для потребителей. Однако наряду с этими изменениями возникает скрытый риск: автоматизированные системы могут закреплять вредные предрассудки.

В нашем новом исследовании мы изучили использование динамического ценообразования и таргетированных скидок и попытались выяснить, могут ли (и как) возникать ложные предубеждения, если цены, устанавливаемые для потребителей, определяются алгоритмом. Поучительная история персонализированного маркетинга такого рода случилась с Princeton Review. В 2015 году выяснилось, что компания, предлагающая услуги по подготовке к экзаменам, назначала для клиентов из разных регионов разные цены, причем расхождения в некоторых случаях достигали сотен долларов, несмотря на то что все занятия проводились посредством телеконференций. В краткосрочной перспективе такой тип динамического ценообразования мог показаться легким способом увеличения доходов. Но исследования неоднократно показывали, что потребители считают такой подход заведомо несправедливым, что он подрывает доверие и не вызывает желания снова обращаться к компании. Более того, предвзятость Princeton Review носила и расовый характер: последовавшее резонансное расследование, проведенное журналистами редакции ProPublica, показало, что для азиатских семей цены систематически оказывались более высокими, чем для остальных клиентов.

Даже крупнейшие технологические компании и специалисты по алгоритмическим технологиям считают, что предоставлять персонализированные услуги, избегая при этом дискриминации, непросто. Несколько исследований показали, что объявления о высокооплачиваемых вакансиях на таких платформах, как Facebook* и Google, гораздо чаще демонстрируются мужчинам. В прошлом году против Facebook* был подан иск, и в результате было установлено, что компания нарушает Закон о запрещении дискриминации при продаже и аренде жилья, так как позволила рекламодателям недвижимости таргетироваться на пользователей по основным признакам дискриминации, включая расу, пол, возраст и т. д.

Что происходит с алгоритмами персонализации и почему ими так сложно управлять? В современных условиях — при наличии программного обеспечения для автоматизации маркетинга и автоматического ретаргетинга, платформ A/B-тестирования, позволяющих постепенно динамически оптимизировать взаимодействие с пользователем, и рекламных платформ, которые автоматически выбирают сегменты целевой аудитории, — важные бизнес-решения все чаще принимаются автоматически, без контроля человека. И хотя данные, которые маркетологи используют для сегментирования клиентов, по своей сути не являются демографическими, эти переменные часто коррелируют с социальными характеристиками.

Чтобы понять, как это работает, предположим, что вашей компании нужно идентифицировать наиболее восприимчивых к скидкам клиентов, и планируется для обучения алгоритма использовать накопленную статистическую информацию за прошлые периоды. Если среди характеристик клиентов, используемых для машинного обучения, есть параметры, коррелирующие с демографическими характеристиками, в конечном итоге алгоритм с высокой вероятностью выдаст разные рекомендации для разных групп. Подумайте, например, о том, как часто города и районы делятся по этническим и социальным признакам и как часто данные об истории просмотров пользователя могут соотноситься с его географическим положением (например, через IP-адрес или историю поиска). Что, если пользователи из «белых районов» лучше всех отреагировали на ваши маркетинговые усилия за последний квартал? Или, возможно, пользователи из районов с высоким уровнем дохода были наиболее чувствительны к скидкам. (Известно, что иногда так бывает не потому, что клиенты с высокими доходами не могут позволить себе приобрести что-то за полную стоимость, а потому, что они в принципе чаще делают покупки через интернет и знают, когда можно ожидать снижения цен.) Алгоритм, обученный на таких статистических данных — даже без сведений о расовой принадлежности или уровня дохода покупателя, — научится предлагать больше скидок белым состоятельным клиентам.

Чтобы исследовать это явление и проанализировать, как люди в США реагировали на различные ценовые предложения, мы просмотрели результаты десятков масштабных экспериментов в сфере ценообразования в электронной торговле. Используя IP-адрес клиента в качестве приблизительного признака его местоположения, мы смогли сопоставить каждого пользователя с его районом согласно переписи населения США и, чтобы получить представление о среднем доходе в соответствующем регионе, использовали общедоступные данные. Анализируя результаты миллионов посещений веб-сайтов, мы нашли подтверждение, что, как и в приведенном выше гипотетическом примере, люди из богатых районов более активно реагировали на скидки при покупках через интернет, чем люди из более бедных районов, и, поскольку алгоритмы динамического ценообразования предназначены для предложения сделок тем пользователям, которые с большей вероятностью на них отреагируют, маркетинговые кампании в будущем, вероятно, будут систематически предлагать более низкие цены лицам с более высоким доходом.

Что может сделать ваша компания, чтобы минимизировать подобные социально нежелательные результаты? Одной из возможностей снижения рисков в работе алгоритмов является формальный надзор за внутренними системами вашей компании. Подобные «аудиты ИИ», вероятно, будут сложными процессами, включающими оценку точности, справедливости, интерпретируемости и надежности всех значимых алгоритмических решений в вашей организации.

Хотя на первом этапе можно ожидать немалые расходы, в долгосрочной перспективе это может оказаться выгодным для многих компаний. Поскольку исчерпывающе определить суть понятий «справедливость» и «предвзятость» сложно, то, если взять за правило привлекать к поиску алгоритмических искажений в своих системах нескольким специалистам, вероятность того, что вы успеете перехватить неправильный алгоритм перед тем, как он сработает, увеличится. Учитывая социальные, технические и юридические сложности, связанные со справедливостью алгоритмов, вероятно, обычной практикой станет работа команды обученных внутренних или внешних экспертов, которые в любых бизнес-процессах, подразумевающих автоматизированное принятие решений, будут пытаться найти слепые зоны и уязвимые места.

Поскольку достижения в области машинного обучения оказывают определяющее влияние на нашу экономику, а опасения по поводу неравенства в вопросах благосостояния и социальной справедливости растут, руководители компаний должны ясно представлять потенциальный ущерб автоматизированных решений как для клиентов, так и для своих организаций. Как никогда важно подумать о том, не ущемляют ли каким-либо образом ваши автоматизированные маркетинговые кампании интересы тех или иных социальных или этнических групп. Менеджеры, которые смогут предусмотреть эти риски и действовать в соответствии с ними, смогут настроить свои компании на долгосрочный успех.

Об авторах

Алекс Миллер (Alex P. Miller) — докторант в области информационных систем и технологий в Уортонской школе бизнеса Пенсильванского университета.

Картик Хосанагар (Kartik Hosanagar) — профессор кафедры технологий и цифрового бизнеса в Уортонской школе бизнеса Пенсильванского университета.

* принадлежит Meta, которая признана в России экстремистской и запрещена