Алгоритмы под
контролем

Строить планы и делать прогнозы приходится большинству руководителей. Рассматривая кандидата на должность, кадровик строит предположение о будущей эффективности претендентов. Выбирая каналы сбыта, маркетолог прогнозирует, где продажи пойдут активнее. Когда венчурный капиталист рассматривает неизвестный стартап, он пытается предугадать будущий успех. Чтобы делать эти и множество других бизнес-прогнозов, современные компании все чаще обращаются к алгоритмам. Их преимущество — выполнение аналитических операций с невероятной скоростью и работа с невероятным объемом данных.

Алгоритм прогнозирует точнее — но создает свои собственные риски, ведь мы не всегда понимаем его ограничения. Netflix объявила конкурс с призовым фондом в $1 млн на создание программы, которая поможет определить, какие фильмы понравятся конкретному зрителю. Участники — команды специалистов по данным — объединили усилия и создали суперпрограмму рекомендаций. Она был хороша для DVD, и, когда зрители Netflix перешли на потоковое видео, их предпочтения изменились, но не так, как предсказывал алгоритм.

Вот еще пример. Сейчас многие с помощью алгоритмов решают, какие рекламные объявления и ссылки показывать пользователям соцсетей. Если эти алгоритмы настроены на узкую задачу: максимизировать переходы по ссылкам — на сайтах оказывается множество статей-приманок. Кликов на ссылку больше, а уровень удовлетворенности потребителей может резко упасть.

Проблемы вполне можно избежать. Мы разрабатывали и внедряли алгоритмы, выявляя новые источники данных в разных организациях и поняли, что дело не в самих алгоритмах,

а в том, как с ними взаимодействуют люди. Чтобы не делать ошибок, менеджерам надо понимать, на какие вопросы алгоритм может ответить в принципе, а на какие нет.

ИДЕЯ КОРОТКО

Проблема

Алгоритмы — важнейшие прогностические средства, но им ничего не стоит сбить с толку людей, принимающих решения.

Причины

Любой алгоритм, во-первых, все понимает буквально, то есть делает именно то, что вы им задаете, а во-вторых, представляет собой «черный ящик», то есть совершенно не объясняет, почему он выдает те или иные рекомендации.

Решение

Создавая алгоритм, точно формулируйте все свои цели. Учитывайте долгосрочные последствия явлений, которые вы изучаете, и правильно подбирайте данные.

Почему умные алгоритмы сбивают нас с толку?

Нам проще работать с компьютерной программой, если она «очевеловечена» создателями. Это полезно, если вы, к примеру, разрабатываете автоматический колл-центр. Услышав настоящий человеческий, а не электронный голос, абонент с большей вероятностью прослушает текст. Проблема, однако, в том, что в алгоритме  люди начинают видеть своего коллегу — и относятся к его выкладкам соответственно. Но работа алгоритма сильно отличается от человеческой.

Алгоритм — невероятный буквалист. В последних «Мстителях» Тони Старк (он же Железный человек) создает Альтрон — искусственный интеллект для защиты планеты Земля. Альтрон понимает задачу буквально и приходит к выводу, что лучший способ спасти Землю — уничтожить всех людей. Он ведет себя как типичный алгоритм: делает именно то, что ему говорят, а все остальное игнорирует. Если мы слабо управляем алгоритмом, начинаются неприятности.

В похожую ловушку попали сайты соцсетей, наводненные навязчивой рекламой. Перед разработчиками поставили задачу: предложить пользователям самый привлекательный контент. Чтобы заложить это в алгоритм, придумали инструкции, обеспечивающие вроде бы оптимальное прокси-решение: наиболее «кликабельный» контент. Но из-за того, что выбор содержания был основан только на кликах, сайты быстро заполонили пустые или грубые материалы, которые повредили репутации сайтов. Человек бы понял, что разработчики сайта имели в виду: «Максимизировать качество, ориентируясь на клики», а вовсе не «Максимизировать клики, пусть даже ценой качества». А алгоритм понимает только то, что ему приказали.

Алгоритм — это «черный ящик». В пьесе Шекспира «Юлий Цезарь» предсказатель предупреждает Цезаря: «Тебе грозят бедою иды марта!». Совет был вполне понятным: надо проявлять осторожность. И в то же время он получился невразумительным: проявлять осторожность в каком отношении? Почему? Цезарь, раздраженный загадочностью, проигнорировал предсказателя, заявив: «Он бредит. Бросим же его». Мартовские иды действительно оказались для правителя трагическим днем. Проблема заключалась в том, что предсказатель дал ему неполную информацию, не дав даже намека на то, что осталось невысказанным, и на то, насколько важно предсказание.

Подобно шекспировскому предсказателю, алгоритм обычно предсказывает будущее точно, но не говорит, ни чем будет вызвано событие, ни почему. Алгоритм может прочитать все статьи New York Times и сказать, что из них будут обсуждать в Твиттере, но не объяснит желание людей поделиться этой информацией. Алгоритм может показать, какие сотрудники, скорее всего, многого добьются, но не сообщит вам, в силу каких своих качеств.

Понять эти два недостатка алгоритмов — значит сделать первый шаг к тому, чтобы лучше ими управлять. Теперь рассмотрим прочие условия.

Точно формулируйте все задачи

Цели есть у каждого, но мы не добиваемся их любой ценой, потому что понимаем, что есть и дополнительные (как правило, ­непроговариваемые) условия. Можно пожертвовать небольшой ­прибылью сегодня, ­чтобы завтра выиграть в отношении репутации. Можно бороться за равноправие, даже если в ближайшей перспективе это вызовет в организации сумятицу. Что же касается алгоритма, то он будет упорно выполнять конкретную задачу. И лучший способ что-то

с этим сделать — предельно ясно объяснять все условия и ограничения.

Если для вас важен еще какой-то результат, надо его четко сформулировать и дать количественную оценку его значимости. Если же дополнительные ожидания трудно измерить, займитесь ими, как только алгоритм отработает и выдаст свои рекомендации.

В Google (которая финансировала некоторые наши исследования, посвященные другим вопросам) проблема вспомогательной задачи возникла с алгоритмом, который определяет, какую показывать рекламу. Ее обнаружила профессор из Гарварда Латанья Свини, когда проводила исследование. Она заметила, что, если вводишь в строку поиска Google типичные афроамериканские имена типа «Латанья Фэррелл», тебе показывают рекламу, предлагающую данные из системы регистрации арестов; если же вводишь имя вроде «Кристен Хэринг», ничего подобного не происходит. Жесткая установка Google на максимизацию кликов по рекламе привела к тому, что самообучающиеся алгоритмы по сути дискриминировали людей по именам. Люди, вводившие такого рода имена, часто интересовались данными о регистрации арестов, в результате чего эти сайты стали всплывать чаще, и образовалась самоусиливающаяся петля обратной связи. Создатели этого не хотели, но, поскольку не были оговорены дополнительные условия, не существовало и механизма, который бы выводил алгоритм от этой петли.

Один из нас работал с администрацией города на Западном побережье США над проектом, ­связанным с проверками ресторанов. Город десятилетиями проводил их в основном наугад, но тем, у кого раньше находили нарушения, внимания уделяли больше. Для алгоритма выбор заведений для проверки — идеальная задача: он нашел гораздо больше прогностических переменных, чем люди. Теперь отделу здравоохранения стало легче определять и выявлять нарушителей, делая меньше инспекционных выездов.

Властям идея понравилась и они решили перейти к внедрению. Мы спросили, есть ли вопросы или проблемы. Наступило неловкое молчание, потом одна женщина подняла руку. «Не знаю, как начать, — произнесла она, — но есть тема, которую надо обсудить». И объяснила, что в районах с высокой скученностью населения нарушений обычно больше. Среди жителей этих районов выше процент представителей меньшинств с низкими доходами. Она не хотела, чтобы эти районы стали предметом особо пристального внимания и сформулировала справедливое условие, и мы включили его в алгоритм, попросту задав предельное число проверок в каждом районе. Таким образом, решалась главная задача — выявить рестораны с вероятными проблемами, но учитывалась и задача вспомогательная — не делать бедные кварталы основной мишенью.

Обратите внимание на дополнительный шаг, который позволил нам включить в алгоритм вспомогательные задачи: каждому дали возможность сказать о том, что его беспокоит. Обычно дополнительные условия формулируются как проблемы, поэтому нужно призвать всех говорить откровенно — чтобы обсудить то, о чем обычно молчат. Тогда всплывают самые разные соображения, чаще всего относительно справедливости и тактичности подходов.

Зная главную и дополнительные цели, алгоритмист может встроить в решение компромиссы. Как правило, это означает расширенное решение, предусматривающее получение нескольких вариантов, взвешенных по значимости.

Лечите близорукость

Одна известная компания, торгующая фасованными товарами, покупала их дешево в Китае

и продавала в США. Эти продукты она выбрала после того, как запустила алгоритм, который спрогнозировал, что будет лучше продаваться. Все пошло, и дело кипело несколько месяцев, а потом покупатели стали возвращать товары.

Высокий и стабильный процент возврата можно было бы предвидеть, ведь компания не заложила в алгоритм заинтересованность в качестве — и он полностью сосредоточился на продажах. В итоге перед компанией встала новая задача: научиться хорошо прогнозировать не только то, будут ли товары расходиться, но и то, будут ли покупатели довольны и захотят ли ими пользоваться. Сейчас фирма старается продавать такие изделия, о которых народ будет восторженно отзываться на Amazon и других платформах, и процент возврата упал.

Компания совершила обычную  ошибку: алгоритмы, как правило, «близоруки». Они исходят из той информации, что есть, а она обычно относится к ближайшей цели. А ­между ­краткосрочным успехом, с одной стороны, и долгосрочной прибылью и задачами организации в целом, с другой, бывают противоречия. Люди это понимают, хотя и не всегда проговаривают; алгоритм же не поймет, пока вы ему не подскажете.

Эту проблему можно решить на этапе постановки, конкретизировав долгосрочные цели. Но и менеджеры должны смотреть, не противоречат ли рекомендации задачам организации.

Шквал некачественного контента тоже был следствием недальновидности: алгоритм ­находил оптимальное решение задачи, актуальной лишь в данный момент. По ссылкам переходили чаще, но более важная долгосрочная задача — удовлетворенность посетителей — осталась за кадром.

Близорукость может стать проблемой и для маркетинговых акций. Возьмем обычную для Gap практику продвижения на Google. Наверное, она привела к резкому росту числа посещений сайта Gap.сom, — алгоритм Google хорошо прогнозирует, кто кликнет по рекламе. Но дело в том, что настоящая-то задача — не рост числа посещений, а рост продаж. Чтобы ее решить, рекламные платформы могут собирать данные о сбыте, пользуясь самыми разными каналами, — например, данными от платежных систем —

и включать их в свои алгоритмы.

Зайти на сайт — дело секунды, а рекламные кампании нацелены на укрепление бренда

и повторные сделки. Оценить, насколько им это удается, непросто: надо постоянно «снимать» данные со всех систем, тщательно просматривая всю внешнюю и внутреннюю информацию. Начиная свою кампанию с Google, маркетологи Gap могли бы прежде всего изложить свои цели (высокий уровень продаж, низкий процент возврата, хорошая репутации и т. д.), а потом объяснить, как оценивать выполнение каждой из них. Выгода по продуктам, отзывы в интернете, частота слова «Gap» в строке поиска — все это отличные показатели. Хороший алгоритм выдавал бы прогнозы, используя их комбинацию с учетом их сравнительной значимости.

Используйте правильные входные данные

Вернемся к примеру, когда надо было определить, какие рестораны могут оказаться рассадниками пищевых инфекций. Как уже говорилось, городская администрация всегда проверяла заведения или наугад, или по результатам предыдущих проверок. Один из нас, работая с Yelp, помог властям Бостона выяснить, какие рестораны

с наибольшей вероятностью нарушают местные гигиенические нормы, используя онлайновые обзоры: он создал алгоритм, который сравнивал текст обзора с данными прошлых проверок. Применяя этот алгоритм, власти выявляли такое же количество нарушений, как всегда, но теперь они могли проводить на 40% меньше проверок, то есть эффективность работы выросла.

Этот способ оказался действенным не только потому, что ресторанов было много, но прежде всего потому, что обзоры на Yelp представляли собой кладезь информации, а городские власти особого внимания на нее не обращали. В обзорах на Yelp много слов и данные разного характера. И это неоднородные данные, поскольку они поступают из разных источников. Короче, они весьма отличаются от информации, представленной инспекторами, с которой привыкла работать городская администрация.

Выбирая информационные ресурсы, помните следующее.

Чем шире, тем лучше. Многие компании ошибочно думают, что «большие данные» — это просто много-много записей: не 10 тысяч,

а миллион. Но это только полдела. Представьте себе, что ваши данные организованы в таблицу, где каждому покупателю соответствует строка, а вся доступная информация о нем разнесена по колонкам. Чем больше рядов, тем лучше, но главное, что делает «большие данные» прогностическими, — это широта: надо собирать много сведений о каждом, ведь прогнозирование строится на исчерпывающей информации. Каждая дополнительная подробность — еще одна единица информации, и ее можно присоединить к той, что вы уже собрали. Один из лучших источников обширных данных — текстовые документы; в них каждое слово может оказаться информативным.

Важно разнообразие. В дополнение к сказанному, данные должны быть разнообразными — в том смысле, что надо выбирать такие источники, которые хотя бы относительно независимы друг от друга. Разнородность дает дополнительную прогнозирующую способность. Смотрите на каждый массив данных, как на рекомендации друга. Если они однотипны, то от добавления нового вы не слишком выиграете. Если же каждый новый набор представляет информацию в уникальном ракурсе, то целое становится намного ценнее.

Не забывайте об ограничениях

Очень важно знать, чего алгоритмы рассказать не могут. Большинство полагает, что прогнозы легко переносятся из одного контекста в другой: именно из-за этого Netflix совершила ошибку, когда в 2009-м перенесла алгоритм с почтовых заказов DVD на скачивание для немедленного просмотра. Рекомендации по выбору DVD оказались не применимы к потоковому видео.

Если обстановка, контингент, время или вопрос несколько отличаются, то вы, по сути, переносите вывод из одного контекста в другой. Поэтому полезно составить список причин,

в силу которых алгоритм может оказаться неприменимым к новой задаче, и оценить значимость каждой. Скажем, алгоритм нарушения норм гигиены, созданный для Бостона, может оказаться менее эффективным в Орландо с его жарким климатом. Проблемы с безопасностью пищевых продуктов там несколько иные.

И помните, что корреляция — еще не причинная зависимость. Допустим, алгоритм предсказывает, что короткие «твиты» цитируют чаще длинных. Это ни в коей мере не значит, что вам надо сокращать свои сообщения. Это прогноз,

а не подсказка, потому что есть много других факторов, коррелирующих с короткими «твитами», которые делают эти сообщения эффективными. И по той же причине прогноз не есть руководство к действию: то, что вы сократите свои сообщения, еще не значит, что вы измените эти остальные факторы.

Например, eBay много лет размещала рекламу на Google. eBay знала, что люди, которые смотрели эту рекламу, покупали что-нибудь на ее сайте чаще, чем те, кто рекламу не смотрел. Но она не знала, заходят ли люди к ней на сайт именно благодаря рекламным объявлениям (показанным миллионы раз). В конце концов, эти рекламные сообщения специально показывали потенциальным покупателям eBay. Чтобы отделить корреляцию от причинной связи, компания провела масштабный эксперимент: применив метод случайной выборки, одним показывала рекламу, а другим — нет. И что же? Оказалось, что в большинстве случаев от рекламы пользы не было, поскольку люди, которые ее видели, уже знали eBay и в любом случае что-нибудь там покупали.

Прогностическая способность алгоритма не отменяет необходимости отличать причинность от корреляции и проверять результаты в  контрольных экспериментах. Алгоритм может быть чрезвычайно полезным при выявлении паттернов, которые человек заметить не может в силу их слабой выраженности: используя их, он принимает информированные решения. Но, чтобы этот огромный потенциал раскрылся, надо уметь учитывать связанные с этим риски.