Кузнец
своего рейтинга

Отзывы в интернете меняют наш подход к выбору товаров и услуг: сейчас мы планируем отпуск с помощью TripAdvisor, в поисках врача обращаемся к Zocdoc, а выбирая ресторан, заглядываем в Yelp. На торговых интернет-площадках вроде Amazon и Airbnb отзывы потребителей — также один из центральных элементов. Не отстают и многие другие: от медицинского центра Стэнфорда до большинства крупнейших онлайн-ритейлеров США — все внедряют системы отзывов клиентов, чтобы помочь людям сориентироваться во всем спектре предложений.

Такая система, если она грамотно организована, — надежный источник полезнейшей информации и для покупателя, и для продавца. Положительный отзыв может помочь преодолеть сомнения при покупке незнакомого товара, будь то новая книга или ужин в местном ресторане. Один из авторов этой статьи (Майк) установил, например, что высокие рейтинги в Yelp помогают повысить объем продаж, причем для независимых фирм, не имеющих прочной репутации, этот эффект выше. Выигрывают продавцы и от критических отзывов: Uber, к примеру, отказывается от услуг водителей с низким рейтингом; производителям потребительской продукции замечания помогают понять, как повысить качество своих товаров.

Но на каждую успешно реализованную систему фидбэка приходится множество других, где лист отзывов девственно чист, да и наплыва клиентов не наблюдается. Бывают и такие, что вроде пестрят откликами, а информации в них ноль. Если, к примеру, все отзывы положительные, клиент, конечно, может подумать, что все предложения высокого качества, но может и счесть, что система просто не поможет ему отличить хорошее от плохого. Рецензии, не полностью раскрывающие достоинства и недостатки товара или магазина, могут ввести покупателя в заблуждение. Свидетельства мнимых и ангажированных клиентов подрывают доверие к платформе. По результатам анализа, проведенного Майком совместно с Георгиосом Зервасом, отзывы-фальшивки чаще всего публикуют фирмы с шаткой репутацией или загнанные в угол жесткой конкуренцией.

За неудачей многих систем сбора потребительских оценок стоит распространенное заблуждение, что их внедрение — вопрос технический, а не организационный. Бизнес-лидеры часто готовы вложиться в технологии, но забывают об активном управлении их наполнением — отсюда и проблемы. Дурная методика может иметь самые серьезные последствия: вряд ли потенциальные постояльцы доверяли бы Airbnb, если бы у владельцев жилья не было возможности заработать репутацию (а создается она в основном за счет отзывов пользователей). Да и на Amazon выбрать из тысячи товаров один нужный было бы куда сложнее без множества рецензий. Хёнджин и Майк взялись проанализировать и объяснить с научной точки зрения, почему одни платформы эффективны, а другие нет. В исследовании им помогали Yelp и другие компании (Хёнджин стажируется в Yelp как экономист). Джефф, более десяти лет проработавший в Yelp главным операционным директором, помог сделать экосистему сбора рецензий компании основным источником информации о местных услугах и сервисах.

В последние годы все больше исследователей задаются вопросом, как создать более надежный и эффективный механизм сбора потребительских оценок и создания репутации. В этой статье, написанной на основе собственного опыта научной, преподавательской и консалтинговой работы, мы рассмотрим общие принципы создания экосистемы отзывов, прольем свет на проблемы, возникающие при ее разработке, и подскажем, какие стимулы и проектные решения использовать, чтобы избежать подводных камней. Каждую из проблем мы рассмотрим более детально и предложим методы их преодоления.

Мало отзывов

Когда Yelp только начинался, эта платформа была новой по определению — ­город-мираж с горсткой читателей и рецензентов. Нехватка отзывов — типичная проблема, особенно для новых сервисов. Читают отзывы очень многие — они помогают определиться с покупкой, но пишут о своем опыте лишь единицы. Проблему усугубляет сетевой эффект: трудно привлечь рецензентов к сайту, который мало кто читает, а читающих, в свою очередь, не привлекает сервис, где мало рецензий.

Мы рекомендуем три метода, которые могут помочь с количеством отзывов: «посев» рецензий, использование поощрений и объединение товаров в категории (вместе с отзывами). Чтобы правильно скомбинировать эти методы и расставить акценты, нужно оценить такие факторы, как этап развития системы, количество товаров, которые в ней оцениваются, и саму цель ее внедрения.

«Посев» рецензий. Платформы, только выходящие на рынок, могут на первых порах привлечь платных рецензентов или использовать отзывы с других платформ (оформив с ними партнерство и обязательно указывая источник). Осваивая новый для себя город, Yelp, чтобы привлечь публику к сервису и написанию отзывов, ­формировал группу «скаутов»: те за плату посвящали часть времени написанию и размещению обзоров и фотографий, пока дела у платформы в этом городе не налаживались. Сотрудничество с другими сервисами, занимающимися сбором клиентских оценок, также может оказаться полезным, причем как для сайтов, которые собираются создать собственную систему отзывов, так и для фирм, которые этого не планируют, но хотят размещать отзывы. Такие компании, как Amazon и Microsoft, на своих сайтах публикуют рецензии потребителей их продуктов, размещенные на Yelp и других платформах.

Для тех, кто хочет создать собственную экосистему потребительских оценок, их посев может быть особенно актуальным на начальном этапе, как мера, не требующая устойчиво узнаваемого бренда. Однако при большом ассортименте товаров и услуг посев может оказаться довольно затратным, а полученные с его помощью отзывы могут отличаться от написанных по зову сердца. Поэтому не всегда имеет смысл надолго задерживаться на этом методе.

Использование поощрений. Существует множество способов побудить людей к написанию отзывов и выставлению оценок, а заодно дать им ощущение причастности  к некоему сообществу. Поощрение может быть финансовым: в 2014 году Airbnb предложила рецензентам купоны на $25, и количество отзывов увеличилось на 6,4%. Но мотивировать можно и не деньгами, а подарками или сувенирами с вашей символикой, особенно если бренд хорошо известен. В программе Google Local Guides пользователи зарабатывают очки всякий раз, когда чем-то помогают платформе: пишут отзыв, загружают фотографию, исправляют ошибку или отвечают на вопрос. Очки можно обменивать на привилегии — от приоритетного доступа  к продуктам Google до 1 терабайта бесплатного хранилища на Google Drive. В Yelp активные авторы, пишущие лучшие отзывы, входят в «элитный отряд» компании, получают особый статус и — помимо других приятных бонусов — приглашения на эксклюзивные мероприятия и вечеринки.

Недостаток финансовой мотивации — она становится обременительной, если ассортимент велик. И главное, если систему пустить на самотек, она может наводнить списки отзывов множеством небрежных и пустых рецензий.

Объединение товаров в категории. Если объединить товары и услуги в категории, то можно сделать так, чтобы один отзыв относился к целому ряду товаров. В Yelp, например, мнения клиентов о парикмахерах, работающих в одном салоне, сгруппированы вместе. Это позволяет увеличить количество отзывов о салоне, поскольку при просмотре информации о нем потребитель видит все оценки, данные отдельным парикмахерам. К тому же стилисты в салонах могут часто меняться, а репутация самого заведения не менее важна для клиентов, чем квалификация отдельного работника. Точно так же можно повысить пользу от отзыва, если просить покупателей оценивать не купленный товар, а продавца (как это делается на eBay).

Неплохо с самого начала определиться, как именно будут группироваться товары в системе, чтобы понять, какую информацию она даст потребителю (о конкретных стилистах или о салоне в целом?). Объединение в категории особенно полезно, если вы планируете расширять ассортимент: больше товаров — больше наполнение категорий.

Есть, правда, в таком подходе свой риск: количество отзывов при объединении в категории увеличивается, но потребитель рискует не получить необходимую ему информацию о конкретном товаре или услуге. В том же салоне отзывы о разных мастерах могут быть противоположными: и тогда оценка, данная одному из них, мало что скажет клиенту, которого интересует другой.

Amazon при группировке книг учитывает форму публикации: собирает вместе обзоры разных изданий одной и той же книги (в твердой и мягкой обложке плюс электронная версия для Kindle); и отдельно, под графой Audible, — рецензии на аудиокниги. С точки зрения содержания, форматы текста и аудио — одно и то же. Но, поскольку для любителей слушать книги важна также информация о качестве записи и о чтеце, есть смысл выделить аудио в отдельную категорию. Все эти стратегии помогают справиться с нехваткой отзывов, а дальше система расширяется сама собой по мере увеличения числа читателей. Однако в погоне за количеством отзывов не стоит забывать об их содержательности, а на нее могут серьезно повлиять предвзятость выбора и попытки обмануть систему.

Предвзятость выбора

Приходилось вам когда-нибудь писать отзыв в интернете? Что вас к этому подтолкнуло? Наука говорит, что это решение обычно вызвано впечатлением от сервиса. На некоторых сайтах отклики появляются чаще, если клиенты удовлетворены. На других — когда они либо очень довольны, либо совсем недовольны. В обоих случаях рейтинги необъективны, поскольку не отражают всего спектра клиентского опыта. Например, если отзывы оставляют только удовлетворенные покупатели, рейтинги будут искусственно завышены. Перекос особенно заметен, когда продавцы просят поделиться впечатлениями только довольных клиентов.

В 2011 году еBay занялась проблемой предвзятости, обратив внимание на подозрительно высокие рейтинги продавцов: у большинства из них более 99% отзывов были положительными. Компания обратилась к экономистам Крису Носко и Стивену Таделису и обнаружила, что пользователи гораздо охотнее оценивали продавца, если были довольны покупкой: из почти 44 млн транзакций на сайте всего 0,39% получали отрицательные отзывы или рейтинги; и в то же время количество открытых «споров» было более чем вдвое выше (1%), а число покупок, сопровождавшихся перепиской с продавцом с критикой в его адрес, более чем в семь раз превышало количество отрицательных отзывов (3%). Другими словами, сам факт наличия или отсутствия покупательской оценки лучше всякого рейтинга говорил о степени удовлетворенности клиента покупкой — а стало быть, и о качестве сервиса.

Руководители eBay исходили из того, что, уменьшив этот перекос и тем самым сделав более заметными лучших продавцов, они улучшат качество сервиса, а значит, и повысят продажи. Теперь рейтинг рассчитывают как процент положительных отзывов от общего числа транзакций того или иного продавца (а не от количества оставленных отзывов, как раньше). Пересчитанное медианное значение составило 67%, разброс оценок продавцов заметно увеличился — а потенциальные клиенты, видевшие новые рейтинги, стали возвращаться за повторными покупками чаще, чем покупатели в контрольной группе.

Используя аналогичный метод, вы можете проанализировать, объективно ли отражают отзывы реальную картину, насколько серьезна проблема и можно ли ее решить с помощью дополнительных данных. Перекос в любой системе потребительских оценок можно устранить, если учесть наиболее вероятные искажения. Систему оценок, начиная от просьбы оставить отзыв и до подсказок при заполнении формы, надо выстроить так, чтобы настроить рецензента на объективность. Поэкспериментировав с интерфейсом, вы поймете, как заставить потребителя дать максимально непредвзятый отзыв и преодолеть общую тенденцию оценивать только удачные (или неудачные) покупки.

Сделайте отзывы обязательными. Грубовато, но действенно — прежде чем сделать следующую покупку, клиенту придется оставить отзыв о предыдущей. Применять с осторожностью: некоторых это может оттолкнуть, а вы вместо полезных отзывов получите кучу бесполезных шаблонных оценок, то есть опять-таки искажение реальной картины. Потому этот метод борьбы с предвзятостью выбора применяется редко.

Разрешайте скрытые комментарии. Экономисты Джон Хортон и Джозеф Голден обнаружили, что на сайте Upwork при оценке работы фрилансеров работодатели неохотно оставляли отрицательные отзывы в открытую: они предпочитали сообщать о негативном опыте в комментариях, видных только администраторам сайта. (В публичных отзывах те же работодатели почти в 20% случаев давали исполнителям высшую оценку.) Для руководителей сервиса это была ценная информация о том, в каких случаях пользователи не готовы делиться своими впечатлениями с другими, а также о «проблемных» фрилансерах. С ее помощью можно было использовать либо скорректировать алгоритм подбора подрядчиков, либо вывести обобщенную оценку их работы. Обобщенная оценка, представленная как важная дополнительная информация, стала влиять на решение работодателей о выборе подрядчика.

Тщательно продумывайте инструкции. Если не углубляться в частности, клиентские оценки зависят от того, как и когда пользователей просят их давать. Снизить предвзятость оценки поможет тщательно продуманная среда, в которой клиент решает, оставлять отзыв или нет. Этот принцип часто называют «архитектурой выбора» — такое название ему придумали Касс Санстейн и Ричард Талер (авторы книги «Nudge. Архитектура выбора. Как улучшить наши решения о здоровье, благосостоянии и счастье»). Он распространяется на любую мелочь: от формулировки инструкций в графах заполняемой клиентом формы до количества вариантов, из которых нужно выбрать один.

В эксперименте на сайте Yelp мы разнообразили текст сообщения, обращенного к пользователям. Некоторые из них видели стандартный текст «Пожалуйста, оставьте отзыв», других просили помочь местным компаниям и другим пользователям найти друг друга. Отзывы, написанные последними, в среднем были обстоятельнее.

Подложные отзывы и «взаимоприятные» оценки

Иногда продавцы пытаются (в нарушение правил этики) «накрутить» собственные рейтинги, оставляя хвалебные отзывы о самих себе или, наоборот, отрицательные — о своих конкурентах, при этом выдавая их за реальные клиентские оценки. Чем влиятельнее и авторитетнее платформа, тем больше попыток ее обмануть.

Из-за вреда, который может принести потребителям подобная практика, в дело вмешались политики и регуляторы. В 2013 году Эрик Шнейдерман, занимавший тогда пост генерального прокурора штата Нью-Йорк, развернул операцию по борьбе с интернет-накрутками, мотивируя свое решение, в частности, результатами нашего исследования. Шнейдерману удалось заключить соглашение с 19 компаниями, помогавшими писать фальшивые рецензии на интернет-платформах. Соглашение предусматривало прекращение незаконной деятельности и выплату солидных штрафов за размещение заведомо ложной рекламы и обман потребителей. Но с накрутками ситуация та же, что с магазинными воришками: на одну полицию надеяться нельзя; предприниматели должны и сами активно защищаться от рецензий-фальшивок. В статье, написанной Майком вместе с Георгиосом Зервасом, рассказывается о том, как ряд фирм, в том числе Yelp, с помощью подставных агентов выводили на чистую воду компании, пытавшиеся фальсифицировать клиентские отзывы.

Похожая проблема возникает, когда покупатели и продавцы дают отзывы друг о друге, стараясь при этом добиться максимально высокой оценки от противоположной стороны. Вспомните последний раз, когда вы снимали жилье через Airbnb. После поездки вам предложили оставить отзыв о хозяине, а ему — о вас. До 2014 года, если вы давали оценку раньше, чем хозяин жилья, он мог прочитать ваш отзыв, прежде чем написать свой. В такой ситуации сто раз подумаешь, прежде чем критиковать.

Справиться с подложными и «стратегическими» отзывами помогут дизайн платформы и модерация контента.

Введите правила для рецензентов. Разрабатывая платформу, для начала определитесь, кому будет разрешено оставлять отзывы и какие из них будут выделяться особо. Amazon, например, отмечает особой иконкой оценки, данные проверенными покупателями, чтобы помочь клиентам «отбраковать» потенциальную фальшивку. Expedia идет еще дальше и разрешает оставлять отзывы только тем, кто оформил покупку через их сайт. Исследование Дины Мейзлин, Янива Довера и Джудит Шевалье показывает, что такой подход действительно может снизить количество подложных отзывов. В то же время, чересчур ограничивая доступ к написанию отзыва, мы можем отсечь много качественных оценок и рецензентов. Решите, что для вас важнее: не пропустить потенциальную фальшивку или иметь больше клиентских оценок.

Система определяет также, в какой момент можно оставить отзыв и когда он становится видимым. После того как в Airbnb поняли, что отсутствие отзыва — показатель неудовлетворенности клиента, администраторы сайта ввели правило «одновременного показа» — дабы не допустить «взаимовыгодных» оценок и повысить их объективность и полноту. Теперь отзывы становятся видны только после того, как обе стороны оценили друг друга, а сделать это можно только в течение определенного срока. Исследование Андрея Фрадкина, Елены Гревал и Дэвида Хольтца показало, что после введения этих изменений средний рейтинг и у гостей, и у хозяев снизился, а количество оставленных отзывов увеличилось — другими словами, рецензенты стали меньше бояться давать отрицательные оценки, когда исчезла угроза, что другая сторона сделает то же в отместку.

Призовите на помощь модераторов. Как бы хорошо вы ни продумали систему отзывов, полностью избежать проблем не удастся: то спам просочится сквозь ее фильтры, то кто-то в отзыве наврет с три короба, то оценки двухгодичной давности устареют. И потом, как ни старайся, а все равно будут рецензии толковые, а будут бесполезные. Можно запретить писать отзывы тем, кто ничего не приобрел через сервис — но нет гарантии, что все остальные рецензии станут содержательными и абсолютно честными. Модерация позволяет выделить из массы отзывов сомнительные на основании их содержания, а не только по рейтингу рецензента или времени написания.

Модерация бывает трех видов в зависимости от того, кто ею занимается: штатные работники, пользователи или автоматический алгоритм. Штатные модераторы (или менеджеры сообщества) пользуются сервисом постоянно, целыми днями общаются c другими пользователями, удаляют неприемлемый контент и регулярно отчитываются перед руководством. Это наиболее дорогостоящий вариант, зато он позволяет оперативно реагировать на возникающие проблемы и дает гарантию, что все происходящее на сайте под надежным контролем.

Часто сами пользователи могут сообщать о подозрительном контенте, будь то завышенная оценка, спам или другие нарушения. В Yelp вы можете специальной иконкой пометить для администраторов отзыв, в котором пользователь допускает оскорбительные высказывания по отношению к другому рецензенту или рекламирует другую фирму. В Amazon пользователей спрашивают, насколько помог им тот или иной отзыв, эти данные анализируются, после чего наиболее полезные отзывы показываются вверху списка, а самые неконструктивные не показываются вовсе. Впрочем, помечают контент обычно лишь очень немногие, поэтому, чтобы такая система работала эффективно, необходима критическая масса вовлеченных пользователей.

В основе третьего вида модерации лежат алгоритмы. На сайте Yelp специальное ПО анализирует десятки аспектов каждого из оставленных за день отзывов, присваивая лучшим статус «рекомендуемый» и отводя для них более видное место. В 2014 году, по данным компании, этот статус получили менее 75% оставленных отзывов. Amazon, Google и TripAdvisor внедрили алгоритмы, которые удаляют с платформы материалы, нарушающие правила сайта. Но алгоритмы способны не только сортировать отзывы на хорошие и плохие, но и присваивать каждому свой весовой коэффициент. В статье, посвященной агрегации клиентских отзывов, написанной Майком совместно с Дейзи Дай, Джинджер Джин и Джунминем Ли, особое внимание уделяется тому, как присвоение отзывам удельного веса позволяет решить проблемы, связанные с выведением согласованной средней оценки.

Выводы

Мнения других всегда были ценным источником информации о качестве товаров и услуг. Например, по данным Американской академии семейных врачей, в поисках докторов люди часто обращаются за рекомендацией к друзьям и родственникам. Платформы, ­объединяющие множество отзывов, ускорили и упорядочили этот процесс — приобщиться к коллективному разуму стало проще. Отзывы, публикуемые в интернете, приносят пользу и клиентам, и веб-сайтам, и регуляторам. Мы, например, пользовались данными Yelp при изучении самых разных вопросов — от изменения социального состава и среды городских районов в процессе его ­«облагораживания» до влияния повышения минимальной заработной платы на результаты предпринимательской деятельности. Но реально полезными — и для покупателей, и для продавцов, и для широкой публики — отзывы могут стать, только если разработчики и администраторы платформы тщательно продумывают каждый аспект ее функционирования, стараясь добиться, чтобы она максимально точно отражала впечатления потребителей.