Как создавать продукты на основе данных и
машинного обучения

Продукты, основанные на обработке данных и машинном обучении, могут решить множество задач пользователей. Они могут также создать так называемый «ров данных», помогающий защититься от конкурентов. Классические примеры использования данных как конкурентного преимущества — поиск Google и продуктовые рекомендации Amazon, эффективность которых растет вместе с ростом количества пользователей. Этот тезис справедлив не только для технологических гигантов: компании разных размеров и из разных секторов экономики активно инвестируют в собственные продукты, основанные на обработке данных. В Coursera мы используем механизмы машинного обучения, чтобы помогать участникам находить лучший контент для достижения учебных целей и обеспечить им всю необходимую поддержку (как личную, так и автоматизированную).

Жизненный цикл продуктов, связанных с обработкой данных, повторяет стандартный цикл разработки продукта: выявить потребность пользователя, которая нуждается в удовлетворении, создать первый образец, оценить его эффективность и выполнить последующие итерации. Однако данные добавляют еще один уровень сложности. Чтобы его преодолеть, компаниям следует уделять особое внимание межфункциональному сотрудничеству, учитывать долгосрочную перспективу, производя оценки и расставляя приоритеты, и начинать с простого.

Этап 1. Выявить потребность пользователя

Создание продукта на основе данных — командный вид спорта

Для определения ключевых потребностей пользователей и лучших возможностей для создания продукта необходимо одновременно смотреть на эту задачу с точки зрения бизнеса и с точки зрения технологий. Продакт-менеджеры, исследователи поведения пользователей и руководители обычно обладают хорошей интуицией и достаточным опытом, чтобы определить ключевые нерешенные потребности. В то же время специалисты по обработке данных и разработчики практически безошибочно распознают перспективные решения и обладают четким представлением о том, что можно масштабировать и как.

Чтобы определить лучшую возможность для запуска продукта и грамотно расставить приоритеты, оба типа специалистов должны объединить усилия. Вот несколько правил, которые могут вам помочь:

• Убедитесь, что специалисты по обработке и анализу данных хорошо понимают потребности бизнеса и пользователей. Специалисты по работе с данными должны работать в связке с продакт-менеджерами, специалистами по исследованию пользовательского поведения и бизнес-лидерами. В их должностные обязанности должно входить глубокое изучение данных, которые помогут понять пользователей и прояснить их основные потребности.

• Сделайте специалистов по обработке данных «евангелистами», связывающими возможности, которые открывает работа с данными, с общими целями организации. Они могут предоставлять остальным сотрудникам доступ к необработанным данным, создавать примерные образцы будущего продукта на ранних этапах разработки и полноценные прототипы на более поздних стадиях.

• Повышайте знание сотрудников о работе с данными. Многие люди, работающие в разных сферах и на разных должностях, повышают свои знания и умения в области работы с данными, и работодатели могут ускорить этот тренд, инвестируя средства в специализированные программы обучения. Чем выше будет информационная грамотность у представителей продуктовых и бизнес-подразделений, тем лучше они смогут сотрудничать с разработчиками и специалистами по данным.

• Прислушайтесь к специалистам по данным. В какой бы форме обработка и анализ данных ни присутствовали в ваших рабочих процессах (например, централизованно или децентрализовано), привлечение ведущих специалистов по данными к обсуждению бизнес-стратегии компании, повысит эффективность разработки основанных на данных продуктов.

Расставляйте приоритеты с прицелом на будущее

Основанные на данных продукты, как хорошее вино, с возрастом становятся только лучше. У этого есть две причины:

Во-первых, такие продукты обычно ускоряют сбор данных, что, в свою очередь, улучшает их работу. Для примера рассмотрим рекомендательный сервис, работающий за счет данных, которыми пользователи делятся на своих личных страницах. Поначалу данных немного и первые (или «холодные») рекомендации могут быть не слишком высокого качества. Но чем охотнее пользователи заполняют профиль, чтобы персонализировать свой опыт, тем сильнее рекомендательный сервис ускоряет сбор информации, что с течением времени повысит общую эффективность рекомендаций.

Во-вторых, многие продукты, основанные на данных, могут поддерживать работу нескольких приложений. Речь идет не только о том, чтобы использовать дорогостоящие исследования и разработку для различных пользовательских сценариев, но и о том, чтобы создать эффект сетевой выгоды с помощью всех полученных данных. Если данные, собираемые каждым приложением, возвращаются к общей базе данных, это улучшает работу продукта, что, в свою очередь, способствует росту количества пользователей, а значит, и количества поступающих данных — и так далее. Инструмент Coursera под названием «Skills Graph» — тому пример. Ряд алгоритмов составляет библиотеку навыков, соотнося их с образовательным контентом, профессиями и учениками. Так они обеспечивают работу приложений, облегчающих поиск информации на сайте, которые, в свою очередь, собирают данные о поведении пользователей. Эти данные улучшают работу «Skills Graph», а следовательно и зависящих от него приложений.

Слишком сильный фокус на краткосрочных показателях может привести к недостаточным инвестициям в перспективные среднесрочные и долгосрочные возможности. В целом, значение качественных данных невозможно переоценить. Инвестиции в сбор и хранение данных должны быть приоритетными на каждом этапе работы.

Этап 2. Создать продукт

Снижайте риски, разбив запуск на несколько этапов

Продукты, основанные на анализе данных, обычно проверяют на работоспособность алгоритма и на то, нравится ли он пользователям. В результате, создатели таких продуктов сталкиваются с неминуемым противоречием между тем, сколько инвестировать в исследования и разработку, и тем, как быстро выпустить прототип, чтобы проверить, решает ли он основную потребность пользователей.

Команды, которые больше тратят на техническую проверку, чем на исследование соответствия продукта рынку, рискуют потратить ресурсы на продукт, решающий неактуальную проблему (или предлагающий неверное решение). Команды же, которые слишком много инвестируют в проверку на соответствие потребностям пользователей и ограничивают затраты на исследования и разработку, в конечном счете могут представить пользователям сырой прототип и получить ложный отрицательный результат. Выпустив минимально жизнеспособный продукт, основанный на слабой модели, можно вызвать недовольство пользователей, хотя, возможно, при более серьезных вложениях в исследования и разработку результат был бы другим.

В такой ситуации нет единственно верного решения, но на помощь может прийти поэтапный запуск. Начните с чего-то простого, и это поможет ускорить как тестирование, так и сбор важных данных. Например, разрабатывая Skills Graphs мы изначально запустили поиск на основе навыков — приложение, для которого требовалось лишь несколько функций финального продукта, и которое генерировало множество дополнительных данных для обучения алгоритма. Вот что поможет сократить время тестирования:

• Упрощенные модели, как правило, проще выпустить на рынок. Их также проще объяснять, отлаживать и использовать как основу для будущих улучшений. Несмотря на то, что глубинное обучение — мощный инструмент (и оно точно в тренде), это не лучшее решение на старте.

• Внешние источники данных (будь то решения в свободном доступе, платные или полученные в рамках партнерства) могут ускорить процесс разработки. В случае, если особую ценность приобретут данные, которые сгенерировал сам продукт, он может быть адаптирован с фокусом на это конкурентное преимущество.

• Более узкая ниша позволит запустить продукт с менее сложными алгоритмами. Например, некоторые приложения могут изначально создаваться и запускаться для определенного подмножества пользователей или сценариев использования.

• Ручное управление (когда люди либо полностью выполняют работу, которую в конечном итоге должна взять на себя модель, или проверяют и настраивают результаты, полученные с помощью модели) может еще больше ускорить процесс разработки. В идеале это делается для того, чтобы с течением времени автоматизировать то, что сейчас делается вручную, и тем самым увеличить потенциал продукта.

Этап 3. Оценить и улучшить

Учитывайте будущий потенциал, оценивая работу продукта

Оценить работу продукта, чтобы принять решение о его выпуске на рынок, гораздо сложнее, чем одобрить небольшое улучшение пользовательского интерфейса. Дело в том, что основанный на данных продукт может значительно улучшиться по мере сбора все большего количества информации, а базовые продукты могут со временем обрести гораздо более широкий функционал. Прежде чем отказываться от неуспешного продукта, попросите своих специалистов по работе с данными найти ответы на несколько важных вопросов. Например, с какой скоростью продукт органически повышает эффективность своей работы за счет сбора данных? Сколько есть простых способов улучшить существующие алгоритмы? Какие виды приложений могут появиться в будущем? Вы можете выяснить, что от продукта с не самыми лучшими показателями пока не стоит отказываться.

Скорость итераций имеет значение

Продукты, основанные на данных, часто нуждаются в поэтапном улучшении алгоритма и пользовательского интерфейса. Задача состоит в том, чтобы, основываясь на данных и отзывах пользователей, определить, доработка каких функций в каждой итерации принесет максимум пользы. В случае, если важнее повышение эффективности алгоритма (что характерно для разработки сложных рекомендательных или коммуникационных системах, как, например, персонализированная помощь ученикам от Coursera), рассмотрите возможность создать систему, которая позволила бы специалистам по данным самостоятельно запускать и тестировать новые модели в «боевом» режиме.

Укрепляя сотрудничество между продакт-менеджерами, руководителями и специалистами по работе с данными, отдавая приоритет инвестициям с фокусом на долгосрочную перспективу и начиная с простого, компании разных типов и размеров могут ускорить разработку эффективных основанных на данных продуктов, которые удовлетворяют ключевые потребности пользователей, способствуют развитию бизнеса и дают ему устойчивое конкурентное преимущество.

Об авторе. Эмили Глассберг Сэндс (Emily Glassberg Sands) — старший директор по работе с данными в Coursera.