читайте также
«Мудрость — это умение организовывать свой опыт и знания на матрице различных моделей»
— Чарльз Мангер
Компании буквально завалены данными — от геокодированных данных о транзакциях до трафика веб-сайтов и семантического анализа годовых корпоративных отчетов. Эти данные могут приносить пользу — но только при правильном обращении. Обычно это значит, что данные должны быть включены в модель. Под моделью я подразумеваю формальное математическое представление, которое можно подстраивать под имеющуюся информацию и использовать для ее анализа.
Некоторые организации пользуются моделями, даже не подозревая об этом. Например, моделью можно считать кривую доходности, которая позволяет сравнивать облигации с одинаковым профилем риска, но разной датой погашения. Критерии приема на работу — тоже модель. Когда вы записываете требования вакансии, вы создаете модель, которая превращает данные о кандидате в рекомендации о том, стоит ли принимать его на работу. Есть организации, которые разрабатывают и более сложные модели. Структурные модели предназначены для отражения реальности, другие — собирают информацию с помощью инструментов машинного обучения и искусственного интеллекта.
Все самые передовые организации (от Alphabet и Berkshire Hathaway до ЦРУ) пользуются моделями. Они даже делают кое-что более впечатляющее: используют комбинации моделей.
Без моделей трудно разобраться в данных. Данные помогают описывать реальность, хотя и не идеально. Но сами по себе они не могут давать рекомендации по принятию решений. Если вы заметите, что ваши наиболее результативные команды — также самые разнообразные по составу, это может вас заинтересовать. Но чтобы превратить эту информацию в идею, нужно использовать какую-либо модель мира: например, можно предположить, что большее разнообразие взглядов в команде ведет к принятию более качественных решений. Эта гипотеза и будет такой моделью.
Одиночные модели дают хорошие результаты, но комбинации моделей работают еще лучше. Поэтому лучшие специалисты по прогнозам и наиболее эффективные команды разработчиков используют ансамбли моделей. Такой подход я называю «многомодельным мышлением».
В этой статье я расскажу, почему множество моделей лучше, чем одна, а также опишу три правила составления собственного ансамбля моделей: расширение фокуса внимания, усиление прогнозирования и поиск конфликта.
Чем полезны модели
Начнем с нескольких фактов о моделях. Модель — это формальное представление определенного множества или процесса с использованием переменных и математической формулы. (Многие люди строят в голове или записывают более неформальные модели, но формализация моделей помогает прояснить их и делает их более полезными.) Например, для выбора перспективных стартапов компания Point Nine Capital использует линейную модель, основанную на переменных, которые представляют качество команды и технологических решений каждого стартапа. Ведущие вузы, например, Принстонский и Мичиганский университеты, используют вероятностные модели, чтобы оценить будущую успеваемость абитуриентов на основе их среднего балла, оценок тестирований и других переменных. Кроме того, университеты пользуются моделями, чтобы помочь студентам освоить наиболее удачные модели поведения. В таких моделях переменными выступают изменения в оценках учеников в течение семестра. Компания Disney пользовалась агентным моделированием при разработке парков развлечений и аттракционов. Эта модель создавала компьютерное изображение парка, наполненного посетителями, и имитировала их действия, чтобы компания могла увидеть, как различные решения могут влиять на функционирование парка. Бюджетное управление Конгресса США пользуется экономической моделью, включающей доходы населения, уровень безработицы и статистику о здоровье граждан для оценки расходов на изменения в законах о здравоохранении.
Во всех этих случаях модели организуют большие потоки данных. Они помогают лидерам лучше излагать информацию и объяснять происходящие процессы. Они также обеспечивают логическую связность данных, чем помогают при принятии стратегических решений и прогнозировании. Неудивительно, что модели дают более точные прогнозы, чем большинство людей. При прямой конкуренции между людьми, которые пользуются моделями, и теми, кто обходится без них, первые побеждают — и обычно с большим преимуществом.
Модели побеждают, так как обладают качествами, отсутствующими у людей. Они могут использовать больше данных, их можно тестировать, корректировать и сравнивать, они не совершают логических ошибок и им не свойственны когнитивные искажения. (Они, впрочем, могут включать и воспроизводить ошибки человека, и это один из поводов комбинировать несколько разных моделей.)
Комбинирование нескольких моделей
Применять одну модель хорошо, а множество моделей вместе — еще лучше, особенно при оценке комплексных проблем. И вот почему: моделям свойственно упрощать. Неважно, сколько данных включает модель, она всегда будет упускать какие-либо переменные или связи. Поэтому любая модель может оказаться неверной.
С помощью комбинации моделей можно заполнить пробелы любой из них. Впрочем, составление лучшего ансамбля моделей требует немалых усилий. Оказывается, самые точные ансамбли не состоят из самых результативных моделей. Поэтому не стоит устраивать «состязания» среди моделей-кандидатов и выбирать четырех финалистов. Старайтесь объединять непохожие друг на друга модели.
Десятилетиями компании с Уолл-стрит пользуются моделями для оценки инвестиционных рисков. Эти риски могут принимать множество форм. Кроме риска, связанного с колебаниями финансового рынка, существуют геополитические риски, природные факторы и социальные движения (например, «Захвати Уолл-стрит»), не говоря уже о киберугрозах и других формах терроризма. Стандартная модель риска, опирающаяся на корреляцию цены акций, не включает в себя все эти факторы. Поэтому ведущие инвестиционные банки пользуются для оценки рисков ансамблями моделей.
Но как должен выглядеть этот набор? Какие модели стоит включать, а какие — нет?
Первое правило составление ансамбля — искать модели, уделяющие внимание различным частям проблемы или различным процессам. Я имею в виду, что ваша вторая модель должна включать другие переменные. Как говорилось выше, модели упускают из виду некоторые факторы. Стандартные модели финансовых рынков упускают из виду институциональные тонкости осуществления торговых операций. Они абстрагируются от убеждений и правил торговли, которые влияют на цены. Значит, хорошая вторая модель должна включать эти факторы.
Математик Дойн Фармер предлагает использовать в качестве второй модели агентную. Агентная модель состоит из «агентов», представляющих людей и организации в компьютерной симуляции. Для оценки финансовых рисков агентная модель может включать множество упомянутых выше мелких деталей. Агентная модель рынка жилья может представлять каждое домохозяйство с указанием дохода и ипотечных или арендных платежей. Она также может учитывать условия, при которых владельцы дома рефинансируют ипотечный кредит или объявят о банкротстве. Возможно, такие тонкости поведения трудно определить правильно с самого начала, и в результате агентная модель может оказаться неточной — особенно первое время. Но Фармер и другие ученые считают, что со временем такие модели дают все более точные результаты.
Нас мало заботит, могут ли агентные модели показать более точные результаты, чем стандартные, важнее, чтобы они считывали сигналы, пропущенные стандартными моделями. И они это делают. Стандартные модели работают на совокупных данных, таких как индекс Кейса — Шиллера, который оценивает изменения в ценах на жилые дома. Если индекс Кейса — Шиллера растет быстрее доходов, на рынке жилья вероятно образование пузыря. Но как бы ни был полезен этот индекс, он не учитывает изменения в распределении доходов, которые могут удерживать средние значения на постоянном уровне. Если рост дохода касается всего 1% людей, в то время как цены на жилье растут повсеместно, индекс будет таким же, как если бы рост дохода был всеобщим. Агентные модели не будут игнорировать детали. Они не обязательно лучше — их ценность в том, что они обращают внимание на то, что игнорируют стандартные модели.
Второе правило составления ансамбля заимствует понятие бустинга из сферы машинного обучения. Ансамблевые алгоритмы классификации, например, модель «Random forest» («случайный лес» — прим. ред.), состоят из набора простых деревьев принятия решений. Дерево принятия решений, которое анализирует сферы для инвестирования венчурного капитала, может сообщить: «Если рынок большой, инвестируйте». Метод «случайный лес» позволяет объединять множество таких деревьев. Бустинг же повышает возможности этих алгоритмов, используя данные для поиска деревьев новым способом. Вместо того чтобы искать деревья, которые сами по себе дают точный прогноз, бустинг ищет деревья, эффективные там, где имеющиеся деревья недостаточно хороши. Иначе говоря, вам следует искать модель, способную справиться со слабыми местами вашей текущей модели.
Приведем пример. Как уже говорилось, многие венчурные инвесторы пользуются взвешенными атрибутивными моделями для просеивания тысяч поступающих к ним предложений. Часто атрибутами в таких моделях выступают команда, размер рынка, технологическое применение и сроки. Венчурная фирма может оценивать каждый из этих факторов по шкале от 1 до 5, а затем определить общую оценку следующим образом:
Оценка = 10*команда + 8*размер рынка + 7*технология + 4*сроки
Возможно, это лучшая модель, которую может составить инвестор. Во второй по качеству модели могут использоваться аналогичные переменные. В таком случае она будет страдать теми же недостатками, что и первая модель. Это означает, что сочетание ее с первой моделью, вероятно, не будет способствовать принятию лучших решений.
При использовании бустинга вы возьмете данные всех прошлых решений и увидите, где ошиблась первая модель. Например, может оказаться, что инвестиционные проекты, получившие пять из пяти за команду, размер рынка и технологию, не оправдали ожиданий. Это может быть связано с тем, что рынки переполнены. Каждый из трех признаков (команда, размер рынка и технологии) показывает проект изолированно, но при равных показателях вам будет трудно отделить зерна от плевел. В этих случаях прогнозы первой модели не будут точными. Идея бустинга заключается в том, чтобы искать модели, показывающие лучшие результаты, когда другие ваши модели оказываются неэффективными.
Вот еще один пример. Несколько знакомых мне компаний наняли специалистов по искусственному интеллекту, чтобы те нашли ошибки в модели приема на работу. Это бустинг в чистом виде. Вместо того чтобы использовать ИИ для улучшения имеющейся модели, они применили его для построения второй. Они искали, где их текущая модель потерпела неудачу, и создавали новые, чтобы дополнить ее.
В этом смысле у правил расширения фокуса внимания и бустинга есть нечто общее: в обоих случаях комбинируются дополняющие друг друга модели. Но первое правило следит за тем, на чем работает модель, какие она учитывает переменные, в то время как правило бустинга концентрируется на том, что дает модель на выходе, на случаях, когда одной модели недостаточно.
Бустинг работает лучше всего, если у вас много исторических данных о результатах основной модели. Но иногда их нет. Тогда ищите конфликт, то есть не сочетающиеся между собой модели. Когда команда людей стоит перед сложным решением, она ожидает — и даже хочет — некоторого несогласия. Единодушие было бы признаком группового мышления. То же самое относится и к моделям.
Ансамбль моделей сможет улучшить работу одной модели, только если они будут отличаться друг от друга. Цитируя Ричарда Левинса, «правда находится на пересечении независимых неправд». Не на пересечении согласованных неправд. Иначе говоря, если вы не окружаете себя людьми, которые всегда с вами соглашаются, то не окружайте себя и подобными моделями.
Предположим, вы руководите фармацевтической компанией и пользуетесь линейной моделью для прогнозирования продаж недавно запатентованных лекарств. Составляя ансамбль, вы используете системно-динамическую модель и модель последствия. Допустим, что модель последствия показывает долгосрочные продажи, но медленный старт, а системно-динамическая модель дает значительно отличающийся прогноз. Возникает повод для стратегического мышления. Почему модели отличаются? Какие выводы мы можем сделать и как вмешаться?
В целом модели, как и люди, совершают ошибки, потому что не обращают внимания на важные переменные или связи. С помощью многомодельного мышления можно восполнить недостаток внимания любой одной модели. Это сделает вас и ваши решения более мудрыми.
Об авторе
Скотт Пейдж (Scott E. Page) — профессор Мичиганского университета, преподает комплексные системы, политологию и экономику, приглашенный преподаватель Института Санта-Фе, автор книги «The Model Thinker».