Друг или враг: что ждать человечеству от искусственного интеллекта
и роботов

От редакции. Стоит ли бояться роботов и компьютеров? Помогут ли они миллиардам людей на Земле или превратятся для них в одну из главных опасностей? На эти и другие вопросы отвечает книга Джона Маркоффа «Homo Roboticus? Люди и машины в поисках взаимопонимания», русский перевод которой выходит этим летом в издательстве «Альпина нон-фикшн». Мы публикуем один из самых интересных отрывков из нее.

Выбор пути, по которому пойдет развитие искусственного интеллекта…, налагает огромную ответственность на два сообщества разработчиков, описанных в этой книге. Когда Стив Джобс собирал команду инженеров, которая должна была вдохнуть новую жизнь в мир персональных компьютеров с помощью Lisa и Macintosh, он ясно видел цель. Джобс думал о компьютерах как о «велосипеде для разума». Персональные компьютеры, первоначально предложенные небольшой группой инженеров и провидцев в 1970-е годы, оказали огромное влияние на экономику и современные трудовые ресурсы. Они расширяли возможности каждого человека и высвобождали творческий потенциал людей в глобальном масштабе.

Три десятилетия спустя робототехнический проект Энди Рубина в Google также осуществляется небольшой группой инженеров, создающих самых современных роботов. Рубин начал работу со столь же ясной, хотя и существенно отличающейся целью. Когда он начинал скупать технологии и специалистов, которые должны были ввести Google в мир робототехники, ему казалось, что 10–15 лет достаточно для достижения значительного прогресса в самых разных областях робототехники — от шагающих машин до манипуляторов и сенсорных систем. В его воображении двуногие роботы Google выпрыгивали из автомобилей Google и доставляли пакеты к крыльцу заказчиков.

Сегодня в равной мере можно как включить людей в компьютерные системы, так и исключить их. Дальнейшее развитие и искусственного интеллекта, и средств усиления интеллекта заставит робототехников и ученых-компьютерщиков выбирать, как будут выглядеть системы на рабочих местах и в окружающем нас мире. Хотим мы этого или нет, но скоро нам придется сосуществовать с автономными машинами.

Разработчик программного обеспечения и консультант автомобильного проекта Google Брэд Темплтон как-то заметил: «Робот станет действительно автономным, когда вы прикажете ему идти на работу, а он решит отправиться на пляж». Это замечательная фраза, в которой самосознание соединяется с автономностью. Сегодня машины начинают действовать без значимого вмешательства людей или на уровне независимости, которую можно считать автономностью. Это ставит трудные вопросы перед разработчиками интеллектуальных машин. Однако по большей части инженеры игнорируют этические проблемы, возникающие при использовании компьютерных технологий. Лишь изредка сообщество исследователей искусственного интеллекта поддается дурным предчувствиям.

На проходившей в Атланте в 2013 году конференции Humanoids, посвященной разработке и применению антропоморфных роботов, робототехник из Технологического института Джорджии Рональд Аркин обратился к аудитории со страстной речью под названием «Как НЕ создать Терминатора». Он напомнил собравшимся, что к своим трем знаменитым законам Азимов позднее добавил фундаментальный «нулевой» закон робототехники, который гласит: «Робот не может причинить вред человечеству или, бездействуя, допустить, чтобы человечеству был причинен вред». Обращаясь более чем к 200 робототехникам и специалистам по искусственному интеллекту из университетов и компаний, Аркин призвал более глубоко задуматься о последствиях автоматизации. «Все мы знаем, что соревнования [DARPA Robotics Challenge ] проходят с прицелом на чрезвычайные ситуации под девизом “найти и уничтожить”, — сказал он сардонически, добавив: Простите, я имел в виду девиз “найти и спасти”»…

«Если вы хотите создать Терминатора, то продолжайте делать свое дело не задумываясь и вы получите именно такое устройство, — сказал Аркин. — Но миру вокруг нас не все равно, какие будут последствия у того, что мы создаем».

Вопросы и проблемы автоматизации вышли за пределы технического сообщества. В оставшемся незамеченным открытом отчете Пентагона «Роль автономности в оборонных системах» авторы обратили внимание на этические проблемы автоматизации боевых систем. Военные уже напрямую сталкиваются с противоречиями, связанными с автономными системами вроде дронов и приближением к грани, за которой вопросы жизни и смерти уже будут решать не люди… Действительно, технологии все более интеллектуального и автоматизированного оружия спровоцировали новую гонку вооружений. Добавление недорогого интеллекта к системам вооружений угрожает изменить баланс сил между странами. Когда Аркин завершил свое выступление в величественном здании Медицинской академии в Атланте, одним из первых ему ответил директор DARPA Robotics Challenge Гилл Пратт. Он не стал опровергать точку зрения Аркина, а подтвердил, что роботы — технология двойного назначения. «Очень легко критиковать роботов, которых финансирует Министерство обороны, — сказал он. — Очень легко нарисовать робота, который похож на Терминатора, но, поскольку все вокруг нас имеет двойное назначение, это ничего не меняет. Если вы создаете робота для здравоохранения, то вам придется сделать его более автономным, чем робота-спасателя для работы в чрезвычайных ситуациях».

Передовые технологии всегда вызывали вопросы относительно двойного назначения. В наши дни искусственный интеллект и автономность машин привели к переосмыслению этой проблемы. До сих пор технологии двойного назначения прямо требовали от людей принятия этических решений относительно их использования. Автономность машин или отдаляет принятие этических решений человеком, или полностью исключает его.

У нас уже есть примеры, когда ученые и инженеры в других областях задумывались о потенциальных последствиях того, что они делают, и многие из них вставали на защиту человечества. В феврале 1975 года, например, нобелевский лауреат Пол Берг призвал элиту новой тогда биотехнологии встретиться в конференц-центре Асиломар в Пасифик-Гроув, Калифорния. В то время рекомбинантная ДНК, полученная добавлением новых генов в ДНК живых организмов, была последним достижением. Оно одновременно сулило глобальный прогресс в медицине, сельском хозяйстве и новых материалах и открывало страшную возможность ненамеренного уничтожения человечества в результате появления новых микроорганизмов. Встреча ученых привела к экстраординарному решению. Группа рекомендовала молекулярным биологам воздерживаться от определенных видов исследований и приостанавливать исследования для поиска путей обеспечения безопасности. Для мониторинга отрасли биотехнологи создали независимый комитет в Национальном институте здравоохранения. За десятилетие удалось собрать достаточно данных, чтобы снять ограничения на исследования. Это был яркий пример разумного подхода общества к оценке последствий научного прогресса.

По примеру биологов в феврале 2009 г. группа исследователей искусственного интеллекта и робототехников также встретилась в Асиломаре, чтобы обсудить развитие отрасли. Встречу созвал исследователь из Microsoft Эрик Хорвиц, президент Ассоциации развития искусственного интеллекта. В предыдущие пять лет предметом обсуждения у исследователей в этой области были два тревожных сигнала. Один поступил от Рэя Курцвейла, объявившего об относительно скором появлении компьютерного сверхинтеллекта. Основатель Sun Microsystems Билл Джой также рисовал мрачную картину развития искусственного интеллекта. Он опубликовал статью в журнале Wired, где детально описывал трио технологических угроз: робототехнику, генную инженерию и нанотехнологию. Джой полагал, что эти области исследований создают тройную угрозу выживанию человечества, и не видел очевидного решения.

Встретившиеся в Асиломаре исследователи искусственного интеллекта предпочли действовать менее осторожно, чем их предшественники биотехнологи. Группа светил в области компьютерной науки и робототехники, включая Себастьяна Труна, Эндрю Ына, Мануэлу Велосо и Орена Этциони, нынешнего директора Института исследований искусственного интеллекта Пола Аллена, в целом отвергла возможность появления сверхинтеллекта, который превзойдет людей, а также предположение, что искусственный интеллект может спонтанно возникнуть в интернете. Они согласились, что уже разрабатываются способные убивать автономные роботы, но их отчет, появившийся к концу 2009 года, оказался довольно спокойным. Искусственный интеллект еще не достиг того момента, когда он превращается в непосредственную угрозу. «На встрече 1975 года речь шла о моратории на исследования рекомбинантной ДНК. Контекст совещания американской Ассоциации развития искусственного интеллекта был совершенно иным. Эта область демонстрирует довольно успешное, устойчивое развитие, однако исследователи искусственного интеллекта открыто выражают разочарование прогрессом, недостаточно быстрым с учетом существующих надежд и ожиданий», — написали авторы итогового отчета о встрече.

Так или иначе пять лет спустя вопрос автономности машин возник снова. В 2013 году, когда Google приобрела специализировавшуюся на машинном обучении британскую фирму DeepMind, считалось, что робототехники очень близки к созданию полностью автономных роботов. Крошечный стартап продемонстрировал программу, которая играла в видеоигры порою лучше людей. Отчеты о приобретении сопровождались заявлением, что Google создает «совет по этике» из-за опасений по поводу потенциального использования технологии и возможных злоупотреблений. Один из соучредителей DeepMind — Шейн Легг признал, что технология в конечном итоге может иметь негативные последствия для человеческого рода. «Я думаю, что человечество исчезнет, и технология, скорее всего, сыграет в этом определенную роль». Для исследователя искусственного интеллекта, который только что получил сотни миллионов долларов, это была странная позиция. Если кто-то полагает, что технология может уничтожить человечество, то с какой целью он продолжает разрабатывать ее?

В конце 2014 года встреча по искусственному интеллекту повторилась — новая группа исследователей, финансируемая одним из основателей Skype, собралась в Пуэрто-Рико, чтобы обсудить вопросы обеспечения безопасности исследований. Несмотря на новую волну тревожных сигналов от таких светил, как Илон Маск и Стивен Хокинг, в открытом письме участников не было того призыва к действию, который прозвучал на встрече биотехнологов в Асиломаре в 1975 году. Учитывая, что DeepMind была куплена Google, публичное философствование Легга приобретает особое значение. Сегодня Google — самый яркий пример потенциальных последствий развития искусственного интеллекта и усиления интеллекта . Построенная на алгоритме, эффективно собирающем знания, а затем возвращающем их людям в процессе поиска информации, Google теперь занята созданием империи роботов. Компания может создать машины, которые заменят людей: водителей, работников служб доставки и сборщиков электроники. Пока неясно, останется ли она компанией «усиления интеллекта» или будет ориентироваться на искусственный интеллект…

Вышедший в декабре 2013 года фильм «Она» нашел широкий отклик в обществе, скорее всего, потому, что миллионы людей уже взаимодействуют с персональными помощниками, такими как Siri компании Apple. Взаимодействие, подобное показанному в фильме, стало обычным. По мере того как компьютеры уменьшаются в размерах и встраиваются в предметы повседневного пользования, мы ожидаем, что взаимодействие с ними будет разумным. Работая над Siri, пока проект был еще скрыт от общественного внимания, Том Грубер называл систему «интеллект в интерфейсе». Ему казалось, что он сумел соединить конкурирующие миры искусственного интеллекта и усиления интеллекта…

Люди уже сейчас тратят существенную часть времени бодрствования на взаимодействие через компьютеры друг с другом или с подобными человеку машинами в видеоиграх или в виртуальных системах от FAQbots до Siri . Мы используем поисковые системы даже в каждодневных разговорах друг с другом. Станут ли эти интеллектуальные аватары нашими слугами, помощниками и коллегами или одновременно одним, другим и третьим? Или нас ждет более мрачный сценарий, при котором они превратятся в наших хозяев? Подход к роботам и искусственному интеллекту с точки зрения социальных взаимоотношений может в первый момент показаться абсурдным. Тем не менее, с учетом нашей склонности к очеловечиванию машин, мы наверняка будем вступать с ними в социальные отношения по мере повышения их автономности. В конце концов, разница между отношением человека к роботам и традиционным отношением людей к рабам, которых хозяева обезличивали на протяжении всей истории, не так уж велика. Гегель рассматривал отношения между господином и рабом в «Феноменологии духа», и его идеи относительно «диалектики господин —раб» повлияли на многих мыслителей от Карла Маркса до Мартина Бубера. В основе диалектики Гегеля лежит положение об обезличивании и господина, и раба в процессе их взаимоотношений…

Создание интеллектуальных «помощников» может вновь создать проблему, с которой столкнулись римляне, позволив греческим рабам думать за них. Довольно быстро находившиеся у власти утратили способность думать самостоятельно. Не исключено, что мы уже встали на этот путь. Например, появляется все больше свидетельств того, что использование GPS для определения направления и исправления ошибок в определении местоположения ухудшает наши способности ориентироваться в пространстве, которые принципиально важны для выживания. «Меня спрашивают, захватят ли компьютеры мир? — говорит Кей (Алан Кей — один из выдающихся разработчиков Xerox, Apple, стоявший у истоков создания современных персональных компьютеров — прим. ред.) — Для большинства это уже произошло, поскольку мы уступили им полномочия принимать решения по очень многим вопросам».

Это подводит нас ко второй большой проблеме: риску уступить контроль над принятием повседневных решений все более сложным алгоритмам. Не так давно ветеран венчурного бизнеса Кремниевой долины Рэнди Комисар был на конференции и слушал выступление, описывавшее конкурента Siri — сервис Google Now. «Похоже, людям до смерти хочется, чтобы какой-то интеллект подсказывал им, что надо делать, —сказал он. — Что они должны есть, с кем должны встречаться, на какие вечеринки должны ходить». На его взгляд, для сегодняшнего молодого поколения мир перевернулся вверх ногами. Вместо того чтобы использовать компьютеры для получения свободы и возможности мыслить масштабно, для установления близких отношений, для реализации своей индивидуальности и творческого потенциала, молодые люди настолько жаждут указаний, что готовы передать эту ответственность искусственному интеллекту в облаке. То, что начиналось как интернет-технологии, позволившие людям совместно использовать возникшие возможности, быстро превратилось в растущий массив алгоритмов, которые все больше диктуют им, что делать.

Теперь интернет незаметно для пользователя определяет образ жизни. Это могут быть небольшие подсказки, например поиск лучшего кафе с корейским барбекю поблизости с учетом ваших предпочтений и потребностей, или более серьезные решения, подобные интернет-сервису по организации свадьбы: подбор не только блюд, подарков и цветов, но и вашей пары…

Немногим более столетия назад Торстейн Веблен написал фундаментальную работу с критикой индустриального мира на рубеже веков «Инженеры и система цен» (The Engineers and the Price System). По его мнению, из-за могущества и влияния промышленной технологии политическая власть должна перейти к инженерам, которые могут использовать свои глубокие знания для контроля развивающейся промышленной экономики. Этого, конечно, не случилось. Веблен апеллировал к эре прогрессизма, пытаясь найти компромисс между марксизмом и капитализмом. Возможно, он неправильно выбрал время, но его основное положение, повторенное полвека спустя, на заре компьютерной эры, Норбертом Винером, может еще оказаться правильным. Сегодня инженеры, создающие основанные на искусственном интеллекте программы и роботов, очень сильно влияют на то, как мы будем использовать их. По мере того как компьютерные системы все глубже вплетаются в ткань повседневной жизни, противоречие между усилением интеллекта и искусственным интеллектом становится все заметней.

На то, что началось для меня как парадокс, есть простой ответ. Устранение противоречия между искусственным интеллектом и усилением интеллекта зависит от решений людей — инженеров и ученых, подобных Биллу Дювалю, Тому Груберу, Адаму Чейеру, Терри Винограду и Гари Брадски, которые осознанно выбрали антропоцентрический подход.

На заре компьютерной эры Винер отчетливо понимал значимость отношений между людьми и их созданиями — умными машинами. Он видел благо автоматизации в избавлении людей от тяжелой работы, но беспокоился, что эта же самая технология может поработить человечество. Прошедшие десятилетия лишь обострили двойственность, на которую он первым обратил внимание.

Это проблема нас как людей

и мира, который мы создаем. Это не проблема машин.