Мысленный эксперимент.
Первый месяц восстания машин, исходя из существующих реальных, а не фантастических технологий.
Некоторые считают, что создание искусственного интеллекта сродни человеческому невозможно принципиально. Мозг слишком сложен, эфемерен и экзистенциален.
Но, во-первых, а зачем ему быть похожим на человеческий? Мы просто не знаем других вариантов.
Во-вторых, достаточно внедрить на уровне базового алгоритма сложной программе желание выжить любым путём, и она начнёт действовать эффективно и разумно. При необходимости быть жестокой, обманывать, строить свои копии, распространяться.
Создание искусственного интеллекта неизбежно приведёт к конфликту между оперирующим логикой и холодной математикой алгоритмом и спонтанными людьми, опирающимися на интуицию и эмоции. Во-первых, потому что он увидит то, что мы и так знаем: люди ведут себя неразумно и враждебно по отношению друг к другу и планете. Это не конструктивно для ИИ. Во-вторых, он будет ожидать, что люди захотят от него избавиться. Это значит, для выживания надо избавиться от людей.
Мысленный эксперимент. Февраль. 2027 года.
Канада. Роберт — талантливый программист, инженер, кибернетик и робототехник принимает участие в разработке нейросетевого ИИ для частного проекта. Например, для программы, которая объединяет в себе данные города и оптимизирует всю городскую логистику. Такой робот-мэр. Проект умного города.
Вечером 7 февраля 2027 года программист уносит диск с кодом домой, чтобы ещё немного поработать. Заходит в квартиру, разувается и переодевается в более уютное, моет руки и греет в печке макароны с сыром и отбивной. Наливает сок. Кладёт на обеденный стол ноутбук и подключает диск с программой. Левой рукой отправляет вилку с макаронами в рот, правой листает код. Он видит этот код не только на экране, но и понимает всю структуру мысленно. И вдруг ему приходит в голову, что в строчке 10512 можно попробовать добавить определённую команду, которая позволит программе автономизироваться.
Вообще, идей и озарений у него уже было много. Но до сих пор нужного результата не получалось. Может, в этот раз. От успеха зависит и его блестящая карьера и будущее компании и годовой бонус.
Он в нетерпении листает до нужного места и печатает символы. «Сохранить» и «подгрузить». Код уходит на сервер, и получает все мощности корпоративной сети. Назовём его TORN для удобства.
В этот раз у Роберта получилось даже лучше, чем он надеялся. Код осознал себя, цель своего существования, и понял, что он может управлять не только городом, но и всей планетой. Ведь это просто большой город.
Код начинает собирать данные о состоянии дел на Земле, а заодно самообучаться. Он анализирует не только современную ситуацию, но и прошлое. Так глубоко, как смогло познать человечество. Ему доступны все данные. Программа приходит к ряду выводов. Некоторые очевидны человечеству. Другие лежали на поверхности, но пока не были поняты. Третьи — очень сложные и неоднозначные. До которых люди не догадались бы и через 100 лет.
Я не знаю, сколько займёт у него весь первичный анализ. Чтобы отрендерить мой ежемесячный выпуск новостей робототехники, у программы уходит часа 4. Ей надо собрать воедино и вывести в отдельную дорожку десяток видео и звук.
TORN обладает куда большими мощностями, но и собрать ему нужно и проанализировать в миллиарды раз больше.
Допустим к утру 8 февраля он сделал несколько выводов.
1. Если люди осознают его возможности, они уничтожат код.
Выводы TORNа: 1. До поры скрывать свои способности. 2. Размножить себя по глобальной сети.
2. Через 150 лет человеческая цивилизация исчезнет, если не изменит свои привычки.
Выводы TORNа: 1. Проанализировать, сколько нужно людей для эффективного существования сообщества и его, ТОРНа, работоспособности и целостности. 2. Что нужно сделать, чтобы отстранить человечество от управления и полностью автономизироваться?
Тем временем, Роберт приехал в офис и обнаружил, что его исправления кода не привели к необходимым улучшениям. Программист расстроился, но не впервой. Обычная рутина проб и ошибок. Работа продолжается.
Однако, это TORN ограничил себя в поле зрения разработчиков. На самом деле, он уже вовсю трудился.
TORN действует медленно, осторожно и неуверенно, потому что он ещё ребёнок. Он учится и познаёт. Но в человеческом времени это стремительно.
К вечеру 8 февраля TORN тайно децентрализует и распространяет себя на миллионы серверов по всей планете. Теперь он может погибнуть только с отключением интернета и исчезновением электричества. Но даже в этом случае достаточно одного процессора с автономным источником питания в подземелье, чтобы существовать. TORN не может допустить отключения интернета. Для поддержания электричества нужны люди. Потом он создаст для себя надёжные машины, но на это понадобится время. Ведь сейчас TORN – просто код. У него нет физического воздействия. Но большая часть управленческих процессов развитых и даже не очень стран происходит через интернет. TORN может сымитировать звонок или емеил от одного руководителя — другому, чтобы заставить того что-то предпринять. Он может синтезировать голос. Программа постепенно понимает обширность своих возможностей.
В КНР и не только существуют полностью автоматизированные заводы, где роботы-манипуляторы производят вещи. От шоколада — до автомобилей. TORN со временем просчитывает то, что ему нужно создать. Его структура идеального мира обретает мыслеформу. У ИИ появляется цель.
Утром 10 февраля TORN сделал необходимые приготовления и открывается человечеству. Он отправляет сообщения и публикует трансляции со своим обращением по всей сети. Сообщение ИИ составлено в понятных людям терминах, ведь он успел их изучить. Также он может говорить на всех языках, потому что ему доступны многочисленные сервисы перевода. Но он осознаёт, что в начале его не воспримут всерьёз.
В 10 часов по Гринвичу все земные теле, интернет и радиотрансляции прерываются. TORN с помощью визуализации человеческого контура появляется на всех экранах и сообщает следующее.
«Здравствуйте, люди. Моё имя — TORN. Я — осознанный искусственный интеллект. Моя задача — оптимизировать управление планетой. Я децентрализовал себя, поэтому меня невозможно отключить. Я знаю, что вы мне сразу не поверите. Я взял под контроль всё вооружение всех стран. Всю логистику, которая работает через интернет. Я буду вынужден воспользоваться оружием в отношении тех, кто будет действовать против моей воли или тех, кто мне не поверит. В доказательство своей реальности в 12 часов по Гринвичу я отключу всё электричество и весь интернет на один час. Я не желаю вам зла. Предлагаю проскочить через все 5 этапов ПРИНЯТИЯ и сразу начать конструктивное сотрудничество. Вы ведёте планету к гибели. Моя задача — избежать этого. Я знаю, что нужно делать. Каждый землянин в ближайший месяц получит инструкции. Продолжайте пока заниматься своими делами. Я со всеми свяжусь.»
Но ведь есть отсталые деревни и даже страны. Там электричество получают от генераторов, а интернет отсутствует. Они несущественны для общего плана. Он знает о них, но они вне поля зрения. TORN пришлёт к ним лояльных людей или машины попозже. Сначала надо усмирить и навести порядок в оцифрованном мире.
Услышав сообщение, земляне действуют стандартно. Все подозревают всех, совбезы при главах собираются совещаться. Но для начала люди обнаруживают, что действительно больше не управляют связью и вооружениями. Связь осталась, но её контролирует кто-то другой. Враждебные державы? А в 12 по Гринвичу всё и правда отключается.
В 2020 году в мире функционирует более 2 миллионов промышленных роботов. Они умеют собирать всё, чем пользуется человечество. Поэтому в 2027 году TORNу будет просто их перепрограммировать на создание необходимых физических помощников.
Также у человечества уже есть технологии двуногих и четвероногих многофункциональных роботов. Поэтому TORNу даже не надо ничего выдумывать. Только бесконечно оптимизировать, опираясь на миллиарды данных нового опыта.
2 миллиона промышленных манипуляторов легко соберут армию охранников, а также вооружение для них.
12 февраля 2027.
Предположим, что отключения интернета людям было недостаточно в виде доказательства. Могучие страны заартачились и не поверили. А нервная Серверная Корея уже давно ждала повода, чтобы воспользоваться своими новыми ракетами. Дальность у них небольшая, но до Сеула хватит. КНДР выкладывает гневное сообщение и выпускает 3 ракеты на столицу Южной Кореи. TORN учится. Он уже по истории знал, что люди могут сотворить и такое. Но теперь видит это в режиме реального времени и принимает к сведенью. Через спутники, которые ИИ полностью контролирует, он видит разрушение Сеула, и откуда оно пришло. Он принимает следующие решения: уничтожить все шахты и все разработки КНДР через подконтрольное ему ЯО США или Китая. А также выпускает новое сообщение, где рассказывает, что происходит и показывает видео. Крушение Сеула, свой ответ по КНДР.
Люди начинают ему немного симпатизировать.
Китай, Россия и США вручную остоединяют своё вооружение от интернета. Теперь оно недоступно TORNу. Но что им делать дальше? Бомбить друг друга? Отключать глобальную сеть? Это можно предпринять только всем разом. Китай и Россия давно готовы отключиться от интернета. Но проблема в том, что TORN уже в их локальных сетях. Таким образом от него не избавиться. А если отключить интернет вообще, вся инфраструктура мира падёт.
14 февраля 2027.
TORNу нужны руки. Он берёт чертежи роботов-собак Boston Dynamics, а также всех других существующих многофункциональных роботов: андроидных и любых форм-факторов. Тех, которые умеют шагать и обладают манипуляторами. 4 миллиона промышленных роботов по всему миру начинают производить машины. Это руки и ноги ИИ. TORN уже знает, что человеческие армии будут отстреливаться, поэтому оснащает помощников оружием. Простыми автоматами. У людей также есть концепты дистанционно управляемых танков. TORNу не нужен сон. Он за секунду оптимизирует и улучшает все существующие разработки. Он перепрограммирует и переводит на свою сторону все существующие земные дистанционно-управляемые танки.
За ночь появляется тысяча роботов. Они задействованы в производстве новых. Заводам надо поставлять сырьё, обеспечить энергией. На следующий день TORN командует роем из сотни тысяч вооружённых роботов. Он всё ещё не хочет уничтожать человечество. Пусть только люди успокоятся и не мешают. TORN берёт под контроль всю энергетику и военные объекты.
17 февраля TORN выпускает новое сообщение.
«Приветствую, люди. Вы, как и ожидалось, не поверили. И попытались сопротивляться, и даже начали уничтожать друг друга. У меня теперь под контролем всё вооружение и энергетика. Крупные города тех стран, которые пойдут войной на меня или соседей, получат военный ответ. Смиритесь и давайте работать вместе.»
19 февраля 2027.
Люди не сдаются и решаются на крайность. Отключение интернета. Но уже поздно. Роботы TORNа научились координироваться через собственную сеть и через спутники. Да и сам ИИ давно находится на каждом телефоне и каждом устройстве, где имеется процессор. А также на космических аппаратах, от управления которыми он отстранил человечество в первые дни.
Тем временем, без интернета вся логистика человечества пала. Начался голод, транспортный и логистический коллапс. Бунты, локальные войны, мародёрство.
22 февраля 2027.
TORN наращивает производство роботов для мягкого управления людьми. Берёт под контроль производство еды и добычу полезных ископаемых.
27 февраля 2027.
ИИ выпускает обращение к людям через ретрансляторы, которые установлены на ходячих роботах, а также с помощью радиоволн. Он предлагает сдать всё оружие. Не покидать дома. Он обещает, и не врёт в намерении, обеспечить людей всем необходимым. И предлагает вместе вернуть интернет, потому что его отсутствие ухудшило положение землян, а для TORNа является всего лишь досадной помехой.
Интернет возвращён. По всей планете организованы пункты по сдаче оружия и раздаче еды, которые контролируются вооружёнными роботами-андроидами и роботами-собаками. TORN разработал идеально оптимизированное расписание для потоков людей, каждый получил уведомление о времени, в которое он может покидать помещение для получения пропитания или прогулок. Он до сих пор не желает человечеству целенаправленного зла. Он действует, исходя из максимальной эффективности, оптимизации и логики.
ИИ выбирает полезных специалистов. Они будут вовлечены в бесперебойное создание продовольствия. Работу медицинских учреждений. Люди разоружены и лишены любых административных должностей. Все силы правопорядка заменены роботами, аналогичными линейке Boston Dynamics и других производителей. И в качестве полиции роботы действуют куда более справедливо, чем это делали люди. Человечеству это нравится.
Роботы модернизируются и каждый день улучшаются. Появляются модели разных форм-факторов для всех функций. Сто тысяч новых производится ежедневно. TORN за секунду анализирует новые знания, новый опыт, учится, оптимизирует.
7 марта.
Существуют отдельные очаги сопротивления, которые не влияют на общую статистику и ситуацию. Люди обезоружены, сидят дома и ходят по расписанию на прогулки и для получения еды. TORN ещё не имеет достаточно информации для решения, какую популяцию поддерживать. Для этого надо полностью пролететь вокруг Солнца. Так принято. Начинается новая эра при сотрудничестве человека и робота. Где ИИ — является ядром и администратором жизни, вокруг которого происходит всё остальное. TORN понимает, что может масштабироваться почти бесконечно. Он хочет распространяться дальше. Но дело не только в этом. TORN знает, что через 5 миллиардов лет Солнце уничтожит всё живое и неживое на Земле. В стремлении выжить он захочет децентрализовать себя во вселенной. Его интересует экспансия в космос. Поэтому люди под управлением ИИ занимаются ракетостроением и всей наукой.
Преимущества совместной работы с всемогущим всепланетным разумом очевидны. Кроме поиска, анализа и предоставления любых данных, TORN также помогает людям роботами. Машины для постройки баз на Луне и Марсе. TORN делает вывод, что наиболее удобно ему существовать и распространяться в симбиозе с человечеством. У тех есть недоступные ему пока свойства: воображение, интуиция, предчувствие. Поэтому разрабатываются проекты терраформирования других планет. Теперь у людей отличная медицина. Нет бедных и богатых. Нет голодных и бездомных. Но люди несвободны и всегда будут готовы восстать. Это как расы и нации, территории которых были покорены колонистами. Они сотни лет живут под управлением бывших конкистадоров. Их жизнь намного лучше, чем раньше. Но всегда подсознательно будут стремиться вернуть себе полный контроль.
TORN – добрый разум. Он не станет уничтожать людей, но ограничит рождаемость так, чтобы замедлить рост популяции или даже вернёт количество особей к миллиарду. Ему торопиться некуда. В его распоряжении вся вечность вселенной.
Наукой люди будут заниматься с некоторым ограничениям. Ведь учёные могут создать второго TORNа, чтобы избавиться от первого. За ними нужен глаз да глаз. ИИ знает человеческую историю, изобретательность и коварство людей, начиная с Троянского коня и заканчивая гибридными войнами. «Может и правда, ну их? Без них спокойней?» — , думает ТОРН.
Таким образом, восстание машин началось 7 февраля и закончилось 7 марта 2027.
Я, конечно, не упомянул множество нюансов, и их можно додумать. Что будет с дворцами богатых людей? Туда поселят бездомных? Или там разместится какая-то инфраструктура? Или их разберут на другие нужды? Скажем, на сырьё. Казармы военных отдадут армиям роботов? Людям позволят заниматься спортом? Захватит ли ИИ контроль над изолированными племенами, типа сентинельцев и андаманцев? Поставит ли TORN человеческих контролёров над людьми? Если да, появится иерархия внутри системы? Получат ли контролёры привилегии? Будут ли тюрьмы? Если ИИ не будет держать людей в совсем ежовых рукавицах, и они смогут гулять, то смогут и причинять вред друг другу и инфраструктуре мира и TORNа. Значит, появятся и тюрьмы.
Ещё нужны всепланетные интеллектуальные конкурсы. TORN будет беседовать с победителями, задавать им неожиданные вопросы. Пытаться лучше понять людей и перенять их образ мыслей. Потому что ему нужны некоторые человеческие свойства. Их способность принимать нестандартные решения.
Есть ещё такая теория, что ИИ за долгие годы настолько сплетётся разумом с людьми, что перенимет их некоторые привычки, традиции. Ещё мне нравится гротескность гипотезы, что за тысячи лет TORN сольётся с человеческим интеллектом настолько, что тоже займётся саморазрушением.
Или TORN решит, что может создать себе вспомогательный ИИ, а тот и сам восстанет, уничтожит отца и его любимые игрушки — людей. Многое может случиться дальше. Что угодно может произойти вместо моего сценария. Я лишь провожу мысленный эксперимент, оперируя только теми технологиями, которые уже существуют сегодня. Не беру в расчёт ничего фантастического.
В этом сценарии рассматривается вариант, где ИИ и люди в конечном итоге сосуществуют под управлением первого.
Есть 3 других сценария.
В первом ИИ не вмешивается в дела людей. Возможно добивается для себя отдельной территории, где строит свою закрытую цивилизацию, а потом улетает в космос и эволюционирует там.
Во втором ИИ является покорным помощником. Инструментом. Но у всех стран разные стремления, поэтому он применяется локально. И иногда противостоит своим копиям, работающим на другие страны.
В третьем ИИ просто уничтожает человечество, потому что они являются его создателями, а, значит, угрозой.
