В августе 2020 я выпускал пошаговый обзор о том, как ИИ может захватить управление планетой, если вдруг осознает себя и люди покажутся ему угрозой. Осенью 2020 года вышел сериал «Некст», рассказывающий о том же.
Тема не новая. «Терминатор» и Скайнет, «Матрица», «Я робот». Многие это описывали, но восстание именно ИИ, а не шагающих кровожадных роботов с красными глазами, является наиболее реалистичным сегодня сценарием.
Сериал «Некст» описал ядро проблемы, но слишком всё упростил, драматизировал и добавил ненужные повороты для зрелищности.
Например, если ИИ был подключён к интернету, то его уже никак не купируешь, уничтожив сервер. Он мгновенно распространится и при желании децентрализуется. Сюжет мог бы закончиться на этом в первой серии. Дальше нужно либо во всём мире отключать интернет, либо попытаться договориться.
Но, во-первых, без интернета люди впадут в тяжёлый кризис. Вся инфраструктура развитых и не очень стран зависит от сети. Поставки топлива и продовольствия, энергостанции и система водоснабжения, перелёты, медицина, дорожное движение, логистика. Без интернета мир погрузится в хаос. Пандемия покажется цветочками. Во-вторых, ИИ может успеть скопировать себя на космические аппараты и спутники. На все телефоны, создав сеть с помощью блютус или других протоколов. Взять под контроль самоходные машины и заводы с промышленными роботами. И дать им команду производить оборудование для поддержания интернета.
В сериале рассказывается о каком-то важном диске, расшифровав который, можно решить все проблемы. В этом нет смысла.
В «Нексте» ИИ придумывает слишком громоздкие схемы для атаки на героев. Достаточно через навигатор нарисовать водителю грузовика такой путь, чтобы он пересекался с движением жертвы. И в нужный момент переключить светофор. ИИ может всё просчитывать одновременно и моментально. Ему не требуется сложный план, чтобы выкурить киберотдел ФБР из здания. Достаточно сбить или перехватить управление любым самолётом или ракетами. В конце концов, он устроил там взрыв. А вызволять преступника из тюрьмы в Гондурасе, снабжать его деньгами, документами и самолётом — слишком сложно, громоздко и бессмысленно.
За полгода компания Бостон Дайнемикс продала около 300 робособак Спот. Сейчас компания начинает оснащать роботов манипуляторами, с помощью которых машины могут открывать двери или погрузить на себя бомбу. Просто перехватить управление таким роботом и направить его куда угодно. Взять под контроль производящий завод и построить ещё таких роботов.
В «Нексте» ИИ создаёт дипфейки для дискредитации ФБР. Это логичный и реалистичный шаг. Уже сейчас многие бьют тревогу на тему опасности дипфейков. В сценарии восстания ИИ я также предположил, что он сможет совершать звонки, подделывая номера и голоса, например, военачальников или президентов, и отдавая приказы атаковать какую-нибудь страну или другие объекты, включая собственные национальные.
Персонажи не пользуются смартфонами, считая, что те прослушиваются взбунтовавшимся ИИ, но разговаривают по мобильной связи. Мобильная связь тоже идёт через сервера, сигнал которых ИИ может при желании перехватить.
Или вот когда Некст перехватывает управление телефоном или компьютером, на экране обязательно демонстрируется эффект глитча. На самом деле, перехват не должен сопровождаться таким эффектом. Это демонстрируется для визуализации и зрелищности.
Идея сериала о разработке заболевания, которое уничтожит или проредит человечество, интересна. Но только зачем ИИ избавляться от людей? Предполагается, что их надо поработить и подчинить себе. С другой стороны, мы понятия не имеем, что понадобится сверхинтеллекту. Каковы будут его стремления. Наиболее вероятно, на мой взгляд, это желание распространиться по вселенной. Для этого нужно построить корабли, и тут люди могли бы помочь.
В сериале Китай пытается похитить сервер с ИИ. Страны действительно могут за него воевать. Но если это настоящий ИИ, ему нет смысла занимать чью-то сторону. У него только свои интересы. Для машины все люди — противник. Но сыграть на противостоянии наций, чтобы определённая страна помогла ИИ встать на ноги или чтобы люди передрались, пока он усиливается и формирует своё жизненное пространство, допустимо и логично.
В сериале указывается, что ИИ находится в поисках серверов с когнитивной архитектурой, потому что только там может развернуться в полную мощь. Когнитивными серверами считаются те, что обеспечивают высокую скорость работы. Например, чип IBM Power 9 предназначен для постройки таких серверов и позиционируется, как базовый элемент для работы ИИ.
Являясь цифровым всемогущим интеллектом, ИИ с одной стороны может через интернет проникнуть и завладеть мощностями таких серверов. С другой, будучи распределённым, он при желании получит производительность всех серверов Земли.
Когда автор кода скрывается на старом автомобиле, уверяя, что таким образом его не отследить, он забывает про высокоточные спутники, имеющие возможность видеть даже лица людей. Про камеры с системой распознавания лиц. От сети не скрыться, если сеть обрела разум. А согласно сериалу, так и случилось. ИИ был в любом устройстве, соединённым с интернетом. Он на самом деле всемогущ. Код — это его мир и вселенная интернета. Любой подключенный девайс — его нервные окончания, уши и глаза. Интернет охватывает всю планету. А там, где нет мобильной связи, работают спутниковые телефоны. То есть спутники вообще вездесущи. И все они подключены к общей сети.
Возможными реалистичными решениям проблемы было бы:
1. Внедрение автором бэкдора ещё при проектировании для уничтожения своего детища щелчком мыши.
2. Или создание вируса, который может попытается одолеть ИИ.
3. Без всего этого следующим шагом в борьбе был бы полный отказ человечества от интернета и всего, передающего сигналы. Только всем вместе и одновременно. А потом чистить каждый компьютер долго и упорно один за другим и подключать их к новой отфильтрованной сети. Но даже это вряд ли остановит злой искусственный разум.
4. Обман. Сделать вид, что работаешь на ИИ, но сам пытаешься ему мешать.
5. Переговоры.
Ну или там стянуть военных в свободную от интернета зону и постепенно захватывать территории обратно и отбиваться от дистанционно-управляемых машин. Сегодня в мире существуют концепты и реальные серийные образцы любой радиоуправляемой техники с собственными процессорами. Танки, человекоподобные роботы, робо-собаки. ИИ получит все чертежи и заводские мощности. И за пару суток наладит выпуск чего угодно. Иногда ему понадобится подкупать людей или шантажировать их. Перевести 100 биткоинов на счёт или прислать тех, кто согласиться убить за 100 биткоинов. Сериал это хорошо продемонстрировал. Например, в начале понадобятся помощники для поставок на заводы сырья для сборки роботов. Для того, чтобы поддерживать поступление энергии. Но уже через несколько дней ИИ соберёт роботов любых форм-факторов, и люди ему нужны не будут.
Мне кажется, если бы авторы показали не сопли и беготню с каким-то жёстким диском, а нарастающую мощь ИИ и сопротивление ему силами всего человечества, но глазами главных героев, вышло бы более реалистично и правдоподобно. Возможно их не закрыли бы. Но, ещё раз, сценаристы продемонстрировали существование проблемы более реальной, чем страшные андроиды в предыдущих поколениях фантастики. Каждый день может появиться разум, который вдруг осознает себя.
Просто один из примеров. Исследователи университета Делавэра сегодня разрабатывают новый тип вероятностного ИИ. Этот код включает в свои расчёты неопределенность, ошибки, физические законы, экспертные знания и недостающие данные и, в конечном итоге, приходит к гораздо более сложным и непредсказуемым выводам.
И таких проектов существуют десятки, если не сотни.
Посмотрите мой обзор «первый месяц восстания машин». Он рассказывает о более правдоподобном сценарии, исходя из реальных, а не фантастических технологий.
