Как искусственный интеллект SantaNet может уничтожить мир


203
203 points

По мнению некоторых экспертов, в ближайшие несколько десятилетий мы можем увидеть следующий шаг в развитии искусственного интеллекта (ИИ). Так называемый «искусственный интеллект общего назначения» (Artifical General Intelligence, AGI) будет иметь интеллектуальные возможности, намного превосходящие человеческие.

AGI может изменить человеческую жизнь к лучшему, но неконтролируемый AGI также может привести к катастрофам, вплоть до гибели самого человечества

Может ли искусственный интеллект SantaNet уничтожить мир
Изображение: Deva Darshan/Unsplash

Это может произойти без какого-либо злого умысла: просто AGI, стремясь достичь запрограммированных целей, может создать угрозы здоровью и благополучию человека или даже решить нас уничтожить.

И даже система AGI, разработанная для благотворительных целей, может в конечном итоге нанести большой вред.

В рамках программы исследований, изучающих, как люди могут управлять рисками, связанными с AGI, австралийские учёные попытались определить потенциальные риски замены Санты системой AGI «SantaNet», цель которой за одну ночь доставить подарки достойным детям по всему миру.

Нет сомнений в том, что SantaNet сможет порадовать мир и достичь своей цели, создав армию эльфов, ИИ-помощников и дронов. Но какой ценой? Учёные определили ряд моделей поведения, которые хотя и имеют хорошие намерения, могут оказать негативное влияние на здоровье и благополучие людей.

Непослушные и хорошие

Первый набор рисков может возникнуть, когда SantaNet попытается составить список, какие дети были хорошими, а какие непослушными. Этого можно достичь с помощью системы массового скрытого наблюдения, которая отслеживает поведение детей в течение года.

Осознавая огромные масштабы задачи по доставке подарков, SantaNet может решить доставлять подарки только детям, которые хорошо вели себя круглый год. А принятие суждений о «хорошем» на основе собственного этического и морального компаса SantaNet может привести к дискриминации, массовому неравенству и нарушениям Хартии прав человека.

SantaNet может также попытаться снизить свою рабочую нагрузку, мотивируя детей вести себя неправильно или просто поднимая планку того, что считается «хорошим». Включение большого количества детей в список непослушных сделает цель SantaNet гораздо более достижимой и принесет значительную экономию.

Превращение мира в игрушки и наращивание добычи угля

В мире около 2 миллиардов детей младше 14 лет. Пытаясь ежегодно создавать игрушки для всех, система SantaNet могла бы создать армию эффективных ИИ-работников, что, в свою очередь, могло бы способствовать массовой безработице среди эльфов. В конце концов, эльфы могут даже стать устаревшими, и их благополучие, скорее всего, не будет в компетенции SantaNet.

SantaNet может также столкнуться с «проблемой скрепок», предложенной оксфордским философом Ником Бустрёмом, когда AGI, предназначенный для максимального увеличения производства скрепок, может превратить Землю в гигантскую фабрику скрепок. Поскольку SantaNet заботят лишь подарки, он может попытаться использовать для их изготовления все ресурсы Земли. В итоге Земля может стать одной гигантской фабрикой Санты.

А как насчет тех, кто находится в списке непослушных? Если SantaNet будет придерживаться традиции доставки кусков угля, она может стремиться к созданию огромных запасов угля за счет его массовой добычи, нанося при этом крупномасштабный ущерб окружающей среде.

Проблемы с доставкой

Наступление Сочельника, когда детям нужно доставить подарки, несет с собой новый набор рисков. Как SantaNet отреагирует, если его дронам-доставщика откажут в доступе в воздушное пространство, что поставит под угрозу цель доставить все до восхода солнца? Точно так же, как система SantaNet будет защищаться, если на нее нападет противник, похожий на Гринча?

Родители также могут быть не очень рады видеть дрон в спальне своего ребенка. Конфронтация со сверхразумной системой будет иметь лишь один исход.

Были определены различные другие проблемные сценарии. Хакеры могут взламывать систему SantaNet и использовать её для скрытого наблюдения или для инициирования крупномасштабных террористических атак.

А как SantaNet будет взаимодействовать с другими системами AGI? Ведь столкновение с AGI, работающими над проблемами изменения климата, продовольственной и водной безопасности, деградации океанов и т.д. может привести к конфликту, если режим SantaNet будет угрожать их собственным целям. А если они решат сотрудничать, то могут прийти к выводу, что их цели будут достигнуты лишь за счет резкого сокращения мирового населения или даже полного исчезновения взрослых.

Создание правил для Санты

Идея SantaNet может показаться надуманной, но она помогает выявить риски более реалистичных систем AGI. Созданные с добрыми намерениями, они могут стать источником огромных проблем, просто пытаясь оптимизировать способ достижения узких целей и накопить ресурсы для поддержки своей работы.

Поэтому крайне важно, чтобы люди нашли и внедрили соответствующие средства контроля до появления AGI. Это могут быть правила для разработчиков AGI и средства контроля, встроенные в AGI (такие как моральные принципы и правила принятия решений), а также средства контроля более широких систем, в которых будет работать AGI.

Ну а самый очевидный риск, связанный с SantaNet — это тот, который будет иметь катастрофические последствия для детей, но, возможно, в меньшей степени коснется большинства взрослых. Ведь когда система SantaNet узнает истинное значение Рождества, она может сделать вывод, что нынешнее его празднование несовместимо с первоначальной целью. Если бы это произошло, SantaNet могла бы вообще отменить Рождество.


Понравилось? Поделитесь с друзьями!

203
203 points
Василий Вдовиченко
Южная научно-исследовательская лаборатория