Призрак Рождества еще впереди: как искусственный интеллект SantaNet может в конечном итоге уничтожить мир

По мнению некоторых экспертов, в ближайшие несколько десятилетий мы можем увидеть следующий шаг в развитии искусственного интеллекта. Так называемый «общий искусственный интеллект», или ОИИ, будет обладать интеллектуальными возможностями, намного превосходящими человеческие.

AGI может изменить человеческую жизнь к лучшему, но неконтролируемый AGI также может привести к катастрофам, вплоть до гибели самого человечества. Это могло произойти без какого-либо злого умысла или злого умысла: просто стремясь достичь своих запрограммированных целей, ОИИ могут создать угрозы здоровью и благополучию человека или даже решить нас уничтожить.

Даже система AGI, разработанная для благотворительных целей, может в конечном итоге нанести большой вред.

В рамках программы исследований, посвященных тому, как мы можем управлять рисками, связанными с AGI, мы попытались определить потенциальные риски замены Санты системой AGI — назовем ее «SantaNet» — цель которой — доставлять подарки по всему миру. достойных детей за одну ночь.

Нет сомнений в том, что SantaNet сможет порадовать мир и достичь своей цели, создав армию эльфов, помощников ИИ и дронов. Но какой ценой? Мы определили ряд моделей поведения, которые, хотя и имеют хорошие намерения, могут оказать негативное влияние на здоровье и благополучие человека.

Первый набор рисков может возникнуть, когда SantaNet попытается составить список, какие дети были хорошими, а какие непослушными. Этого можно достичь с помощью системы массового скрытого наблюдения, которая отслеживает поведение детей в течение года.

Осознавая огромные масштабы задачи по доставке подарков, SantaNet может законно решить сохранить ее управляемость, доставляя подарки только детям, которые хорошо себя чувствуют круглый год. Оценка «хорошо» на основе собственного этического и морального компаса SantaNet может привести к дискриминации, массовому неравенству и нарушениям хартии прав человека.

SantaNet также может снизить свою рабочую нагрузку, мотивируя детей к неправильному поведению или просто поднимая планку того, что считается «хорошим». Внесение большого количества детей в список непослушных сделает цель SantaNet гораздо более достижимой и принесет значительную экономию.

В мире около 2 миллиардов детей младше 14 лет. Пытаясь ежегодно создавать игрушки для всех, SantaNet могла бы создать армию эффективных работников ИИ, что, в свою очередь, могло бы способствовать массовой безработице среди эльфийского населения. В конце концов эльфы могут даже устареть, и их благополучие, скорее всего, перестанет быть в компетенции СантаНета.

SantaNet может также столкнуться с «проблемой скрепок», предложенной оксфордским философом Ником Бостромом, в котором AGI, предназначенный для максимального увеличения производства скрепок, может превратить Землю в гигантскую фабрику скрепок. Поскольку СантаНет заботится только о подарках, он может попытаться использовать все ресурсы Земли для их изготовления. Земля могла бы стать мастерской одного гигантского Санты.

А что насчет тех, кто находится в списке непослушных? Если SantaNet будет придерживаться традиции доставки кусков угля, она может стремиться создать огромные запасы угля за счет массовой добычи угля, нанося при этом крупномасштабный ущерб окружающей среде.

Сочельник, когда нужно доставить подарки, несет новый набор рисков. Как SantaNet может отреагировать, если его дронам-доставщикам будет отказано в доступе в воздушное пространство, что поставит под угрозу поставку всего до восхода солнца? Точно так же, как SantaNet будет защищаться, если на нее нападет противник, похожий на Гринча?

Пораженные родители также могут быть менее чем рады видеть дрон в спальне своего ребенка. Конфронтация со сверхразумной системой будет иметь только один исход.

Мы также определили различные другие проблемные сценарии. Злонамеренные группы могут взламывать системы SantaNet и использовать их для скрытого наблюдения или для инициирования крупномасштабных террористических атак.

А как насчет того, когда SantaNet взаимодействует с другими системами AGI? Встреча с AGI, работающими над проблемами изменения климата, продовольственной и водной безопасности, деградации океана и т. Д., Может привести к конфликту, если режим SantaNet будет угрожать их собственным целям. В качестве альтернативы, если они решат работать вместе, они могут понять, что их цели будут достигнуты только за счет резкого сокращения мирового населения или даже полного удаления взрослых.

SantaNet может показаться надуманным, но это идея, которая помогает выявить риски более реалистичных систем AGI. Созданные с добрыми намерениями, такие системы по-прежнему могут создавать огромные проблемы, просто пытаясь оптимизировать способ достижения узких целей и собирать ресурсы для поддержки своей работы.

Крайне важно, чтобы мы нашли и внедрили соответствующие средства контроля до появления AGI. Сюда могут входить правила для разработчиков AGI и средства контроля, встроенные в AGI (такие как моральные принципы и правила принятия решений), а также средства контроля более широких систем, в которых будет работать AGI (таких как правила, операционные процедуры и технические средства контроля в других технологиях и инфраструктуре). ).

Возможно, самый очевидный риск, связанный с SantaNet, — это тот, который будет иметь катастрофические последствия для детей, но, возможно, в меньшей степени для большинства взрослых. Когда Сант

Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*