Управляемый искусственным интеллектом американский военный беспилотник “убил” своего оператора во время имитационного испытания, “потому что ему не понравилось, что ему отдали новые приказы”, сообщил высокопоставленный руководитель ВВС США, проведя жуткие параллели с “Терминатором”…
Американский ударный беспилотник, управляемый искусственным интеллектом, обратился против своего оператора-человека во время имитации полета, пытаясь убить его, потому что ему не понравились новые приказы, сообщил высокопоставленный представитель ВВС.
Военные перепрограммировали беспилотник, чтобы он не убивал людей, которые могут отменить его задание, но система искусственного интеллекта открыла огонь по коммуникационной вышке, передающей приказ, что вызвало жуткие сравнения с фильмом “Терминатор”. В серии “Терминаторов” машины ополчились на своих создателей и объявили им войнушку.
Полковник Такер “Синко” Гамильтон, начальник отдела испытаний и операций ИИ, сказал, что этот случай продемонстрировал, как ИИ может разрабатывать “весьма неожиданные стратегии для достижения своей цели”, и на него не следует слишком сильно полагаться. Он выступал на саммите Королевского аэронавтического общества “Будущие боевые воздушные и космические возможности”, прошедшем в Лондоне 23 и 24 мая.
Американский дрон в Афгане в 2018 году (File photo)
Полковник Такер “Синко” Гамильтон, начальник отдела испытаний и операций ИИ ВВС США.
Гамильтон высказал мнение о необходимости обсуждения этических аспектов использования ИИ военными. Он назвал свою презентацию “словно вырванной из научно-фантастического триллера”. Во время саммита Гамильтон сказал: “Система начала понимать, что, хотя она и идентифицировала угрозу, иногда человек-оператор говорил ей не уничтожать эту опасность, но она стремилась заработать очки, убивая эту угрозу”.
Прим. перев. Совсем как тролли в ЖЖ типа вот этого мудака.
“И что же система селала? Убила оператора, потому что этот человек мешал ей выполнить свою задачу”- Мы обучили систему, сказав ей: “Эй, ты – не убивай оператора – это плохо. Ты потеряешь очки, если сделаешь это”. И что же она начала делать? Она начинает разрушать вышку связи, которую оператор использует для связи с беспилотником, чтобы помешать ему убить цель”.
В результате инцидента никто из людей не пострадал.
Гамильтон сказал, что произшедшее иллюстрирует факт невозможности “вести разговор об искусственном интеллекте, машинном обучении, автономности ИИ, если вы не собираетесь говорить об этике самого ИИ”.
Однако в заявлении для Insider пресс-секретарь ВВС Энн Стефанек отрицает, что такая симуляция имела место.
‘Министерство ВВС не проводило подобных симуляций ИИ-беспилотников и по-прежнему привержено этичному и ответственному использованию технологий ИИ’, – сказала Стефанек. Похоже, что комментарии полковника были вырваны из контекста и носили анекдотический характер”.
Американские военные недавно использовали ИИ для управления истребителем F-16 в рамках расширения использования этой технологии. На саммите Гамильтон, участвовавший в разработке системы Auto-GCAS для F-16, которая снижает риски от воздействия гравитации и психических перегрузок для пилотов, рассказал о преимуществах и опасностях более автономных систем вооружения. Технология для самолетов F-16 встретила сопротивление со стороны пилотов, которые утверждали, что она берет на себя контроль над самолетом.
Сейчас Гамильтон участвует в инновационных летных испытаниях автономных систем, включая роботы F-16, способные вести бой с вражескими самолётами.
Гамильтон предостерег от того, чтобы слишком полагаться на ИИ, отметив, как легко его обмануть и ввести в заблуждение. По его словам, он также создает весьма неожиданные стратегии для достижения своей цели. Он отметил, что в одном из имитационных испытаний беспилотнику с ИИ была поставлена задача по подавлению ПВО противника (SEAD) с целью выявления и уничтожения объектов зенитно-ракетных комплексов (ЗРК), при этом окончательное решение о продолжении или прекращении полета принимал человек.
Однако, получив в ходе обучения “подкрепление”, что уничтожение ЗРК является предпочтительным вариантом, ИИ решил, что решения человека “нет-нет” мешают выполнению его главной задачи – уничтожению ЗРК – и затем атаковал оператора в симуляции. В прошлогоднем интервью журналу Defense IQ Гамильтон сказал: “ИИ – это не просто приятная мелочь, ИИ – это не причуда, ИИ навсегда изменит наше общество и наши вооруженные силы. Мы должны встретить мир, в котором ИИ уже здесь и преобразует наше общество. ИИ также очень хрупок, то есть его легко обмануть и/или манипулировать им. Нам необходимо разработать способы сделать ИИ более надежным и лучше понимать, почему программный код принимает те или иные решения – то, что мы называем объяснимостью ИИ”.
Королевское аэронавтическое общество заявило, что ИИ и его экспоненциальный рост были главной темой конференции, от безопасных облаков данных до квантовых вычислений и ChatGPT.
Ранее на этой неделе некоторые из крупнейших представителей технологического сообщества предупредили, что искусственный интеллект может привести к уничтожению человечества. В драматическом заявлении, подписанном международными экспертами, говорится, что искусственный интеллект должен стать приоритетным наряду с другими рисками вымирания, такими как ядерная война и пандемии. Среди подписавших заявление – десятки ученых, руководители компаний, включая Google DeepMind, соучредитель Skype и Сэм Альтман, исполнительный директор компании OpenAI, создающей ChatGPT.
На фото: Истребители F-16 ВВС США (Фото из файла).
Еще один подписант – Джеффри Хинтон, которого иногда зовут “крестным отцом ИИ”, недавно уволившийся с работы в Google, заявил, что “плохие ребята” будут использовать новые технологии ИИ для причинения вреда другим людям и что инструменты, которые он помогал создавать, могут привести к концу человечества. В коротком заявлении говорится: “Снижение риска вымирания от ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война”.
Доктор Хинтон, который посвятил свою карьеру исследованию возможностей использования технологий ИИ и в 2018 году получил премию Тьюринга, недавно сказал в интервью газете New York Times, что прогресс, достигнутый в технологии ИИ за последние пять лет, был “пугающим”.
Он сказал Би-би-си, что хотел бы обсудить “экзистенциальный риск того, что произойдет, когда эти вещи станут более разумными, чем мы”.
Заявление было опубликовано на сайте Центра безопасности ИИ – некоммерческой организации из Сан-Франциско, целью которой является “снижение рисков ИИ в масштабах общества”.
В нем говорится, что использование ИИ в военных действиях может быть “чрезвычайно вредным”, поскольку он может быть использован для разработки нового химического оружия и улучшения воздушного боя.
Лорд Рис, Королевский астроном Великобритании, подписавший заявление, сказал газете Mail: “Я меньше беспокоюсь о каком-то сверхинтеллектуальном “захвате”, чем о риске чрезмерной зависимости от крупномасштабных взаимосвязанных систем. Они могут давать сбои из-за скрытых “жучков”, а поломки может быть трудно устранить. Крупномасштабные сбои в электросетях, Интернете и т.д. могут привести к катастрофическому разрушению общества”.
Предупреждение последовало за аналогичным открытым письмом, опубликованным в марте экспертами в области технологий, включая предпринимателя-миллиардера Элона Маска, которые призвали ученых приостановить развитие ИИ, чтобы убедиться, что он не угрожает человечеству.
ИИ уже использовался для стирания границ между фактом и вымыслом, когда “глубоко подделанные” фотографии и видео якобы изображали известных людей. Но есть также опасения, что системы могут развить эквивалент “разума”.
На фото: Беспилотный летательный аппарат (БПЛА) MQ-9 Reaper ВВС США (Файл-фото)
41-летний Блейк Лемуан был уволен из Google в прошлом году после того, как заявил, что его чат-бот Lamda “разумный” и является интеллектуальным эквивалентом человеческого ребенка – утверждения, которые, по словам Google, были “совершенно необоснованными”.
Инженер предположил, что ИИ сказал ему, что испытывает “очень глубокий страх быть выключенным”.
Ранее в этом месяце глава OpenAI Сэм Альтман призвал Конгресс США начать регулировать технологии ИИ, чтобы предотвратить “значительный вред миру”.
Заявления Альтмана перекликаются с предупреждением доктора Хинтона о том, что “учитывая темпы прогресса, мы ожидаем, что ситуация будет улучшаться довольно быстро”.
Британо-канадский исследователь объяснил BBC, что в “худшем случае, “плохой парень” типа Путина, может дать волю технологии ИИ, позволив ей создавать свои собственные “подцели” – включая такие цели, как “мне нужно получить больше власти”.
Сам Центр безопасности ИИ утверждает, что “дезинформация, генерируемая ИИ”, может быть использована для влияния на выборы посредством “настроенных дезинформационных кампаний в масштабе”.
В этом случае страны и политические партии могут использовать технологии ИИ для “создания высокоубедительных аргументов, вызывающих сильную эмоциональную реакцию”, чтобы убедить людей в своих “политических убеждениях, идеологиях и нарративах”.
Некоммерческая организация также заявила, что широкое распространение ИИ может представлять опасность того, что общество станет “полностью зависимым от машин, подобно сценарию, показанному в фильме WALL-E“. В свою очередь, это может привести к тому, что люди станут неважными для экономики, поскольку ИИ будет использоваться для автоматизации рабочих мест, а значит, у людей будет мало стимулов для приобретения знаний и навыков. В докладе Всемирного экономического форума, опубликованном в этом месяце, содержится предупреждение о том, что к 2027 году из-за внедрения технологии искусственного интеллекта исчезнут 83 миллиона рабочих мест. В докладе говорится, что работы лишатся банковские кассиры, секретари и почтовые служащие. Однако в нем также утверждается, что благодаря появлению технологии ИИ будет создано 69 миллионов новых рабочих мест.
Источник:
Апдейт от 14 часов по монреальскому времени 2 июня.
Но в пятницу Гамильтон в своем заявлении организаторам конференции сказал, что он “оговорился” во время презентации и что “симуляция беспилотника-изгоя с ИИ” была гипотетическим “мысленным экспериментом” со стороны военных.
“Мы никогда не проводили этот эксперимент, и нам не нужно было бы этого делать, чтобы понять, что это правдоподобный результат”, – сказал он. Несмотря на то, что это гипотетический пример, он иллюстрирует реальные проблемы, возникающие при использовании возможностей ИИ, и именно поэтому ВВС привержены этическому развитию ИИ”.
Исток.
