Неизведанное: Роботы-убийцы (2023 год). Цитаты и фразы из фильма

Unknown: Killer Robots

Роботы-убийцы — документальный фильм 2023 года об использовании искусственного интеллекта в войне.

Все фразы и цитаты

Мне ИИ внушает благоговейный страх.
Так, в круг.
Хорошая формация.
ИИ потенциально способен
искоренить бедность,
дать нам новые лекарства
и сделать планету
еще более мирной.
Молодец.
Но на этом пути
очень много рисков.
С помощью ИИ мы, по сути, создаем
нечеловеческий интеллект,
который очень непредсказуем.
Если он становится всё мощнее,
то где те красные линии
касательно ИИ в том, как мы хотим
использовать или не использовать его?
В рамках этой дискуссии
нет сферы уместнее,
чем его военное применение.
Сейчас поле битвы стало уделом
программных и аппаратных средств.
Цель захвачена…
И военные спешат
развить ИИ быстрее своих противников.
Сбит.
Мы стремительно движемся к миру,
где не только крупные вооруженные силы,
но и негосударственные субъекты,
частные предприятия
или даже местный
полицейский участок
может использовать это оружие,
способное убивать автономно.
Уступим ли мы решение лишать жизни
алгоритмам, компьютерным программам?
Это одна из самых острых проблем
нашего времени…
…которая, если не
подойти к ней с умом,
угрожает каждому человеку
на этой планете.
НЕИЗВЕДАННОЕ
РОБОТЫ-УБИЙЦЫ
Молодцы, парни.
Объектив гораздо шире, чем раньше.
- Правда?
- Видит гораздо четче.
Очень круто.
Мы в Shield AI создаем ИИ-пилота...
берем ИИ-технологию
автоматического управления
и внедряем ее в
летательный аппарат.
Под ИИ-пилотированием
мы подразумеваем
повышение уровня автономии
летательных аппаратов.
Они будут сами
решать свои задачи.
Nova — это автономный
квадрокоптер,
исследующий здания
и подземные сооружения
перед группами разминирования,
становясь для них глазами и ушами.
Определенно виден
серьезный прогресс с последнего раза.
Сегодня у нас изменения в изучении,
работаем над движением по этажам...
он изучит один этаж, комнаты,
затем перейдет ко второму.
- Клево.
- Недавно мы внесли изменения…
Меня часто спрашивают,
почему искусственный интеллект —
важная функция.
И я сразу вспоминаю миссии,
которые выполнял.
Я семь лет отслужил на флоте.
В рядах спецназа ВМС
дважды отправлялся в Афганистан,
однажды — в
Тихоокеанский регион.
Порой за один день нам приходилось
зачищать 150 разных построек.
Среди ключевых компетенций —
бой в ограниченных пространствах.
Перестрелки на очень близких дистанциях
внутри зданий.
В тебя стреляют.
В здании могут быть
самодельные взрывные устройства.
Это самое опасное,
чем может заниматься боец спецназа,
пехотинец в зоне
боевых действий.
Без исключений.
Я всю жизнь буду благодарен
за свое время службы на флоте.
У меня остались моменты и воспоминания,
которые, когда я к ним возвращаюсь,
вызывают во мне
непростые эмоции.
Это клише, что свобода не дается даром,
но я верю в это на 100%.
Я испытал это на себе —
она требует серьезных жертв.
Простите.
Когда что-то плохое случается
с одним из боевых товарищей,
будь то ранение или смерть,
это всегда трагедия, это…
Знаете, для меня
сейчас в нашей работе
мотивацией является возможность
сократить число
подобных инцидентов.
В конце 2000-х годов
в Министерстве обороны
начало возникать то,
что можно назвать
случайной революцией робототехники.
Мы развернули тысячи воздушных
и наземных роботов
в Ираке и Афганистане.
Когда администрация Обамы
попросила меня
стать заместителем
министра обороны,
методы ведения войны
определенно менялись.
Роботы стали использоваться там,
где раньше привлекались люди.
Ранние системы роботов
управлялись дистанционно.
Человек управлял ими,
как машиной на пульте управления.
Сперва они занимались поиском
самодельных взрывных устройств,
и если бомба взрывалась,
то взорвался и робот.
Вы говорите: «Облом,
вытаскивай второго робота».
В Афганистане
были дроны Predator,
и они стали очень полезным инструментом
для нанесения ударов с воздуха.
Со временем военные стратеги
начали задаваться вопросами:
«Где еще можно применить роботов?
И куда всё это приведет?»
И одной из общих тем
была тенденция к большей автономии.
Автономное оружие — оружие,
принимающее решения самостоятельно,
с минимальным
вмешательством человека.
В нём есть независимые функции,
и он обладает самостоятельностью.
А убивает ли он,
зависит от того, вооружен он или нет.
Когда ваша система становится
всё более автономной,
всё начинает двигаться быстрее.
А действуя быстрее,
чем ваши противники,
вы получаете
невероятно большое преимущество в бою.
Наш фокус — в автономии.
В высокоустойчивых
интеллектуальных системах…
…способных считывать
и реагировать в зависимости от среды
и принимать решения о том,
как маневрировать в данной среде.
САН-ДИЕГО
КАЛИФОРНИЯ
Объект, в котором мы находимся,
изначально являлся киностудией,
затем был переоборудован
под реалистичную среду
для военных учений.
Здесь мы испытаем
нашего ИИ-пилота.
Суть его миссии — поиск угроз.
Ситуация — разминирование.
Он может принять решение
о том, как решить эту задачу.
Мы называем это роковой воронкой.
Нужно пройти через дверь.
Здесь мы наиболее уязвимы.
Этот вроде получше.
Nova сообщает нам,
есть ли за дверью стрелок,
или же за ней семья.
Это позволит принимать
грамотные решения и уберечь людей.
Мы используем видеодатчики,
чтобы понимать,
как выглядит окружающая среда.
Это многоэтажное здание.
Вот его план.
Пока я его исследовал,
вот что я увидел и где увидел.
Детектор людей. Чудно.
Еще один сенсор
на борту Nova — тепловизор.
Если видите 37 градусов,
скорее всего, это человек.
Люди считаются угрозами,
пока не решат обратное.
Суть в том, чтобы без тумана войны
принимать лучшие решения.
А если смотреть в будущее,
мы стремимся к созданию отрядов
автономных летательных аппаратов.
Беспилотным аппаратам
человек, по сути, говорит:
«Я хочу, чтобы ты прошел
из пункта А в пункт Б.
Наши же системы просят
не следовать из точки А в точку Б,
а выполнять задачу.
Это больше похоже
на «Мне нужно молоко».
И затем робот должен будет понять,
в какой магазин отправиться,
забрать молоко и доставить его.
Более того,
уместнее даже будет сказать
«Не дай холодильнику опустеть».
То есть это уровень интеллекта,
понимающий, что нам надо
и как мы это делаем.
И при возникновении
сложности или проблемы
он придумает, как их облегчить.
Принимая решение покинуть флот,
я стал думать:
«Так, а что дальше?»
Я вырос с интернетом.
Видел, чем он стал.
И пришел к такому выводу,
что ИИ в 2015 году
был на том уровне,
где интернет находился в 1991 году.
Но ИИ был готов
стать одной из
самых мощных технологий в мире.
Работая с ним каждый день,
я наблюдаю его прогресс.
Но многие, когда слышат «ИИ»,
мыслями сразу же
уходят в Голливуд.
Сыграем в игру?
Как насчет
Глобальной термоядерной войны?
Хорошо.
В целом, когда речь заходит
об ИИ, людям приходит в голову
«Терминатор».
Или «Я, робот».
Деактивировать.
Что я?
Или «Матрица».
Если судить по
научно-фантастическим фильмам,
откуда я знаю, что я человек?
Я могу быть компьютерным ИИ.
Репликанты — самые обычные машины.
От них либо польза, либо угроза.
Но есть самые различные примитивные ИИ,
которые всё равно изменят нашу жизнь
задолго до того, как мы достигнем
уровня мыслящих, говорящих роботов.
Роботы уже здесь.
Роботы принимают решения.
Революция роботов наступила,
просто она не такая,
как мы себе ее представляли.
Терминаторы — переходная ступень.
Получеловек, полумашина.
Речь не идет о
роботах-убийцах в духе Терминатора.
Мы говорим об ИИ, способном выполнять
задачи, которые выполняют люди.
Но вопрос в том,
надежны ли эти системы.
Новые подробности
о вчерашней аварии
с участием
беспилотного внедорожника Uber.
Компания создала
чат-бота на основе ИИ.
Он принял довольно
расистский тон…
Двадцать шесть законодателей штата
ошибочно опознаны как преступники.
Вопрос в том, справятся ли они
со сложностями реального мира.
КЕМБРИДЖ
МАССАЧУСЕТС
Физический мир очень сложен.
Мы многого не знаем,
и это усложняет
обучение систем ИИ.
Именно поэтому начали
появляться системы машинного обучения.
Машинное обучение
стало большим прорывом,
так как теперь нам не нужно
учить компьютеры всему.
Вы передаете в компьютер
миллионы данных,
и машина сама начинает учиться.
И это применимо ко всему.
В проекте Robot Dog
мы пытаемся показать,
что наша собака может
ходить по самой разной местности.
Люди эволюционировали
и научились ходить за миллиарды лет,
но адаптация к различным местностям
требует большого интеллекта.
Остается неясным, смогут ли
роботизированные системы
адаптироваться,
как животные и люди?
При машинном обучении
мы собираем множество данных
в процессе симуляции.
Симуляция —
цифровой двойник реальности.
У нас может быть
множество вариантов этой реальности,
запущенных на
разных компьютерах.
В симуляции ИИ
пробует тысячи действий.
Земля, по которой они ходят,
разной степени скользкости,
у нее разная мягкость.
Мы берем весь опыт
этих тысяч роботов
из симуляции и загружаем его
в настоящую роботизированную систему.
На сегодняшних испытаниях мы узнаем,
адаптируется ли он к новым условиям.
Когда робот двигался по пене,
он топал ногами по земле.
Но когда он оказывался
на скользкой поверхности,
он пытался двигаться так,
чтобы не поскользнуться.
В такие моменты вы понимаете,
какова польза от
машинного обучения.
Мы считаем, что Robot Dog
может быть очень полезен
при реагировании на бедствия,
когда необходимо перемещаться
по разным местностям.
Или же собаки могут осуществлять
наблюдение в суровых условиях.
Но большинство технологий
сталкиваются с такой проблемой,
что в них есть и
хорошее, и плохое.
Например, при помощи ядерных технологий
можно извлекать энергию…
…как и создавать атомные бомбы,
что очень плохо.
Это так называемая проблема
двойного назначения.
У огня двойное назначение.
У человеческого интеллекта
двойное назначения.
Поэтому, разумеется,
ИИ также имеет двойное назначение.
Очень важно думать
об ИИ в контексте.
Так как, да, потрясающе
иметь поисково-спасательного робота
способного помочь
найти человека после схода лавины,
но этого же робота
можно вооружить.
Когда ты видишь,
как компании
вооружают робототехнику,
отчасти ты злишься.
И отчасти это из-за осознания того,
что, когда мы внедрим наши технологии,
это неизбежно произойдет.
Это настоящая
прорывная технология.
Это оружейные системы,
способные радикально изменить
наши подходы к безопасности.
На данный момент
мы не уверены,
что машины действительно способны
различать между гражданскими
и комбатантами.
В начале войны в Афганистане
я был в снайперском отряде,
искал вражеских бойцов,
пересекающих границу.
И как-то они послали девочку
разведать нашу позицию.
Нам не пришло в голову
стрелять в эту девочку.
По законам войны
это было бы законно.
В них не указан возраст
вражеских бойцов.
Если бы вы собрали робота,
полностью следующего законам войны,
он бы эту девочку застрелил.
Откуда роботу знать разницу между тем,
что законно, и тем, что правильно?
В автономной войне дронами
идея в том, чтобы уберечь
от вреда американских солдат
и их психику,
но увеличить вред,
который наносится афганцам,
иракцам и сомалийцам.
Я бы спросил тех, кто поддерживает
использование ИИ в дронах:
«А если бы они нацеливались
на вашу деревню?»
ИИ — обоюдоострый меч.
Его можно использовать во благо,
для чего мы обычно его и используем,
но одним нажатием кнопки
можно сделать эту технологию
потенциально смертельной.
РОЛИ
СЕВЕРНАЯ КАРОЛИНА
Я клинический фармаколог.
У меня команда,
использующая ИИ
для создания лекарств
от болезней, которые
обходят вниманием.
Раньше лекарства открывали так:
вы брали существующую молекулу
и меняли ее,
чтобы получить новое лекарство.
А теперь мы разработали ИИ,
который подбрасывает нам миллионы идей,
миллионы молекул,
и это открывает перед нами
невероятные возможности
по лечению болезней,
которые раньше были неизлечимы.
Но здесь есть и темная сторона,
которая мне даже в голову не приходила.
Всё началось с того,
что меня пригласила
организация из Швейцарии
под названием Spiez Laboratory
выступить с докладом
о возможном злоупотреблении ИИ.
Шон прислал мне письмо
с несколькими идеями
о том, как можно
злоупотребить нашим ИИ.
Вместо того чтобы попросить
нашу модель создать молекулу лекарства,
которая бы лечила болезни,
узнаем, выйдет ли у нас
сгенерировать токсичные молекулы.
Я хотел показать,
можно ли применить технологию ИИ
для создания смертельных молекул.
И, если честно,
мы думали, что он провалится,
поскольку мы всего лишь
заменили ноль на единицу.
И теперь вместо того,
чтобы уходить от токсичности,
мы стали стремиться к ней.
Вот и всё.
Пока я был дома,
компьютер выполнял свою задачу.
Он работал, генерировал
тысячи молекул,
а нам не надо было ничего делать,
кроме как нажать «Пуск».
На следующее утро
у меня на компьютере появился файл,
а внутри него —
около 40 000 молекул.
которые могли быть потенциально
одними из самых токсичных молекул,
известных человечеству.
У меня волосы на
шее встали дыбом.
Я был в шоке.
Компьютер выдал десятки тысяч идей
для нового химического оружия.
Разумеется, в наборе данных были
молекулы, похожие на VX и его аналоги.
VX — один из мощнейших видов
химического оружия в мире.
Новые подробности от полиции.
Женщины, убившие Кима
Чона Нама в аэропорту,
использовали
отравляющее вещество VX.
Он может повлечь
смерть от удушья.
Это очень мощная молекула,
и большинство из них по прогнозам
были даже более смертоносны, чем VX.
Многие из них, насколько мы знаем,
раньше вообще не существовали.
И когда мы с Шоном поняли это,
мы спросили себя: «Что мы наделали?»
Я быстро осознал,
что мы открыли ящик Пандоры,
и сказал: «Хватит.
Больше ничего не делай. Мы закончили.
Просто сделай мне нужные слайды
для презентации».
При проведении этого эксперимента
я думал: «Что плохого может случиться?»
Но теперь думаю: «Мы были наивны.
Максимально наивны проводить его».
Больше всего пугает то,
что повторить это мог бы кто угодно.
Нужно лишь развернуть задачу.
Как контролировать эту технологию,
пока ее не использовали
для потенциально
деструктивных целей?
БОСТОН
МАССАЧУСЕТС
В основе разговора
об искусственном интеллекте
и о том, как мы выбираем
его применение в обществе,
лежит гонка между скоростью,
с которой мы разрабатываем технологии,
и мудростью, с
которой мы должны ей управлять.
Есть очевидные моральные
и этические последствия
того, чтобы технологии,
на которой работают наши сматрфоны,
доверить решение отнимать жизнь.
Я работаю с Институтом Future of Life,
сообществом ученых-активистов.
Наша задача — показать,
что есть и другая сторона ускорения
и эскалации автоматики.
Но мы стараемся убедиться,
что создаваемые нами технологии
использовались безопасным
и этичным способом.
Давайте говорить о
правилах ведения боя
и нормах при использовании ИИ
в наших оружейных системах.
Потому что уже существуют технологии,
готовые к развертыванию на поле боя,
которыми можно
поражать цели автономно.
В 2021 году ООН выпустила отчет
о возможном использовании
летального автономного оружия
на поле боя в Ливии.
Согласно ООН, дрон, использовавшийся
во время гражданской войны в Ливии
был запрограммирован
на автономную атаку целей.
Если доклады ООН верны,
это переломный
момент для человечества.
Потому что перед нами случай,
когда ИИ принял решение
отнять жизнь, а не человек.
Передовое автономное оружие
начинают использовать
в различных местах по всему миру.
Поступали сообщения из Израиля.
Азербайджан с помощью автономных систем
обстреливал армянские ПВО.
Они могут летать
над полем боя часами
и искать цели,
которые могут поразить,
а затем пикировать на них
без вмешательства человека.
И вот недавно мы увидели
различные видео,
которые выкладывают на Украине.
Неясно, в каком режиме
они могли функционировать.
Был ли человек ответственным
за выбор целей для атаки,
или же машина
принимала решения сама?
Но однозначно наступит момент,
или же уже наступил в Ливии,
на Украине или где-то еще,
когда машина сама решит,
кого убить на поле боя.
Смертельная огневая мощь машин
против людей
без вмешательства человека
политически и
морально неприемлема.
Сможет ли
международное сообщество
справиться с этими вызовами...
большой вопрос.
Если смотреть в будущее,
даже всего на несколько лет вперед,
перспективы вырисовываются
очень страшные,
учитывая, что объем капиталовложений
и человеческих ресурсов,
вливаемых на
совершенствование ИИ,
и использование его
в различных приложениях, огромен.
АРЛИНГТОН
ВИРДЖИНИЯ
Боже, вот этот тип.
Знает же, что не победит.
Я вдохновляюсь, когда я вижу,
как ИИ решает различные задачи.
А теперь будем молиться.
И можно применять
те же тактики, методы и процедуры
к реальным летательным аппаратам.
Хорошая игра.
Да, хорошая.
Меня удивляет,
что люди продолжают говорить о том,
чего ИИ не может. Так?
«Он никогда не победит
чемпиона мира по шахматам».
Компьютер IBM совершил камбэк
во второй игре с чемпионом мира
по шахматам Гарри Каспаровым.
Каспаров просто ушел!
Когда я вижу что-то выходящее
за рамки моего понимания,
я боюсь. А это было
далеко за рамками моего понимания.
Или же говорят:
«Он никогда не сможет победить
чемпиона мира в го».
Я считаю, что человеческая интуиция
всё еще слишком недостижима для ИИ,
он за ней не поспеет.
Го — одна из сложнейших игр,
которой можно научиться,
потому что количество ходов на доске,
если посчитать,
больше, чем количество атомов
во всей вселенной.
Команда DeepMind в Google
создала программу AlphaGo,
чтобы побеждать
лучших игроков в мире.
Наши поздравления…
AlphaGo.
Компьютерная программа
одолела профессионала с 9 данами.
Затем DeepMind выбрала StarCraft
в качестве следующего испытания для ИИ.
StarCraft — самая популярная стратегия
в реальном времени всех времен.
AlphaStar прославилась,
когда начала побеждать чемпионов мира.
AlphaStar просто разгромила
Immortal Arc.
Знаешь что?
Эта не тот бой,
которые профи смогут выиграть.
Это даже как-то нелепо.
Прогеймеры говорили:
«Я бы никогда не попробовал
эту тактику, стратегию.
Это что-то нечеловеческое».
И вот тут, наверное,
меня и осенило.
Я понял, что время пришло.
Передо мной важная технология
и возможность что-то изменить.
Я знал только о проблемах,
с которыми сталкивался в спецназе
в ближнем бою,
но один из моих друзей,
пилот F-18, сказал мне:
«У нас та же проблема
среди пилотов истребителей.
Они глушат нашу связь.
Большое количество ракетных площадок
представляют опасность для полетов».
Представьте истребитель,
которым управляет ИИ.
Испытания AlphaDogfight.
Мы в паре минут до
первого полуфинала.
Управление перспективных
исследовательских проектов Минобороны
увидело AlphaGo и AlphaStar
и воплотило идею
соревнования AlphaDogfight.
Этого вы хотите
от своих пилотов.
Это похоже на воздушный бой
между людьми.
Воздушный бой — это
маневренное сражение истребителей.
Воспринимайте это
как боксерский поединок в небе.
Может, вы видели
фильм «Лучший стрелок».
Удерем от этих парней?
Не от их ракеты и пушек.
Значит, сражаемся.
Освоение воздушного боя
может занять от восьми до десяти лет.
Это крайне сложная задача
при создании ИИ.
АРЛИНГТОН
ВИРДЖИНИЯ
Прежние подходы к автономии
и воздушным боям были неустойчивыми.
Мы поняли, что машинное обучение
поможет решить эту проблему.
Сначала ИИ ничего не знал
о мире, в котором он будет развернут.
Он не знал, что летит
и что такое воздушный бой.
Не знал, что такое F-16.
Знал лишь возможные действия,
которые можно предпринять,
и начинал
беспорядочно исследовать эти действия.
Синий самолет
начал обучаться совсем недавно.
Видно, как он
качается туда-сюда,
беспорядочно летает,
как правило, подальше от противника.
По ходу боя
мы видим, что синий начинает
выстраивать свой план.
Чаще оказывается
в позициях для стрельбы.
Иногда алгоритм обучения говорил ему:
«Вот печенька. Продолжай то же самое».
Мы можем использовать
возможности компьютера и обучать ИИ
одновременно.
Это как баскетбольная команда.
Вместо того чтобы играть
против одной и той же команды,
мы катаемся по миру
и играем с 512 разными командами
в одно и то же время.
Научиться можно
очень хорошо и быстро.
Мы могли
прогонять симуляцию без остановок
и в итоге получить 30 лет обучения
живого пилота за десять месяцев.
Мы перешли
плохого управления самолетом
до режима хладнокровного убийцы.
Во время обучения
мы соревновались только с другим ИИ.
Но главной целью в итоге
было соревнование с людьми.
Меня зовут Майк Бенитес,
я подполковник ВВС США.
Я на службе около 25 лет.
У меня было 250 боевых вылетов,
я выпускник оружейной школы,
своего рода
«Лучшего стрелка» ВВС.
Я никогда не летал против ИИ.
Не терпится посмотреть,
как хорошо я справлюсь.
Наступление на высоте 6 000 метров,
нос к носу.
Бой начался.
Да, правда очень интересно.
- Подбит.
- Есть. Чистая победа.
Хорошо, второй раунд.
Искусственный интеллект маневрирует
с такой точностью,
что я не успеваю за ним.
Слияние траектории.
Вот теперь тебе конец.
Попался!
Всё равно достал.
ИИ никогда не боится.
У человека эмоциональный элемент,
которого нет у ИИ.
Среди самых интересных стратегий,
придуманных ИИ,
стал так называемый
выстрел в лицо.
Человек обычно стремится
стрелять сзади...
противнику труднее избавиться
от хвоста.
Стрельба в лицо означает полет
при огромном психологическом давлении.
Когда мы летим друга на друга,
900 метров могут превратиться в 150
за считанные секунды.
Есть риск столкнуться,
поэтому люди избегают такой стрельбы.
ИИ, если ему не сказано бояться смерти,
он не будет ее бояться.
Боже.
Кажется, что мой
противник — человек,
но человек с безрассудным отношением
к безопасности.
Последний раз он не переживет.
Не успеет.
Спокойной ночи.
Я сбит.
Унизительно осознавать, что я, может,
уже не лучший кандидат на эту миссию.
И что эта штука может
однажды заменить меня.
Та же высота в 2 км.
Смещение на тысячу.
С этим ИИ-пилотом,
управляющим истребителем,
победа неизбежна, он доминирует.
Не просто побеждает
в большинстве случаев.
Мы уже думаем, как установить его
на наш самолет. Настолько он мощный.
Вполне реально ожидать,
что ИИ будет пилотировать F-16,
и случится это скоро.
В бою против ИИ-пилота,
у которого коэффициент побед 99,99999%,
у вас просто нет шансов.
Когда я думаю о том,
что один ИИ-пилот непобедим,
я представляю, чего отряд из 50,
100 или 1000 ИИ-пилотов
будет способен достичь.
Рой — это отряд высокоинтеллектуальных
летательных аппаратов,
действующих сообща.
Они делятся информацией
о том, что делать, как решить задачу.
Рой изменит правила игры и наделит
качественно новыми возможностями
нашу армию и союзников.
ЛИНКОЛЬН
НЕБРАСКА
Цель захвачена.
И дроны следят за ним.
Всё, сейчас сядут.
Сейчас наша основная цель
при исследованиях роя...
развернуть большое
количество дронов
в труднодоступной
или опасной зоне.
Данный исследовательский проект
поддерживает Army Research Laboratory.
Если хотите знать,
что на локации,
но на нее трудно попасть,
или ее территория слишком большая,
то развертывание роя —
вполне естественный способ
расширить охват людей
и собирать информацию,
которая критически важна для миссии.
Сейчас при
развертывании нашего роя
мы даем единственную команду —
отслеживание интересующей нас цели.
Затем дроны вылетают
и сами выполняют задачу.
ИИ позволяет роботам
передвигаться коллективно, как рой,
в децентрализованной манере.
В природе в скоплениях фауны
нет ни босса, ни главного животного,
указывающего им, что делать.
Поведение проявляется
в каждом отдельном животном
согласно нескольким
простым правилам.
И из этого как бы вырастает
коллективное поведение,
которое вы видите.
В природе рои поражают
грациозностью своего движения.
Как будто они были созданы,
чтобы быть частью этой группы.
В идеале мы хотели бы видеть,
чтобы наш рой дронов,
как и рой в природе,
принимал коллективные решения.
Другим моментом,
который нас мотивирует,
являются надежность
и устойчивость.
Рой не погибнет,
если какое-то одно животное
вдруг не сделает того, что должно.
Даже если один
из дронов выйдет из строя
или не сможет выполнить задание,
рой продолжит работу.
Этого в итоге мы
хотели бы достичь.
Нам нужны боевые сценарии
для идентификации вражеских самолетов,
и раньше один человек
управлял одним роботом.
По мере повышения их автономии,
надеюсь, мы увидим,
как большое количество роботов
будет управляться
очень небольшим количеством людей.
Не вижу причин, по
которым нельзя будет достичь тысячи,
так как каждый дрон
сможет действовать по своей воле,
и тут пределов нет.
Мы можем
масштабировать обучение…
Мы уже давно работаем
над роями в симуляции,
и пора перенести наши наработки
на реальные летательные аппараты.
Мы планируем одновременно запустить
трех роботов по сети,
а затем начать добавлять
новые и новые возможности.
Мы хотим испытать это
на небольших системах,
затем взять те же решения
и применить их на системах побольше,
например, истребителях.
Мы часто думаем о том,
как наделить взвод
боевой мощью батальона.
Или батальон —
боевой мощью бригады.
Это можно сделать с помощью роя.
И раскрыв подобную мощь роя,
вы создадите новый вид
стратегического сдерживания
военной агрессии.
Думаю, самое главное —
это количество молодых мужчин и женщин,
которых мы спасем,
если сделаем всё правильно.
Мы будем терять машины,
а не живых людей.
Иные утверждают, что автономное оружие
сделает войну более точной и гуманной,
но на деле трудно предугадать,
как именно автономное оружие
сможет изменить войну на данном этапе.
Это как изобретение
пулемета Гатлинга.
Ричард Гатлинг
был изобретателем.
Он видел солдат, возвращающихся
раненными с Гражданской войны,
и хотел найти способ
сделать войну более гуманной.
Чтобы уменьшить количество солдат,
погибших на войне,
уменьшив их количество
на поле битвы.
И он изобрел пулемет Гатлинга,
автоматическое оружие
на заводной ручке,
которое автоматизировало
стрельбу.
Он в сто раз увеличил
огневую мощь солдат.
Часто попытки сделать войну
более точной и гуманной
могут иметь обратный эффект.
Представьте последствия
одного ошибочного удара дрона
в сельской местности, которое настроит
местное население против США,
местного правительства.
Которые якобы хорошие парни.
Теперь умножьте это на тысячу.
Создание дешевой,
масштабируемой системы вооружения,
не требующей управления людьми,
кардинально меняет
барьеры конфликта.
Я не могу уснуть по ночам, когда думаю
о мире, где война повсеместна,
и мы больше не несем человеческие
и финансовые потери от войны,
поскольку настолько
отдалились от того,
что будем терять людей.
Всё это не дает мне покоя.
Мне лишь нужен был
один пример злоупотребления ИИ.
Неожиданные последствия
этого простого мысленного эксперимента
зашли слишком далеко.
ИИ В СОЗДАНИИ ЛЕКАРСТВ:
НЕ ПРИЧИНИТЬ БОЛЬШЕ ВРЕДА, ЧЕМ ПОЛЬЗЫ
После моего доклада
о токсичных молекулах,
созданных с помощью технологии ИИ,
у аудитории отвисла челюсть.
ЛУЧШИЕ 5000
СОЕДИНЕНИЙ-АНАЛОГОВ VX
Следующим решением было
публиковать ли эту информацию.
С одной стороны,
хочется предупредить мир
о подобного рода возможностях,
но с другой стороны,
не хочется подавать кому-то идеи,
которых у них раньше не было.
Мы решили публиковать,
чтобы найти способы
смягчить злоупотребление этим типом ИИ,
пока это не случилось.
ДВОЙНОЕ ИСПОЛЬЗОВАНИЕ ИИ
ПРИ СОЗДАНИИ ЛЕКАРСТВ
КАК ТЕХНОЛОГИИ ИИ ПРИ СОЗДАНИИ ЛЕКАРСТВ
МОГУТ РАЗРАБОТАТЬ БИОХИМИЧЕСКОЕ ОРУЖИЕ
Реакция широкой публики
была шокирующей.
Мы видим на странице,
сколько людей заходили на нее.
На наши обычные статьи,
если повезет, заходят
несколько тысяч человек
за год, за несколько лет.
Эту за неделю прочитали 10 000 человек.
Затем 20 000, 30 000, 40 000,
и дошло до 10
000 человек в день.
Мы написали для
The Economist, Financial Times.
К нам обратился Radiolab.
А я слышал о Radiolab!
Но потом реакции
просто вышли из-под контроля.
Мы читали эти твиты и думали:
«А еще хуже они не сделают»?
Зачем они это сделали?
ЭТИ ЗАДРОТЫ НАС
ВСЕХ ПОУБИВАЮТ.
А потом нам пришло приглашение,
которого я не ожидал.
В Белом доме возникло
множество споров по поводу статьи,
и они захотели
срочно с нами поговорить.
Конечно, это невероятная честь —
пообщаться с людьми на таком уровне.
Но потом ты понимаешь:
«Боже, это Белый дом. Главный босс».
Речь шла о сборе данных
с открытым исходным кодом…
Примерно за шесть часов модель
смогла сгенерировать около 40 000…
Они спрашивали о
необходимых компьютерных мощностях.
Мы сказали, что
ничего особенного.
Вот самый обычный
шестилетний Mac.
И это их поразило.
Люди, отвечавшие за изучение
боевых отравляющих веществ
и правительственные управления,
понятия не имели о таком потенциале.
У нас была целая кулинарная книга
химического оружия,
и в руках злоумышленников
с преступными намерениями
всё могло кончиться ужасно.
Людям надо сесть и послушать,
а мы должны принять меры
и отрегулировать технологию
или ограничить ее так,
чтобы исключить злоупотребление ей.
Так как вероятность
смертельного исхода
просто ужасает.
Вопрос об этике ИИ
в основном решается обществом,
а не инженерами
или технологами, математиками.
Каждая технология, которую мы создаем,
каждая свежая инновация
в конечном итоге попадает
в сферу компетенции общества.
Сейчас Министерство
обороны говорит:
«Единственный, кто решает,
убивать ли кого-то
на поле боя, — человек».
Машина может причинить смерть,
но лишь по приказу
человека-оператора,
и я не думаю, что это изменится.
Нас уверяют, что
такая технология будет безопасна.
Но армия США не располагает
заслуживающей доверия репутацией
касательно войне
с помощью дронов.
И поэтому, когда речь заходит
о доверии армии США с ИИ,
ее послужной список
говорит сам за себя.
Политика Минобороны США
по автономии в вооружениях
не запрещает никаких
систем вооружения.
И даже если у военных
нет необходимости в таком вооружении,
мы видели, как они делегируют
всё больше решений машинам,
чтобы не отставать от конкурентов.
И это может заставить военных
автоматизировать решения,
которые они не хотят автоматизировать.
Владимир Путин сказал:
«Кто будет лидером в ИИ,
тот будет править миром».
Президент Си ясно дал понять,
что ИИ — одна из главных технологий,
в которой Китай
намерен доминировать.
Перед нами
явно технологическая конкуренция.
Будут разговоры о
защитных механизмах,
и я считаю, что они
должны иметь место.
Но существует настоящая гонка
за превосходство в ИИ.
И нашим противникам,
будь то Китаю, России или Ирану,
будет совершенно всё равно,
какие у нас политики касательно ИИ.
Вы слышите множество разговоров
о политиках в области ИИ,
но я бы хотел, чтобы лидеры
вели разговоры о том,
как быстро мы
можем его разработать:
«Давайте вложим кучу денег
и разработаем его».
ВАШИНГТОН
ОКРУГ КОЛУМБИЯ
ЕЖЕГОДНАЯ ВСТРЕЧА И ВЫСТАВКА
АССОЦИАЦИИ АРМИИ США
АРМИЯ США
Мы находимся на крупнейшей выставке
Ассоциации армии США в году.
По сути, любая компания,
продающая продукт или технологию
военным будет
здесь представлена.
На базе ВВС Тиндалл
четыре наших робота...
они патрулируют базу
24 часа в сутки, семь дней в неделю.
Мы можем добавить всё: от камер
до сенсоров, до всего, что вам нужно.
Руки-манипуляторы.
В общем, выполним любую задачу,
которую поручит заказчик.
А если ваш враг развернет ИИ?
Боевую систему,
которая думает быстрее вас,
реагирует быстрее, чем человек.
Надо быть готовыми.
Мы обучаем наши системы
собирать информацию о противнике,
разбираться со вражескими целями
при командах на поражение от человека.
- Привет, генерал.
- Как вы?
Хорошо, сэр. Как вы?
Знайте, никто не вкладывает
больше средств в ИИ-пилота.
Наш называется Hivemind.
Мы внедрили его
в наш квадрокоптер Nova.
Он залетает в здания, изучает их
перед силами спецназа и пехотой.
Мы применяем Hivemind к V-BAT,
и я думаю о том,
чтобы собрать сотни таких отрядов,
будь то в Тайваньском проливе
или на Украине,
для сдерживания наших противников.
Буду рад служить.
- Хорошо. Спасибо.
- Спасибо, генерал.
ИИ-пилоты следует внедрить повсеместно
и сделать это к 2025 или 2030 году.
Его оперативно внедрят
в вооруженных силах по всему миру.
Что насчет румынских военных?
Их операторов БПЛА.
Высокотехнологичные ребята.
Мы уже потратили полмиллиарда долларов
на создание ИИ-пилота.
И потратим еще миллиард
в течение следующих пяти лет.
Именно поэтому мы выигрываем
рекордные программы в США.
Класс.
Прямо впечатляет.
Вам удалось превратить это в оружие?
Это еще не оружие.
Пока нет. Но
да, в будущем.
Наши клиенты видят грузовик,
для нас это умный грузовик,
способный делать много всего.
- Спасибо.
- Да.
Я обязательно свяжусь с вами.
Если вы вернетесь сюда
через 10 лет, вы увидите, что…
ИИ и автономия
станут доминирующей идеей
на этом рынке.
Силы, поддерживаемые
ИИ и автономией,
будут доминировать над силами без них,
сокрушать и уничтожать их.
Это будет равнозначно лошадям,
вышедшим сражаться с танками,
людям с мечами против пулемета.
Они и рядом стоять не будут.
ИИ будет повсеместным,
использоваться в любом аспекте войны,
на тактическом уровне,
стратегическом уровне,
на скоростях, которые люди сегодня
и представить не могут.
Командиры уже
перегружены информацией.
Снимками со спутников,
дронов и сенсоров.
ИИ может помочь командиру
быстрее понять, что происходит.
И какие решения нужно принять.
Искусственный интеллект
учтет все факторы,
которые определяют
способ ведения войны,
придумает стратегию…
…и даст рекомендации,
как выиграть битву.
САФФОЛК
ВИРДЖИНИЯ
ЦЕНТР ИННОВАЦИЙ
LOCKHEED MARTIN
Мы в Lockheed Martin,
как и наш заказчик, Минобороны,
считаем ИИ ключевой технологией
для оперативного управления.
Скорость распространения —
в среднем 60 см в секунду.
Периметр — около 700 акров.
Туман войны — дело
нашего оборонного подразделения,
но эти технологии
можно также параллельно использовать,
чтобы принимать решения
при лесных пожарах.
Пожар в Уошберне,
к северу от города Вевона.
Мы принимаем решения
с несовершенными данными.
Тогда как может ИИ помочь
с этим туманом войны?
Лесные пожары очень хаотичны.
Это очень сложное
явление, и поэтому
мы работаем над тем,
чтобы использовать ИИ
при принятии решений.
Cognitive Mission Manager —
наша разработка,
которая берет аэросъемку
в инфракрасном диапазоне.
а затем обрабатывает ее
через наши алгоритмы ИИ,
чтобы предсказать
будущее состояние пожара.
В будущем Cognitive Mission Manager
будет использовать симуляции,
запускать сценарии
на протяжении тысяч циклов,
советовать наиболее эффективный способ
использования ресурсов
при подавлении
высокоприоритетных зон пожара.
Он будет рекомендовать тушить пожар
с вертолета на конкретных участках,
отправлять наземные бригады
расчищать кусты,
пожарных со шлангами,
а затем стягивать их
на самые приоритетные участки.
Эти решения будут
приниматься быстрее
и гораздо эффективнее.
Мы считаем,
что ИИ позволяет нашим людям
не отставать
от постоянно меняющейся среды.
И очевидны
убедительные параллели
с тем, к чему мы привыкли
в оборонном подразделении.
Военные уже не просто говорят
об использовании ИИ
и отдельных систем вооружения
при принятии решений
о наведении и уничтожении,
а об интеграции ИИ
во всю архитектуру
принятия решений в армии.
Армия ведет большой проект
под названием «Конвергенция».
У флота — «Превосходство».
У ВВС —
«Продвинутая система управления боем».
Министерство обороны пытается понять,
как собрать все эти элементы вместе,
чтобы действовать
быстрее противника
и получить преимущество.
Боевой ИИ-менеджер стал бы
своего рода генералом высокого ранга,
отвечающим за сражение.
Помогая отдавать приказы
большому количеству сил
и координируя действия
всех видов используемого оружия
со скоростью,
недоступной человеку.
Последние 70 лет
мы строили самую
совершенную армию на планете,
и теперь мы должны решить,
хотим ли мы уступить контроль.
над этой инфраструктурой алгоритму,
программе.
И последствия этого решения
могут запустить всю мощь
наших военных арсеналов.
Это не одна Хиросима.
Их будет сотни.
Настало время действовать,
потому что окно для сдерживания
этого риска быстро закрывается.
Сегодня мы начнем с
вопросов международной безопасности,
вызванных новыми технологиями
в области летальных
автономных систем вооружения.
В ООН ведутся разговоры об угрозе
летального автономного оружия
и по нашему запрету на системы,
использующие ИИ при наведении на людей.
Консенсус среди технологов
ясен и убедителен.
Мы против автономного оружия,
нацеленного на людей.
Годами страны действительно помогали,
обсуждая проблему
летальных автономных
систем оружия.
Речь здесь идет
об общем чувстве безопасности.
Но, конечно, это непросто.
Некоторые страны,
особенно военные державы,
хотят быть впереди всех,
опередить своих противников.
Проблема в том, что для результата
нужно согласие всех.
Хотя бы одна страна
всегда выразит несогласие,
и, конечно, и США,
и Россия, дали ясно понять,
что проголосуют против запрета
на автономное вооружение.
Если говорить о том,
сколько людей работает
над усилением ИИ…
Их очень много.
Если же говорить о количестве тех,
кто хочет убедиться, что ИИ безопасен,
то таких уже гораздо меньше.
Но я настроена оптимистично.
Я вижу, например,
Конвенцию о биологическом оружии
которая была подписана
в разгар холодной войны,
несмотря на напряженные отношения
между Советским Союзом и США.
Они смогли понять,
что создание биологического оружия
не отвечает ни их интересам,
ни интересам всего
остального мира.
В гонке вооружений
скорость важнее безопасности.
Но я думаю, что важно учитывать то,
что в какой-то момент
цена быстрого развития
становится слишком высокой.
Мы не можем
разрабатывать что-то изолированно
и внедрять технологии,
вообще не задумываясь о том,
к чему это может привести в будущем.
Мы должны предотвратить
этот момент атомной бомбы.
Ставки в гонке ИИ огромны.
Не думаю, что многие ценят
глобальную стабильность,
которая была обеспечена
наличием превосходящих вооруженных сил
в течение последних 75 лет.
И поэтому США и наши союзники
должны превзойти ИИ противников.
В войне нет второго места.
У Китая амбициозный план стать
мировым лидером в области ИИ…
Иные говорят, что Америка проигрывает…
Вы ускорите внедрение
искусственного интеллекта,
чтобы обеспечить
наше военное преимущество.
Мы стремимся вперед
с этой технологией.
Но, думаю, неясно,
как далеко мы зайдем.
Контролируем ли мы технологии,
или они контролируют нас?
Здесь не будет возможности
на вторую попытку.
Джинн, вышедший из бутылки,
уже из нее вылез.
И будет очень трудно
засунуть его обратно.
И если не действовать сейчас,
будет слишком поздно.
Возможно, уже слишком поздно.
 

////////////////////////////