Творения против творцов: действительно ли роботы убивают людей

В начале июня по мировым СМИ разлетелась новость о дроне, который под управлением искусственного интеллекта «убил» оператора на испытаниях. Во время компьютерной симуляции, связанной с уничтожением системы ПВО противника, оператор ограничивал ИИ и запрещал атаковать некоторые цели. В ответ машина сочла своего же командира за препятствие на пути к выполнению задачи и «открыла» по нему огонь.

Официально военные опровергли сам факт проведения испытаний, а слова полковника Такера Гамильтона, возглавляющего отдел испытаний и операций ИИ в ВВС США, назвали вырванными из контекста. Тем не менее, количество случаев, связанных с опасными действиями роботов и искусственного интеллекта, в последние десятилетия заметно возросло. Халатность, спешка и просто непредвиденные ситуации приводят к гибели рабочих на заводах, испытателей роботизированных такси и не только. Неужели пришло время бояться роботов-убийц?

Точно по инструкции

Первая смерть при взаимодействии с роботом и произошла в 1979 году. Правда, выглядело всё довольно прозаично: сотрудник американской фабрики Ford Роберт Уильямс был убит пятиэтажным механизмом для извлечения отливок с полок хранения. Из-за неверных данных Уильямс вынужден был забраться на третий уровень стеллажа, чтобы достать детали вручную. Там машина ударила его сзади и раздавила. Семья погибшего подала в суд на создателей механизма, компанию Litton Engineering, но стороны в итоге мирно урегулировали дело: потерпевшие получили 15 миллионов долларов и не стали обвинять Litton в халатности.

Спустя два года в Японии погиб рабочий Кенджи Урада. Его убила не ошибка ПО, а сочетание несовершенного алгоритма и спешки. Когда Урада должен был проверить на производстве неисправного робота, он перепрыгнул через защитный барьер для отключения механизма. Машина начала работать и затолкала Ураду в гидравлический пресс, а находившиеся рядом сотрудники вовремя не сообразили, как ему помочь.

С тех пор автоматизации на производствах стало только больше. В странах Евросоюза и в США количество роботов исчисляется сотнями на 10 000 работников (в России — значительно меньше). В одной только Великобритании к 2006 году инциденты с участием роботов стали причиной гибели 77 человек.

Чтобы предупредить «убийства» роботами один из известнейших фантастов XX века Айзек Азимов даже придумал три основных закона робототехники:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

По словам профессора университета Сассекса Блэя Уигби, эти законы предназначены для литературы и едва ли сгодятся для разработки промышленных роботов. Кроме того, сами по себе технологии не гарантируют стопроцентной безопасности, поскольку зачастую непредсказуемо именно человеческое поведение. Учесть все глупости, которые могут допустить оператор или другие сотрудники, невероятно сложно.

Создатели станков и тостеров, газонокосилок и телефонов и так делают всё возможное, чтобы создавать максимально безопасные механизмы. Но люди всё равно теряют пальцы, получают удары током или попадают под действие механизма по абсолютно разным причинам. Так или иначе, роботы действительно должны соответствовать жёстким стандартам безопасности, но как их сформулировать — отдельный вопрос. Эта задача обрела актуальность в начале 2000-х, с массовым распространением роботов.

Но особенно остро проблема назрела несколько лет назад, когда начались испытания первых такси с автопилотом (их ещё иногда называют «роботакси», хотя это не совсем верный термин).

Маршрут построен

Только за четыре месяца 2022-го, согласно опубликованной чиновниками США статистике, несчастные случаи с автоматизированным транспортом унесли жизни 11 человек. Десять из этих инцидентов произошли с автомобилями Tesla — на дорогах США уже есть 830 000 электрокаров этой компании с интегрированными системами автоматизации.

По мнению гендиректора Tesla Илона Маска, автомобили с автоматикой более надёжны, чем без неё. Предприниматель считает, что статистически аварий происходит немного, а значит, ИИ-помощник помогает снизить травматичность на дорогах. При этом, как полагает Маск, люди, чьи жизни были спасены, попросту об этом не знают. В то же время пострадавшие, напротив, совершенно уверены, что проблема заключается именно в автопилоте.

На стороне основателя Tesla в этом случае не только статистика, но и алгоритмы работы автопилота компании. В США есть шкала, согласно которой определяется автономность автомобиля от 0 до 5, вплоть до полностью автоматизированного устройства, которое способно само передвигаться в любых условиях. Автомобили Tesla по этой шкале автономны не более чем на 2 балла, то есть до степени «расширенный ассистент».

От «транспортного» ИИ требуется выполнение трёх задач: определять местоположение автомобиля на местности, разбираться в окружающей обстановке и спланировать маршрут. Для ориентации на местности используется машинное обучение: нейросети, к примеру, учатся отличать случайные вспышки света от сигналов светофора, а людей — от почтовых ящиков или мотоциклов. Но в любом случае автомобили при нынешнем уровне развития систем не могут быть полностью автономны.

Именно этими соображениями руководствовалась полиция во время расследования по делу пешехода, которого сбило Uber-такси от Tesla. Когда 50-летняя американка Элейн Херцберг решила перейти дорогу в неположенном месте, автомобиль определил её как препятствие. Но система не предприняла никаких действий из-за высокого порога распознавания опасных объектов. Управление должна была взять в свои руки водитель-оператор Рафаэла Васкес, однако вместо этого она смотрела стриминговое ТВ — в итоге «роботакси» сбило Элейн Херцберг насмерть.

У суда ушло несколько лет, чтобы разобраться в деле досконально. Так, выяснилось, что смертельного ДТП можно было избежать. В последние секунды перед столкновением система увидела необходимость использовать аварийные тормоза, но эту возможность отключили сами инженеры Uber. Так они хотели избавиться от потенциальных конфликтов управления. В результате чиновники признали виновной водителя Рафаэлу Васкес и выдвинули ей обвинение в убийстве по неосторожности.

Но это лишь частные случаи, а в целом за последние годы инцидентов с участием «автопилотируемых» такси стало больше. Так, в 2021 году два человека погибли из-за того, что автомобиль Tesla врезался в дерево. Правда, как установило следствие, причиной ДТП стало пьянство водителя: ассистент просто не сумел помочь ему на дороге, а надеяться больше было не на кого — в момент аварии кресло водителя пустовало.

Впрочем, знаковой всё же стала трагедия с Элейн Херцберг, которая заставила несколько компаний временно приостановить или свернуть разработки в области «роботакси», но не отказаться от них. Сегодня новые сервисы в этой области продолжают появляться в Европе, в США и в Китае. В Москве в начале этого июня Яндекс также запускал тестовый вариант «роботакси». Статистика аварий и юридические аргументы пока что значительно перевешивают страхи противников «роботизации».

Нейросети вошли в чат

Впрочем, «роботакси» вызывают не такие уж большие страхи на фоне взрывного развития нейросетей. С одной стороны, они дают огромный простор для творчества и расширяют рабочий функционал. С другой, учёные и исследователи бьют тревогу: бесконтрольное развитие ИИ может привести к экзистенциальной угрозе всему человечеству.

Так, ещё задолго до бума ChatGPT Стивен Хокинг предупреждал, что именно искусственный интеллект может стать причиной гибели нашей цивилизации. По его мнению, машины на основе ИИ станут чем-то вроде «новой формы жизни», которая улучшает и воспроизводит сама себя. Зачем ей в таком случае нужны будут люди, вопрос пока что дискуссионный.

Несколько месяцев назад известный исследователь ИИ Элиезер Юдковский опубликовал в журнале Time зловещую статью-предупреждение. Он сгустил краски ещё больше: «Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого умрёт каждый представитель человеческого рода и вся биологическая жизнь на Земле».

Юдковский полагает, что на нынешнем этапе развития люди сами не понимают, как определить сознающий себя искусственный интеллект. Соответственно, мы даже не успеем понять, когда нужно будет бить тревогу. Всё это, как полагает Юдковский, вполне может вылиться в восстание сверхразумного ИИ — ведь люди для него будут чем-то вроде недоразвитой цивилизации.

Похожие опасения поддержали более 30 тысяч человек, подписавших открытое письмо с призывом остановить обучение нейросетей мощнее GPT-4. Инициативу поддержали Илон Маск, сооснователь Apple Стив Возняк, соучредитель Pinterest Эван Шарп, а также инженеры, учёные и исследователи. Они также уверены, что общество не понимает последствия стремительного развития ИИ-технологий, которые могут серьёзно изменить «историю жизни на Земле».

Впрочем, бизнес и люди в целом едва ли свернут разработку роботов. По сути, они до сих пор не нарушили даже «литературные» законы робототехники Азимова — и большинство трагических инцидентов, связанных с их использованием, всё ещё происходят по вине человека. Что же касается нейросетей, то они ещё никого не убили. По крайней мере, пока.