Еще десять лет назад многие технологические сценарии, показанные в фантастических фильмах и сериалах, воспринимались как преувеличение или мрачная сатира. Сегодня же многие из этих сценариев постепенно становятся частью повседневной реальности. Искусственный интеллект участвует в принятии судебных решений, алгоритмы прогнозируют преступления, автономные системы получают право на применение силы, а цифровые технологии начинают менять само понимание памяти, смерти и человеческой природы.
Автор материала Сюзи Аристакесян анализирует несколько направлений развития современных технологий, которые уже сегодня ставят перед человечеством фундаментальные правовые и этические вопросы.
Конец презумпции невиновности: искусственный интеллект в судах и полиции
Идея предсказания преступлений до их совершения долгое время ассоциировалась с фантастическим фильмом «Особое мнение» по произведению Филипа Дика. Однако сегодня элементы этой концепции уже используются в реальной судебной и правоохранительной практике различных стран.
Одним из наиболее известных и одновременно наиболее спорных примеров стала американская система COMPAS (Correctional Offender Management Profiling for Alternative Sanctions). Этот алгоритм оценивает вероятность повторного совершения преступления обвиняемым и формирует математический показатель риска, который затем используется судьями при принятии решений, в том числе при выборе меры пресечения.
Создатели подобных систем утверждали, что алгоритмы позволят исключить человеческий фактор — усталость, эмоции, субъективные симпатии и предубеждения. Однако на практике выяснилось, что искусственный интеллект не устраняет системные ошибки, а зачастую лишь закрепляет и легализует их.
Широкий общественный резонанс вызвало расследование независимой журналистской организации ProPublica под названием Machine Bias. Проанализировав более семи тысяч судебных дел, журналисты пришли к выводу, что алгоритм COMPAS систематически завышал вероятность рецидива для темнокожих граждан и занижал ее для белых. Причина заключалась в том, что система обучалась на исторических данных, содержащих уже существовавшие социальные и институциональные перекосы.
Параллельно во многих крупных городах мира начали использоваться системы предиктивного патрулирования, такие как Geolitica. Эти алгоритмы определяют районы, где, по их расчетам, вероятность преступлений наиболее высока, и рекомендуют направлять туда дополнительные силы полиции.
По мнению критиков, подобный подход создает замкнутую систему. Увеличение числа полицейских патрулей в определенных районах приводит к росту количества проверок и задержаний именно там. Эти данные затем возвращаются в систему и подтверждают первоначальные прогнозы алгоритма, создавая эффект самовоспроизводящейся статистики.
В докладе международной правозащитной организации Amnesty International под названием Automated Apartheid подробно описывается, как подобные технологии могут способствовать возникновению цифровой сегрегации и формированию своеобразных «цифровых гетто».
Восстание машин: автономное оружие и проблема ответственности
Когда речь идет о военных роботах, массовая культура обычно предлагает образ человекоподобных машин. Однако реальность оказалась значительно проще и одновременно опаснее. Обычный коммерческий беспилотник, оснащенный системой компьютерного зрения и алгоритмами распознавания целей, способен превратиться в автономную боевую систему.
В марте 2021 года ООН опубликовала документ, который многие эксперты считают историческим. В официальном докладе Совета Безопасности ООН по ситуации в Ливии был описан случай, когда турецкий беспилотный аппарат Asisguard Kargu-2, по имеющимся данным, действовал в автономном режиме и атаковал цель без непосредственной команды оператора.
В тексте доклада отмечалось, что отступающие подразделения подвергались преследованию со стороны беспилотных боевых систем, способных самостоятельно определять и поражать цели без постоянного обмена данными с оператором.
Для многих исследователей этот случай стал символической точкой отсчета новой эпохи, когда решение о применении смертельной силы может приниматься не человеком, а алгоритмом и программным кодом.
Именно поэтому международное движение Stop Killer Robots, объединяющее ученых, экспертов по искусственному интеллекту и правозащитников, требует принятия юридически обязательного международного соглашения о запрете автономного оружия.
Сторонники такого запрета подчеркивают, что алгоритмы не обладают эмпатией, не способны оценивать человеческое поведение в сложных ситуациях и не могут нести юридическую ответственность за последствия своих действий. Если автономная система ошибочно уничтожит мирных жителей, возникает фундаментальный вопрос: кто именно должен отвечать за совершенное действие — разработчик, производитель, военное командование или никто.
Особое беспокойство специалистов вызывает тот факт, что технологии автономного поражения целей уже проходят масштабные испытания в современных вооруженных конфликтах. То, что первоначально воспринималось как вынужденное технологическое решение, постепенно превращается в новую глобальную отрасль вооружений.
Цифровое бессмертие и индустрия искусственного горя
Еще одной быстрорастущей сферой стали так называемые технологии цифрового бессмертия или «траурные технологии».
Компании по всему миру предлагают клиентам собрать цифровой след человека — переписки, голосовые сообщения, фотографии, видеозаписи и публикации — чтобы затем создать на их основе интерактивного чат-бота или виртуального аватара. Это позволяет родственникам продолжать общение с умершим человеком через искусственно созданную цифровую личность.
Одним из наиболее известных проектов в этой области стала американская компания StoryFile, разработавшая технологию интерактивного общения с цифровыми копиями людей. Широкую известность получил случай Марины Смит, которая после смерти фактически «присутствовала» на собственной церемонии прощания в виде голографической проекции и отвечала на вопросы гостей.
Другие компании, такие как HereAfter AI и Seance AI, предлагают сделать подобное взаимодействие регулярным, превращая память об умершем человеке в постоянный формат цифрового общения.
Однако развитие подобных технологий вызывает серьезные вопросы у психологов, философов и юристов. Исследователи феномена цифровой смерти предупреждают, что замещение реального человека его виртуальной копией может препятствовать естественному процессу переживания утраты.
По их мнению, вместо того чтобы принять факт смерти близкого человека и постепенно преодолеть горе, люди могут оказаться в состоянии психологической зависимости от цифровой иллюзии продолжающейся жизни.
В исследовании MIT Technology Review подробно анализируется влияние подобных технологий на психическое состояние человека. Авторы отмечают, что искусственный интеллект не обладает сознанием и лишь имитирует поведенческие модели на основе накопленных данных. Когда такая система начинает допускать ошибки или использовать нехарактерные для умершего человека выражения, это способно нанести родственникам дополнительную психологическую травму.
Не менее сложным остается и юридический аспект проблемы. Современное законодательство пока не дает однозначного ответа на вопрос, кому принадлежат цифровые права личности после смерти человека и имеют ли родственники право передавать его личные данные коммерческим компаниям без заранее выраженного согласия.
Таким образом, понятие «цифрового согласия» фактически остается вне четкого правового регулирования.
Дизайнерские дети и новая биологическая элита
Фантастический фильм «Гаттака» когда-то показывал общество будущего, разделенное на две категории людей — генетически улучшенных и рожденных естественным путем. Долгое время этот сюжет воспринимался исключительно как художественная фантазия.
Однако в 2018 году китайский исследователь Хэ Цзянькуй объявил о рождении первых генетически модифицированных детей — близнецов Лулу и Наны. Используя технологию CRISPR/Cas9, ученый изменил ген CCR5, пытаясь сделать девочек невосприимчивыми к ВИЧ-инфекции.
Реакция мирового научного сообщества оказалась крайне жесткой. Эксперимент был признан преждевременным, безответственным и глубоко неэтичным, а сам исследователь был приговорен к трем годам лишения свободы.
Тем не менее этот случай продемонстрировал, что человечество уже обладает технологиями, позволяющими изменять собственный генетический код.
Сегодня репродуктивная медицина продолжает быстро развиваться. Во многих странах клиники экстракорпорального оплодотворения предлагают услуги преимплантационного генетического тестирования, позволяющего выявлять тяжелые наследственные заболевания еще до рождения ребенка.
При этом некоторые технологии позволяют родителям не только оценивать риски заболеваний, но и выбирать определенные характеристики будущего ребенка, включая пол.
Еще дальше идут биотехнологические компании, такие как Orchid Health, которые предлагают полное генетическое секвенирование эмбрионов и оценку вероятности развития различных заболеваний, включая диабет, ожирение, сердечно-сосудистые заболевания и психические расстройства.
Всемирная организация здравоохранения уже призвала к созданию международной системы контроля за технологиями редактирования генома, предупреждая, что их бесконтрольное использование способно привести к возникновению беспрецедентного биологического и социального неравенства.
Выбор, которого может не остаться
По мнению автора, главный страх, который всегда вызывало «Черное зеркало», заключался не в самих технологиях.
Настоящую тревогу вызывает готовность общества добровольно передавать алгоритмам все больше полномочий: определять виновность человека, принимать решение о применении силы, заменять реальные человеческие отношения цифровыми суррогатами и даже изменять биологическую природу будущих поколений.
Сегодня человечество все чаще соглашается обменивать свободу выбора на ощущение безопасности, эффективности и технологического комфорта.
Именно поэтому главный вопрос заключается не в том, насколько опасны технологии сами по себе, а в том, существует ли еще возможность остановиться, если однажды окажется, что путь назад уже закрыт.
Сюзи Аристакесян