Автономные системы оружия летального действия: необходимость превентивного запрета

А.Т. Ахметов,
директор Центра международной
безопасности и политики
(г. Нур-Султан, Казахстан)

В статье рассмотрена история обсуждения вопроса автономных систем оружия летального действия (АСОЛД) на площадке ООН, рассмотрены позиции государств, выступающих как за запрет данного вида оружия, так и затягивающих рассмотрение данного вопроса. Обоснована необходимость превентивного запрета АСОЛД, показаны имеющиеся необходимые для этого правовые предпосылки, рассмотрены различные определения данного вида оружия. В статье впервые в казахстанском научном пространстве даны рекомендации по выработке позиции Казахстана по запрету АСОЛД, в частности, о принятии активного участия в работе Группы правительственных экспертов по вопросу АСОЛД и о выступлении в защиту необходимости превентивного запрета АСОЛД.
Ключевые слова: автономные системы оружия летального действия (АСОЛД), автономный, искусственный интеллект, разоружение, оружие, значимый человеческий контроль, ООН, международное право, Группа правительственных экспертов (ГПЭ), Конвенция о негуманном оружии (КНО).

Пассивное ожидание страшного конца недостойно человека.
Н. Бердяев

Введение. Почему необходим
превентивный запрет
В настоящее время в глобальной повестке дня по вопросам разоружения, пожалуй, нет более актуального вопроса, чем вопрос об автономных системах оружия летального действия (АСОЛД).
Эксперты называют автономное оружие третьей революцией в войне после пороха и ядерного оружия.1 Эволюция оружия такова, что была направлена на увеличение дистанции и, таким образом, сохранения жизни атакующего: холодное оружие – огнестрельное оружие – ядерное оружие (гарантированное уничтожение). Новое измерение дистанционности автономного оружия состоит не только в том, что роботы могут выбирать цель самостоятельно,2 но и в том, что атакуемый может так и не узнать, кто инициировал и осуществил нападение.
Разработка полностью автономного оружия поднимает множество моральных, этических, технических, правовых вопросов и вопросов безопасности.
В настоящее время не существует отдельного международного правового инструмента, запрещающего разработку, испытания, производство и применение автономных систем оружия летального действия, в просторечии называемых «роботами-убийцами».
В тоже время важно отметить, что статья VI Договора о нераспространении ядерного оружия – самого универсального международного правового инструмента в сфере разоружения и международной безопасности – гласит: «Каждый Участник настоящего Договора обязуется в духе доброй воли вести переговоры... о договоре о всеобщем и полном разоружении под строгим и эффективным международным контролем».3 Таким образом, разработка новых видов оружия противоречит духу ДНЯО и приверженности мирового сообщества достичь всеобщего и полного разоружения.
Кроме того, разработка АСОЛД противоречит оговорке Мартенса: «В случаях, не предусмотренных настоящим Протоколом или другими международными соглашениями, гражданские лица и комбатанты остаются под защитой и действием принципов международного права, проистекающих из установившихся обычаев, принципов гуманности и требований общественного сознания».4
Один из главных аргументов против АСОЛД – морально-нравственный аспект: позволить машинам принимать решения о жизни или смерти – значит пересечь фундаментальную моральную черту.5 Здесь важно отметить, что:
- принципы морали и нравственности являются исключительной сферой ответственности человека;
- человеку свойственно сострадание и врожденное сопротивление убийству;
- роботы не способны оценить ценность человеческой жизни. Каждый человек уникален и не является объектом;
- у роботов отсутствуют эмоции, и они не чувствуют боль.
Следует отметить, что в международном праве существует механизм превентивного запрета АСОЛД – статья 36 Протокола 1 к Женевским конвенциям от 1977 года, которая гласит: «При изучении, разработке, приобретении или принятии на вооружение новых видов оружия, средств или методов ведения войны Высокая Договаривающаяся Сторона должна определить, подпадает ли их применение, при некоторых или при всех обстоятельствах, под запрещения, содержащиеся в настоящем Протоколе или в каких-либо других нормах международного права, применяемых к Высокой Договаривающейся Стороне».6 У мирового сообщества уже есть опыт превентивного запрета отдельного вида оружия, противоречащего международному гуманитарному праву – ослепляющие лазеры.7
Существуют также и другие аргументы в защиту необходимости превентивного запрета АСОЛД:
- проблема подотчетности – кто несет ответственность за действия робота: командир; программист; производитель или сам робот;
- развитие АСОЛД снижает порог развязывания войны (иллюзия безопасности атакующего);
- черный ящик. «Важная особенность обучающейся машины состоит в том, что ее учитель в значительной мере не осведомлен о многом из того, что происходит внутри нее»;8
- хакерские атаки и спуфинг;
- террористические атаки;
- в отличие, например, от ядерного оружия, доступность и дешевизна производства;
- разработки АСОЛД со временем начнут диктовать динамику гонки вооружений и неизбежно приведут к войне;9
- в АСОЛД могут происходить сбои;
- предвзятость машины (программа закладывается конкретным человеком);
- механизм самообучения может привести к фиксации ошибок;
- технологическая сингулярность в сфере развития АСОЛД может привести к непредсказуемым последствиям.10
В мае 1931 года выдающийся философ Николай Бердяев задолго до начала разработок АСОЛД предупреждал: «Техника дает в руки человека страшную, небывалую силу, силу, которой может быть истреблено человечество».11

История вопроса
Впервые на официальном уровне вопрос об автономных системах оружия летального действия был поднят в 2010 году на площадке Совета по правам человека. Так, Специальный докладчик по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях Филипп Олстон отмечает, что «хотя робототехнологии или автоматизированные системы вооружений развиваются гигантскими темпами, обсуждение в обществе возможных правовых, этических и моральных проблем, связанных с использованием таких технологий, еще только начинается, при этом крайне мало внимания уделяется созданию международно-правовых основ, необходимых для решения возникающих проблем». В заключение Ф. Олстон призывает «незамедлительно проанализировать правовые, этические и моральные последствия разработки и использования робототехники, особенно, но не исключительно, для ведения военных действий» и предлагает создать группу экспертов по данному вопросу.12
В 2013 году Специальный докладчик по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях Кристоф Хейнс (далее – Специальный докладчик Кристоф Хейнс) в своем подробном докладе отмечает, что «Одной из самых сложных проблем, решить которую пытаются правовые, моральные и религиозные кодексы, заключается в отношении к убийству человека человеком. Перспектива такого будущего, когда полностью автономные роботы будут в состоянии решать вопросы жизни и смерти, ставит дополнительно целый ряд беспокоящих вопросов... Это может также породить международный раскол и ослабить роль и верховенство между народного права и тем самым подрывать систему международной безопасности».13
В 2013 году на конференции Конвенции о негуманном оружии (КНО) государства-члены приняли решение о начале неформальных встреч экспертов для обсуждения новых технологий в сфере автономных систем оружия летального действия. Три неформальных встречи экспертов состоялись в период с 2014 по 2016 гг.
В 2016 году на конференции КНО было принято решение создать Группу правительственных экспертов (ГПЭ) по вопросу АСОЛД, которая приступила к работе с 2017 года.14
Заслуживает внимания доклад ГПЭ, принятый консенсусом в августе 2018 года и утвержденный конференцией КНО в ноябре 2018 года, в котором были утверждены 10 руководящих принципов15(впоследствии количество принципов было увеличено до 1116).
В ноябре 2019 года решением конференции КНО работа Группы была продлена на 2020-2021 годы.17

Определение АСОЛД
В настоящее время существует несколько определений АСОЛД, однако ключевое в них – автономный характер поражающей силы оружия на базе искусственного интеллекта, способный действовать самостоятельно, без участия и контроля со стороны человека.
Здесь важно подчеркнуть, что существует принципиальное отличие между терминами «автоматический» или «автоматизированный» – система функционирует в структурированной и предсказуемой среде, и «автономный» – система функционирует в открытой среде и динамичных условиях.18
Специальный докладчик Кристоф Хейнс в упомянутом выше докладе дает следующее определение АСОЛД: «роботизированные системы оружия, которые после их приведения в действие могут выбирать и поражать цели без последующего вмешательства со стороны оператора. Важный элемент заключается в том, что робот располагает автономным «выбором» в том, что касается определения цели и нанесения поражающего удара».19
Россия на заседании ГПЭ в августе 2018 года предложила следующее рабочее определение АСОЛД: «полностью автономные системы – безэкипажные технические средства, не являющиеся боеприпасами и предназначенные для выполнения боевых и обеспечивающих задач без какого-либо участия оператора».20 При этом российская сторона постоянно подчеркивает, что без единого понимания АСОЛД начинать какие-либо переговоры бессмысленно.
В свою очередь Ирландией на том же заседании ГПЭ было предложено рассматривать АСОЛД, как: «Систему оружия, которая действует автономно, поражая цели (смертельно), а также может действовать автономно при обнаружении и выборе цели до поражения цели. Уровень автономности может варьироваться от базовых уровней автоматизации до спектра увеличения числа автономных функций и снижения контроля со стороны человека,21 вплоть до полностью автономных систем, которые могут работать в широком диапазоне функций без прямого контроля со стороны человека».22
Китай, в качестве ключевых характеристик АСОЛД, предложил рассмотреть следующие: смертоносный характер силы; полная автономия; невозможность отмены военной операции; неизбежный характер конфликта; эволюционная природа АСОЛД.23
На наш взгляд наиболее удачным является определение АСОЛД, предложенное казахстанским ученым Т. Жантикиным: «АСОЛД – система вооружений летального действия, способная самостоятельно, без вмешательства человека, выявлять и классифицировать цели, принимать решение и уничтожать их».24
В контексте определения АСОЛД важно отметить, что Группа правительственных экспертов в своем докладе от 2018 года пришла к мнению, что «чисто технические характеристики, такие как физическая эффективность, стойкость или точность в обнаружении и поражении цели, сами по себе могут быть недостаточными для определения характера смертоносных автономных систем вооружений, особенно в свете стремительного развития технологий».25

Текущая ситуация на площадке ООН
и перспективы ее развития
В ходе презентации доклада Специального докладчика Кристофа Хейнса по АСОЛД в 2013 году, Пакистан стал первым государством, выступившим за запрет данного вида оружия, в частности, подчеркнув, что «ситуация, в которой одна сторона конфликта несет только экономические издержки, а ее комбатанты не подвергаются какой-либо опасности, – это уже не война, а одностороннее убийство».26
Позднее, уже в ходе работы Группы правительственных экспертов по АСОЛД в 2018 году Австрия, Бразилия и Чили инициировали вопрос начала переговоров по юридически обязывающему инструменту, который учтет правовые, гуманитарные и этические проблемы в отношении АСОЛД.27 В настоящее время тридцать государств поддерживают данное предложение и выступают за запрет АСОЛД.28 Помимо этого группа Африканских государств и Движение неприсоединения выступили за превентивный запрет АСОЛД.29
В ноябре 2018 года на Парижском Форуме Генеральный секретарь ООН Антониу Гуттериш призвал страны к запрету АСОЛД, подчеркнув: «...машины с возможностью и полномочиями лишать человека жизни будут политически неприемлемыми, морально недопустимыми и должны быть запрещены международным правом».30
В 2017 году Германия и Франция в своем совместном рабочем документе предложили принять политическую декларацию по АСОЛД и элементы такой декларации.31
Позднее, Германия и Франция на встрече министров «Альянса за многосторонность» в ходе Генеральной Ассамблеи ООН в сентябре 2019 года приняли декларацию по АСОЛД.32 Вопрос по АСОЛД стал одним из шести вопросов, рассмотренных на встрече Альянса.33 Со-организаторами данной встречи помимо Германии и Франции выступили Канада, Мексика, Чили, Сингапур и Гана. В настоящее время в работе Альянса участвует более 60 государств, в том числе и Казахстан.
К сожалению, данная декларация не только не отвечает необходимости заключения договора о превентивном запрещении АСОЛД, но и утверждает, что «чрезвычайно важно, чтобы производство, использование и передача такого будущего оружия прочно основывались на международном праве и государственном контроле».
В целях поддержания диалога и более глубокой проработки вопроса АСОЛД ряд стран выступили с инициативой организации конференций параллельно работе Группы правительственных экспертов с тем, чтобы к 2021 году прийти с конкретным результатом. Так, в феврале 2020 года подобный форум прошел в Бразилии,34 а 1-2 апреля 2020 года Германия организовала онлайн конференцию.35 Ожидается, что подобные мероприятия также будут организованы Японией и Австрией.
Помимо государств, выступающих за превентивный запрет АСОЛД, есть небольшое количество стран, защищающих данные технологии, а именно: Австралия, Великобритания, Израиль, Республика Корея, Россия, Турция, США и Франция (технологически развитые страны, уже приступившие к разработке данного вида оружия).36 При чем наиболее активными среди данной группы выступают США и Россия.37
Как отмечалось выше, в 2019 году Конференция КНО продлила мандат ГПЭ на 2020-2021 годы и поручила рассмотреть «руководящие принципы, которые она может дополнительно развить и доработать, работу над правовыми, технологическими и военными аспектами, выводы Группы, отраженные в ее докладах за 2017, 2018 и 2019 годы, и использовать их в качестве основы для своих консенсусных рекомендаций в отношении уточнения, рассмотрения и разработки аспектов нормативной и оперативной основы по новым технологиям в сфере создания смертоносных автономных систем вооружений».38
Проблема заключается в том, что мандат ГПЭ сформулирован расплывчато и дает каждому из государств возможность толковать «разработку аспектов нормативной и оперативной основы» по своему усмотрению.
Здесь важно подчеркнуть, что все решения на площадке КНО принимаются только консенсусом, и любое государство может заблокировать любое решение конференции.
Очевидно, что технологически развитые страны, упомянутые выше, не заинтересованы в начале переговоров по разработке и принятию юридически обязывающего инструмента по запрету АСОЛД и соответствующее решение на конференции КНО может быть заблокировано.
При таком сценарии развития событий (к сожалению, наиболее вероятном), есть два пути для дальнейшего движения вперед: инициировать начало переговоров через резолюцию Генеральной Ассамблеи ООН большинством голосов (так, например, был разработаны и приняты Договор о торговле оружием и Договор о запрещении ядерного оружия), или одна из стран может созвать международную конференцию у себя в столице (например, Конвенция о запрете противопехотных мин).
В ноябре 2019 года на конференции КНО Международная кампания по запрету боевых роботов, объединяющая более 130 неправительственных организаций в 60 странах мира отметила такую возможность, призвав государства к конкретным действиям.39
Учитывая, что вопрос начала переговоров о превентивном запрете АСОЛД лишь вопрос времени (на площадке КНО или в рамках какой-либо другой конференции) заслуживает внимания рабочий документ Кампании по запрету боевых роботов, предложившей ключевые элементы будущего договора, а именно: общие обязательства по сохранению значимого человеческого контроля; негативные и позитивные обязательства.40

Заключение. Что необходимо предпринять
Казахстану
Казахстан, являясь ответственным и активным сторонником процесса глобального разоружения, не может и не должен занимать пассивную позицию по вопросу превентивного запрета АСОЛД.
Превентивный запрет АСОЛД в полной мере соответствует пункту 6 мер для укрепления режима нераспространения и международной безопасности, предложенных Первым Президентом РК Н. Назарбаевым на заседании Совета Безопасности ООН 19 января 2018 года, в части «усиления контроля над созданием и распространением новых военных и информационных технологий».41
Позднее Президент РК К. Токаев в своем выступлении на общих дебатах 74-й сессии Генеральной Ассамблеи ООН 24 сентября 2019 года отметил, что «...растущее число неразрешенных конфликтов и эскалация напряженности... усугубляются интенсивным соперничеством... в сферах цифровых технологий и искусственного интеллекта».42
Кроме того, Концепция внешней политики Республики Казахстан на 2020-2030 годы среди приоритетов страны на международной арене отмечает «участие в международных усилиях по предотвращению гонки обычных и новых видов вооружений, поддержка мер по сохранению и продвижению международных режимов контроля над обычными и новыми видами вооружений».43
К сожалению, до настоящего времени Казахстан не выразил однозначную позицию по вопросу необходимости превентивного запрета АСОЛД. Так, выступая на тематических дебатах Первого комитета Генеральной Ассамблеи ООН в октябре 2019 года, казахстанская делегация ограничилась общими фразами о вызовах АСОЛД.44
Полагаем, что Казахстану необходимо предпринять следующие шаги в рамках поддержки усилий мирового сообщества по превентивному запрету этого вида оружия:
1. Сформировать делегацию из представителей заинтересованных государственных органов и принять активное участие в заседаниях Группы правительственных экспертов в Женеве в 2020-2021 гг.45
2. Недвусмысленно заявить о своей позиции по вопросу превентивного запрета АСОЛД, а именно:
- поддержать необходимость разработки и принятия юридически обязывающего инструмента по превентивному запрету автономных систем оружия летального действия;
- заявить, что принятие политических деклараций/заявлений по вопросу превентивного запрета автономных систем оружия летального действия возможно и полезно только в том случае, если данные документы рассматриваются государствами как промежуточный этап на пути к юридически обязывающему инструменту по превентивному запрету АСОЛД;
- заявить, что вопрос определения «автономных систем оружия летального действия» не может служить препятствием для начала переговоров по их превентивному запрету. Данный вопрос может быть решен в ходе переговоров государств по разработке юридически обязывающего инструмента по превентивному запрету АСОЛД;
- в случае невозможности достижения консенсуса на площадке КНО, выразить поддержку проведению переговоров по данному вопросу вне КНО.
3. Проработать вопрос проведения конференции по АСОЛД в 2021 году в Казахстане, исходя из опыта Бразилии и Германии.
4. В случае невозможности начала переговоров по превентивному запрету АСОЛД в 2021 году на площадке КНО, рассмотреть возможность организации и проведения таких переговоров в Казахстане.
Казахстан неоднократно на самом высоком политическом уровне заявлял, что является лидером в глобальном процессе ядерного разоружения.46 В тоже время, появляются новые угрозы и вызовы в сфере разоружения, и давно настало время активно включиться в усилия международного сообщества по превентивному запрету АСОЛД.
В 2013 году, 7 лет назад, Специальный докладчик Кристоф Хейнс в своем докладе отметил, что «ползучее наращивание технологий» в этой области может со временем и почти незаметно привести к ситуации, несущей в себе серьезную угрозу основным человеческим ценностям и международной системе безопасности... Если слишком долго оставлять этот вопрос без внимания, он в буквальном смысле будет вырван из рук человека».47
Сегодня это время уже наступило, и начало переговоров по разработке договора о превентивном запрете автономных систем оружия летального действия является уже не целью, а первым шагом на пути обеспечения значимого контроля человека над оружием.

Ә.Т. Ахметов, Халықаралық қауіпсіздік және саясат Орталығының директоры: Өлімге әкелетін қару-жарақтың автономды жүйелері: превентивті тыйым салудың қажеттілігі.
Мақалада БҰҰ алаңында өлімге әкелетін қару-жарақтың автономды жүйелері (АСОЛД) мәселесін талқылау тарихы талқыланды, осы қару түріне тыйым салуды жақтайтын және осы мәселені қарастыруды созыпотырған мемлекеттердің ұстанымдары қарастырылды. АСОЛД-қа превентивті тыйым салудың қажеттілігі, ол үшін қажетті құқықтық алғышарттар көрсетіліп, негізделді, осы қару түрінің алуан түрлі анықтамалары қарастырылды. Мақалада алғаш рет қазақстандық ғылыми кеңістікте АСОЛД-қа тыйым салу бойынша Қазақстанның ұстанымдарын өндіру жөнінде, соның ішінде АСОЛД мәселесі бойынша үкіметтік сарапшылар Тобының жұмысына белсенді қатысужәне АСОЛД-қа превентивті тыйым салудың қажеттілігін қорғау бойынша ұсынымдар берілген.
Түйінді сөздер: өлімге әкелетін қару-жарақтың автономды жүйелері (АСОЛД), автономды, жасанды интеллект, қарусыздандыру, қару, маңызды адами бақылау, БҰҰ, халықаралық құқық, үкіметтік сарапшылар тобы (ҮСТ), Ізгіліксіз қару туралы Конвенция (ІҚК).

Alimzhan Akhmetov, director, Center for International Security and Policy: Lethal autonomous weapons systems: need for preemptive prohibition.
The article considers the history of the discussion of the issue of lethal autonomous weapons systems (LAWS) at the UN, considers the positions of states advocating both a ban of this type of weapons and delaying the consideration of this issue. The need for a preemptive prohibition of LAWS, the necessary legal prerequisites for this, and the various definitions of this type of weapon are considered and substantiated. For the first time in the Kazakhstani scientific space, the article gives recommendations on developing Kazakhstan’s position on the LAWS prohibition, in particular, to take an active part in the work of the Group of Governmental Experts on LAWS and to advocate for the need for a preemptive prohibition of LAWS.
Keywords: lethal autonomous weapons systems (LAWS), autonomous, artificial intelligence, disarmament, weapons, meaningful human control, UN, international law, Group of Governmental Experts (GGE), Convention on Certain Conventional Weapons (CCW).

Библиография:

1. Scharre, Paul. Army of none: autonomous weapons and future of war. NewYork, 2018.
2. Тьюринг, Алан. Могут ли машины мыслить? 1950 г. http://www.ict.nsc.ru/jspui/bitstream/ICT/885/5/CantheMachinethink.pdf.
3. Жантикин Т.М. Автономные системы оружия летального действия: типология, риски, проблемы правового регулирования //Право и государство, № 2 (83), 2019. – С. 114-123. URL: https://km.kazguu.kz/articles/articles/ view/id/453.
4. Bonnie Docherty. Key elements of a treaty on fully autonomous weapons. Campaign to Stop Killer Robots. ноябрь 2019 года, https://www.stopkillerrobots.org/wp-content/uploads/2020/03/Key-Elements-of-a-Treaty-on-Fully-Autonomous-Weapons.pdf.
5. Michael T. Klare. ‘Skynet’ Revisited: The Dangerous Allure of Nuclear Command Automation, April 2020. URL: https://www.armscontrol.org/act/2020-04/features/skynet-revisited-dangerous-allure-nuclear-command-automation.
6. Angel Gomez de Agreda. Ethics of autonomous weapons systems and its applicability to any AI systems, Telecommunications Policy. URL: https://doi.org/10.1016/j.telpol.2020.101953.
7. The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. Euro-Atlantic Perspectives, Volume I, edited by Vincent Boulanin, SIPRI, May 2019.
8. The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. East Asian Perspectives, Volume II, edited by Lora Saalman, SIPRI, October 2019.
9. The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. South Asian Perspective, Volume III, edited by Petr Topychkanov, SIPRI, April 2020.
10. Бердяев Н. Духовное состояние современного мира. Доклад, прочитанный в мае 1931 года на съезде лидеров Мировой христианской федерации // Смысл творчества: опыт оправдания человека. М., 2002. – С. 657-670.
11. Йонк, Ричард. Сердце машины. Наше будущее в эру эмоционального искусственного интеллекта. Москва: ЭКСМО, 2019.
12. Масимов К. Следующий властелин мира. Искусственный интеллект. Нур-Султан, 2019.

References (transliterated):

1. Scharre, Paul. Army of none: autonomous weapons and future of war. New York, 2018.
2. Turing, Alan. Mogut li mashiny myslit'? 1950. http://www.ict.nsc.ru/jspui/bitstream/ICT/885/5/CantheMachinethink.pdf.

3. Zhantikin T.M. Avtonomnyye sistemy oruzhiya letal'nogo deystviya: tipologiya, riski, problemy pravovogo regulirovaniya // Pravo i gosudarstvo, № 2 (83), 2019.
4. Bonnie Docherty. Key elements of a treaty on fully autonomous weapons, noyabr' 2019 goda, https://www.stopkillerrobots.org/wp-content/uploads/2020/03/Key-Elements-of-a-Treaty-on-Fully-Autonomous-Weapons.pdf
5. Michael T. Klare. ‘Skynet’ Revisited: The Dangerous Allure of Nuclear Command Automation, April 2020. URL: https://www.armscontrol.org/act/2020-04/features/skynet-revisited-dangerous-allure-nuclear-command-automation.
6. Angel Gomez de Agreda. Ethics of autonomous weapons systems and its applicability to any AI systems, Telecommunications Policy. URL: https://doi.org/10.1016/j.telpol.2020.101953.
7. The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. Euro-Atlantic Perspectives, Volume I, edited by Vincent Boulanin, SIPRI, May 2019.
8. The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. East Asian Perspectives, Volume II, edited by Lora Saalman, SIPRI, October 2019.
9. The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk. South Asian Perspective, Volume III, edited by Petr Topychkanov, SIPRI, April 2020.
10. Berdyayev N. Dukhovnoye sostoyaniye sovremennogo mira. Doklad, prochitannyy v maye 1931 goda na s"yezde liderov Mirovoy khristianskoy federatsii // Smysl tvorchestva: opyt opravdaniya cheloveka. M., 2002. – S. 657-670.
11. Yonk, Richard. Serdtse mashiny. Nashe budushcheye v eru emotsional'nogo iskusstvennogo intellekta. Moskva: EKSMO, 2019.
12. Masimov K. Sleduyushchiy vlastelin mira. Iskusstvennyy intellekt. Nur-Sultan, 2019.