липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.

А.П.Чехов. «Чайка»

Введение.

Хотя книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит из обсуждения методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем обзора логических парадоксов, связанных с этой проблемой, а именно, «теоремы о конце света» (Doomsday argument). Наиболее существенных современных источника по проблеме три. Это – книга астрофизика Дж. Лесли «Конец света. Наука и этика человеческого вымирания» , 1996, сэра Мартина Риса «Наш последний час» , 2003, и сборник статей под редакцией Ника Бострома «Риски глобальной катастрофы» , 2008. (Более подробно мы обсудим имеющуюся литературу в главе «Историография», в том числе упомянем и работы советских и российских авторах, писавших о глобальных рисках, в первую очередь Моисеева, однако перечисленные три книги будут нашими основными опорными точками, на которые мы будем часто ссылаться и дискутировать с ними.)

Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все возможные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает сумму из 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Особенностью предлагаемой книги является подробный критический обзор разных средств защиты от глобальных рисков. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги.

Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста - обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.

Термины

В этой работе ряд общеупотребительных терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):

ИИ – Универсальный Искусственный Интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку

Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».

Постапокалиптический мир – то, чем может стать Земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.

Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.

Агент - вещество, вирус, бактерия или любой другой распространяющийся фактор воздействия, причиняющий смерть.

Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано и био технологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.

Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.

Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».

Структура катастрофы – взаимосвязь научных заблуждений, операторских ошибок и цепной реакции факторов разрушения, ведущих к катастрофе.

NBIC-конвергенция – означает наблюдающуюся в современной науке тенденцию к слиянию и обмену информацией, методами и результатами между четырьмя ключевыми технологиями nano-bio-info-cogno.

Часть 1. Анализ рисков

1.Общие замечания

Пространство возможностей

В этой части мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. «Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он