Глава 21. Защита от глобальных рисков

21.1 Общее понятие о предотвратимости глобальных рисков

Очевидно, что если удастся выяснить, что существует несколько простых, очевидных и надёжных способов противостоять глобальным катастрофам, то мы значительно улучшим свою безопасность, а ряд глобальных рисков перестанет нам угрожать. Напротив, если окажется, что во всех предлагающихся мерах и средствах защиты есть свои изъяны, которые делают их в лучшем случае неэффективными, а в худшем – просто опасными, то нам необходимо придумать нечто кардинально новое. Представляется, что система защиты – на каждой фазе развития глобального риска – должна осуществлять следующие функции:

· Наблюдение.

· Анализ информации и принятие решения.

· Уничтожение источника угрозы.

Эта стратегия хорошо отработана в контрразведке, борьбе с терроризмом и военном деле. Другая стратегия предполагает бегство от источника угрозы (космические поселения, бункеры). Очевидно, эта вторая стратегия должна применяться в случае провала первой (или одновременно с ней, на всякий случай).

Глобальные риски различаются по степени того, насколько возможно их предотвращение. Например, вполне реально запретить некий класс опасных экспериментов на ускорителях, если научное сообщество придёт к выводу, что эти эксперименты создают определённый риск. Поскольку в мире всего несколько больших ускорителей, которые управляются достаточно открыто, и потому что сами учёные не желают катастрофы и не имеют от неё никаких выгод, то кажется очень простым отменить эксперименты. Фактически, для этого нужно только общее понимание их опасности. То есть максимально предотвратимый риск – это риск, который:

· легко предвидеть,

· легко достичь научного консенсуса в отношении такого предвидения,

· этого консенсуса достаточно, чтобы отказаться от действий, ведущих к данному риску.

Отказаться от действий, ведущих к некому риску (например, запретить некую опасную технологию), легко лишь при определённых условиях:

· Если опасные процессы создаются только людьми;

· Если эти процессы создаются в небольшом числе широко известных мест. (Как, например, физические эксперименты на огромных ускорителях);

· Если люди не ждут никакой выгоды от этих процессов;

· Если опасные процессы предсказуемы как по моменту своего возникновения, так и по ходу развития;

· Если опасные объекты и процессы легко распознаваемы. То есть мы легко, быстро и наверняка узнаём, что началась некая опасная ситуация, и мы правильно оцениваем степень её опасности;

· Если у нас есть достаточно времени в силу специфики процесса, чтобы разработать и принять адекватные меры.

Соответственно, риски, которые трудно предотвращать, характеризуются тем, что:

· Их трудно предвидеть, даже трудно предположить об их возможности. (Даже предположить, что в SETI может быть риск, было трудно.)

· даже если кто-то осознаёт этот риск, ему крайне трудно убедить в этом кого-либо ещё (примеры: трудности с осознанием ИИ и SETI как источника риска, трудности Доказательство Конца Света).

· даже если будет достигнуто общественное согласие о том, что подобные риски действительно опасны, это не приведёт к тому, что люди добровольно откажутся от данного источника риска. (примеры: ядерное оружие.)

Последнее связано с тем, что:

o Источники риска доступны большому числу людей, а кто эти люди – неизвестно (можно поставить на учёт всех физиков ядерщиков, но не хакеров-самоучек).

o Источники риска находятся в неизвестном месте и/или их легко скрыть (биолаборатории).

o Риски создаются независящими от человека природными факторами, или в результате взаимовлияния человеческих действий и природных факторов.

o Источник опасности сулит не только риски, но и выгоды, в частности, является оружием.

o Момент начала аварийной ситуации непредсказуем, равно как и то, как она будет развиваться.

o Опасную ситуацию трудно опознать в качестве таковой, это требует много времени и содержит элемент неопределённости. (Например, трудно определить, что некая новая бактерия является опасной, пока она кого-то не заразит и пока её распространение не достигнет таких масштабов, когда можно понять, что это именно эпидемия.)

o Опасный процесс развивается быстрее, чем мы успеваем на него адекватно реагировать.

Предотвратимость некоторых рисков, однако, не должна приводить к тому, что их следует сбрасывать со счёта, поскольку не обязательно означает, что риск в конечном счёте будет предотвращён. Например, астероидная опасность относится к числу относительно легко предотвратимых рисков, однако реальной противоастероидной (и, что важнее, противокометной) системы защиты у нас сейчас нет. И пока её нет, «предотвратимость» угрозы остаётся чисто гипотетической, поскольку мы не знаем, насколько эффективной и безопасной будет будущая защита, появится ли она вообще и если появится, то когда.

21.2 Активные щиты

В качестве способа предотвращения глобальных рисков предлагается создавать разного рода активные щиты. Активный щит – это средство контроля и воздействия на источник риска по всему земному шару. Фактически, это аналог иммунной системы в масштабе всей планеты. В качестве наиболее очевидного примера можно привести идеи создания всемирной системы ПРО.

Активность щитов подразумевает, что они могут относительно автономно реагировать на любой раздражитель, который попадает под определение угрозы. При этом щит полностью покрывает защищаемую поверхность, то есть поверхность Земли. Понятно, что автономный щит опасен неконтролируемым поведением, а управляемый является абсолютным оружием в руках того, кто им управляет. Как нам известно из дискуссий о СОИ, даже если активный щит является полностью оборонительным оружием, он всё равно даёт преимущество в нападении для защищённой стороны, так как она может не опасаться возмездия.

Сравнение активных щитов с иммунной системой человека, как идеальной формой защиты, некорректно, потому что иммунная система неидеальна. Она обеспечивает статистическое выживание вида за счёт того, что отдельные особи живут в среднем достаточно долго. Но она не обеспечивает неограниченное выживание отдельного индивида. Любой человек неоднократно заражается заразными болезнями в течение жизни, и многие от них гибнут. Для любого человека найдётся болезнь, которая его убьёт. Кроме того, иммунная система хорошо работает тогда, когда точно знает патоген. Если она его не знает, то потребуется время, чтобы он успел себя проявить, и ещё время, чтобы иммунная система выработала против него ответ. То же самое происходит и с компьютерными антивирусами, которые тоже являются активным щитом: хотя они обеспечивают устойчивое существование всех компьютеров, каждый отдельный компьютер время от времени всё равно заражается вирусом, и данные на нём теряются. Кроме того, антивирус не даёт защиты от принципиально нового вируса, пока не пришлют обновления, а за это время новый вирус успевает заразить определённое число компьютеров. Если бы возникла угроза распространения «серой слизи», мы поняли бы, что это – «серая слизь», только после того, как она значительно распространится. Впрочем, есть иммунные системы, работающие по принципу: запрещено всё, что не разрешено, но их тоже можно обмануть, и они более склонны к автоиммунным реакциям.

Короче говоря, иммунная система хороша только тогда, когда есть мощное дублирование основной системы. У нас пока нет возможности дублирования земных жизненных условий, а космические поселения столкнутся с рядом принципиальных трудностей. Кроме того, у всех иммунных систем бывают ложные срабатывания, которые проявляются в автоиммунных заболеваниях – как, например, аллергия и диабет – которые вносят значительный вклад в человеческую смертность, сравнимый по порядку величины с вкладом рака и инфекционных заболеваний. Если иммунная система слишком жёсткая, она порождает автоиммунные заболевания, а если слишком мягкая – то пропускает некоторые опасности. Поскольку иммунная система покрывает весь защищаемый объект, то выход её из строя создаёт угрозу всему объекту (здесь действует принцип «распространение фактора опаснее разрушения»). Террористическая атака на иммунную систему делает всю систему беззащитной. Так работает СПИД, который тем быстрее распространяется, чем сильнее с ним иммунная система борется, поскольку он находится внутри неё.

Широко обсуждаются идеи БиоЩита и НаноЩита[124]. Эти щиты подразумевают распыление по всей поверхности Земли тысяч триллионов контролирующих устройств, способных оперативно проверять любые агенты на опасность и оперативно уничтожать опасные. Также к щитам относится дальнейшее ужесточение контроля в Интернете и всемирное развешивание следящих видеокамер. Однако уже на примере всемирной ПРО видны существенные проблемы любых щитов:

1. они значительно отстают от источника угрозы по времени разработки.

2. они должны действовать сразу на всей территории Земли без исключений. Чем точечнее угроза, тем плотнее должен быть щит.

3. они уже сейчас вызывают серьёзные политические разногласия. Если щит покрывает не всю поверхность Земли, то он может создавать ситуацию стратегической нестабильности.

4. любой щит создаётся на основе ещё более продвинутых технологий, которые могут создавать угрозы своего уровня.

5. щит может быть источником глобального риска сам по себе, если у него начнётся некая «автоиммунная реакция», то есть он начнёт уничтожать то, что должен был защищать. Или если управление щитом будет потеряно, и он начнёт защищаться от своих хозяев. Или если его ложное срабатывание станет поводом для войны.

6. щит не может быть абсолютно надёжен – то есть успех его срабатывания носит вероятностный характер. И тогда, в случае постоянной глобальной угрозы, вопрос его пробивания – это только вопрос времени.

7. Щит должен иметь централизованное управление, но при этом автономность на местах для быстрого реагирования.

Например, антиастероидный щит создаст много новых проблем безопасности человечества. Во-первых, он обеспечит технологию точного управления астероидами, которая за счёт малых воздействий может направить на землю огромную массу, причём тайно, в духе криптовойны. Во-вторых, сам такой щит может быть использован для атаки на Землю. Например, если на высокой орбите будет висеть 50 штук гигатонных бомб, готовых по команде устремиться в любую точку солнечной системы, человечество не будет чувствовать себя в большей безопасности. В-третьих, движение всех астероидов за миллиарды лет хорошо синхронизировалось, и любое нарушение этого равновесия может привести к тому, что тот же самый астероид станет постоянной угрозой, регулярно проходя рядом с Землёй. Особенно это будет опасно, если человечество после такого вмешательства откатится на предтехнологический уровень.

Обратим внимание на то, что каждая опасная технология может быть средством собственного предотвращения:

· Ракеты сбиваются с помощью ракет ПРО.

· По местам производства ядерного оружия наносятся ядерные удары.

· ИИ контролирует весь мир, чтобы нигде не создали неправильный ИИ.

· Биодатчики не дают распространиться биологическому оружию.

· Нанощит защищает от нанороботов.

Часто щиты делают нечто ровно противоположное тому, ради чего они создавались. Например, есть мнение (доклад Беллоны, глава IV.1. «Три «трещины» ДНЯО» [Яблоков 2005]), что договор о нераспространении ядерного оружия плохо справляется с чёрным рынком, но хорошо справляется с распространением «мирного атома» (то есть строительством во всех странах, которые этого хотят, исследовательских ядерных реакторов), который фактически оказывается технологией двойного назначения. Прочные двери, которые защищают кабины самолётов после терактов 11 сентября, не дадут проникнуть террористам в кабину, но если они там всё-таки окажутся (например, в силу того, что сам пилот – террорист), то пассажиры и стюарды не смогут им помешать. Если есть система управления полётом с Земли, то появляется шанс захватить самолёт, используя эту систему, по радио.

Наконец, все щиты предлагаются, исходя из предположения о том, что у нас есть некая идеальная система, которая наблюдает и контролирует другую, менее совершенную. Например, неподкупная милиция контролирует несовершенное общество. Если же милиция коррумпирована, то отдел собственной безопасности её контролирует, и так далее. Очевидно, что подобных идеальных систем в реальности не бывает, поскольку и система контроля, и контролируемый объект сделаны из одного теста. Можно представить себе многоуровневую иерархическую систему щитов, но в таком случае есть риск раскола между разными контролирующими системами. Наконец, у любого щита есть слепое пятно – он не может контролировать собственный центр управления.

Возможно, средства защиты вообще создают больший риск, чем сами угрозы, так как средства защиты по определению глобальны. А способность действовать на всю территорию Земли – это первый признак источника глобального риска.

Вероятно, есть и третий уровень, а именно защита от тотальности самого щита. Угроза – Щит – Ограничение щита. Этот третий уровень может идти как извне – гражданские протесты против тотального контроля, террористы, борющиеся с щитом или ищущие способы реализовать свои угрозы, минуя щит, – так и изнутри в виде систем «внутренней безопасности».

21.3 Действующие и будущие щиты

Здесь я привожу краткий, но насколько возможно полный список щитов, которые уже есть или могут появиться в будущем.

1) Всемирная система ПРО. Страдает от политических и технологических проблем, готова только в зачаточной стадии.

2) МАГАТЭ. Работает, но со сбоями. Упустила несколько военных ядерных программ.

3) Всемирная борьба с наркотиками. Находится в равновесии со своей проблемой – сдерживает в некоторой степени, но не более.

4) Система тотального информационного наблюдения, которую можно назвать «оруэлловский контроль» в честь антиутопии «1984» Оруэлла, где подобная система живо описана. Система контроля за каждым человеком с помощью видеокамер, чипов идентификации, слежения за Интернетом, перехвата телефонных разговоров. Технически такая система достижима, но в реальности она развёрнута только на несколько процентов от того, что могло бы быть, однако при этом она активно развивается. Уже сейчас становятся очевидны и открыто обсуждаются проблемы такой системы, связанные с легитимностью, интернациональностью, слепыми зонами, хакерами. Теоретически может стать основой для всех других систем контроля, так как, возможно, контроля над поведением всех людей достаточно, чтобы не появлялось опасных био, нано и ИИ устройств (вместо того, чтобы выискивать уже готовые опасные устройства в окружающей среде).

5) «Mind-контроль». Эта система подразумевает вживление в мозг неких контролирующих чипов (или расшифровка мыслей с помощью анализа энцефалограмм – уже есть конкретные результаты на этом пути). Это может быть не так сложно, как кажется, если мы найдём группы клеток, на которые проецируется внутренний диалог и эмоциональные состояния. Чем-то вроде этого сейчас является детектор лжи. Такое устройство может решить проблему даже спонтанных преступлений, вроде внезапной агрессии. С другой стороны, потенциал злоупотребления такой технологией – неограничен. Если с помощью такой системы можно будет управлять людьми, то достаточно одной неверной команды, чтобы уничтожить всё человечество. (Та же проблема возникает с предлагающейся в качестве меры против террористов системой управления полётом авиалайнеров с земли: хотя она уменьшит риск захвата отдельного самолёта, она создаст теоретическую возможность одновременно перехватить управление над всеми находящимися в воздухе самолётами и осуществить с их помощью массовый таран зданий или ядерных реакторов.) Наконец, она не даст абсолютной защиты, так как её можно взломать, а также, потому что некоторые катастрофы происходят не по злому умыслу, а от недомыслия.

6) Анти-астероидная защита. Ведётся наблюдение за потенциально опасными объектами, но недостаточное, средства перехвата официально не разрабатываются. (Но зонд Deep Impact в 2005 г. использовался для столкновения с кометой Темпеля, в результате чего на теле кометы образовался кратер, а её траектория очень незначительно изменилась.)

7) БиоЩит. Борьба с биотерроризмом осуществляется в настоящий момент на уровне разведки и международных соглашений по контролю. Есть рекомендации по безопасной разработке биотехнологий (начиная от добровольных самоограничений, принятых в Асиломаре в 70-е годы и заканчивая книгой «Руководство по биоконтролю» [Wagner 2006]; вместе с тем, ряд предлагающихся ограничений до сих пор не принят[125]).

8) Нанощит. В стадии предварительного обсуждения. Есть рекомендации по безопасной разработке, разрабатываемые Центром Ответственных Нанотехнологий [CRN 2003].

9) ИИ-щит. Защита от создания враждебного ИИ. В Сингулярити Институте в Калифорнии (SIAI) ведётся обсуждение проблем безопасного целеполагания для сильного ИИ, то есть проблемы его Дружественности. Есть рекомендации по безопасной разработке[126].

10) Обычная полиция и службы безопасности.

Можно также охарактеризовать последовательность во времени срабатывания щитов в случае развития опасной ситуации.

Первый уровень обороны состоит в поддержании цивилизации в осознанном, миролюбивом, уравновешенном состоянии и в подготовке к работе по предотвращению рисков на всех остальных уровнях. На этом уровне важны обмен информацией, открытые дискуссии, публикации в реферируемых журналах, сбор средств, пропаганда, образование и инвестиции.

Второй состоит в непосредственном компьютерном контроле над людьми и опасными системами с тем, чтобы ситуации глобального риска вообще не могли возникнуть. На этом уровне действует МАГАТЭ, глобальные системы видеонаблюдения и перехвата интернет сообщений и т. д.

Третий – в подавлении возникшей опасности с помощью ракет, антинаноробтов и т д. Это уровень, аналогичный уровню систем ПРО в защите от оружия массового поражения.

Четвёртый – в эвакуации с Земли или закупоривании в бункеры (однако принцип предосторожности предполагает, что следовало бы начать это делать даже одновременно с первым пунктом).

21.4 Сохранение мирового баланса сил

Новые технологии могут нарушать военно-политическое равновесие в мире, предоставляя одной из сторон невиданные возможности. Эрик Дрекслер описывает проблему следующим образом: «В поиске серединного пути мы могли бы пытаться найти баланс сил, основанный на балансе технологий. Это, по-видимому, расширило бы ситуацию, которая сохраняла определенную меру мирного сосуществования на протяжении четырех десятилетий. Но ключевое слово здесь – "по-видимому": грядущие прорывы будут слишком стремительными и дестабилизирующими, чтобы старый баланс мог продолжать существование. в прошлом страна могла испытывать технологическое отставание на несколько лет и всё же поддерживать приблизительный военный баланс. Однако со стремительными репликаторами и продвинутым ИИ задержка на единственный день могла бы быть фатальной» [Drexler 1985]. Короче говоря, чем быстрее развиваются технологии, тем меньше шансов, что они будут находиться в равновесии в разных странах, а также с силами сдерживания и контроля. Сознательное нарушение баланса также опасно: попытка одной из стран явным образом уйти «в отрыв» в сфере военных сверхтехнологий может спровоцировать её противников на агрессию по принципу «атака при угрозе потери преимущества».

21.5 Глобальная система наблюдения

Любая защита от глобального риска опирается на некую систему глобального наблюдения и контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и эффективнее должна быть эта система контроля. Примером современной системы контроля является МАГАТЭ. Щиты также могут быть системой контроля или содержать её в себе как особую структуру. Но щиты могут действовать локально и автономно, как иммунная система, а система контроля предполагает сбор и передачу данных в единый центр.

Окончательным вариантом такого глобального контроля было бы «оруэлловское государство», где из каждого угла торчало бы по видеокамере или чипы были бы установлены в мозг каждого человека, не говоря уже о компьютерах. Увы, в отношении видеонаблюдения это уже почти реализованный вариант. А в домах это можно реализовать технически в любой момент – везде, где есть постоянный интернет и компьютеры. Вопрос, скорее, не в наблюдении, а в передаче и, особенно, в анализе этих данных. Без помощи ИИ нам трудно проверить всю эту информацию. Привлекательными выглядят системы взаимной подотчётности и гражданской бдительности, продвигаемые как альтернатива тоталитарному государству в борьбе с терроризмом, где за счёт абсолютной прозрачности каждый может контролировать каждого, но в отношении их возможности пока много неясного. (Об этом пишет писатель фантаст и учёный Д.Брин в статье «Сингулярность и кошмары».) Возникающие проблемы:

· Чтобы быть эффективной, такая система контроля должна охватывать весь Земной шар без исключения. Это невозможно без некой формы единой власти.

· Любую систему контроля можно ввести в заблуждение – поэтому по-настоящему эффективная система контроля должна быть многократно избыточна.

· Мало наблюдать всё, необходимо всю эту информацию анализировать в реальном времени, что невозможно без ИИ или тоталитарного государственного аппарата. Кроме того, эта верховная власть не сможет контролировать сама себя, следовательно, понадобится система обратной её подотчётности либо народу, либо «службе внутренней безопасности».

· Такая система будет противоречить представлениям о демократии и свободе, которые сформировались в европейской цивилизации, и вызовет ожесточённое сопротивление вплоть до распространения практик терроризма. Такая система тотального контроля вызовет соблазн применять её не только против глобальных рисков, но и против любого рода «правонарушений», вплоть до случаев употребления неполиткорректной речи и прослушивания нелицензионной музыки.

· Те, кто контролируют, должны иметь полное и ясное представление обо всех глобальных рисках. Если это будут только биологические риски, но не создание ИИ и опасные физические эксперименты, то система будет неполноценна. Очень трудно отличить опасные биологические эксперименты от безопасных – во всех случаях используются ДНК-секвенсоры и опыты на мышах. Без чтения мыслей учёного не поймёшь, что он задумал. А от случайных опасных экспериментов эта система не защищает.

· Поскольку подобная система будет уже «доставлена» в любую точку земного шара, она может упростить действие любого оружия, поражающего каждого человека. Иначе говоря, захват власти над системой тотального контроля даст власть над всеми людьми и упростит задачу сделать с ними всё, что угодно, в том числе и нанести им вред. Например, можно разослать по почте некое лекарство и проконтролировать, чтобы все его приняли, а тех, кто отказался, арестовать.

· Такая система будет эффективна только, если она будет осуществлять абсолютно полный контроль. Частичный контроль вызовет реакцию сопротивления, подобную возникновению мафии с эпоху сухого закона в США. В результате те, кто хотел бы заниматься чистой наукой, будут выдавлены в преступную область и будут в большей степени работать на средствами разрушения, чем если бы системы контроля вообще не было. Это подобно тому, как неполный курс антибиотиков приводит к сохранению бактерий в организме и даже превращению их в более устойчивые к антибиотикам штаммы.

Итак, система тотального контроля кажется наиболее очевидным средством противостояния глобальным рискам. Однако она содержит ряд подводных камней, которые могут превратить её саму в фактор глобального риска. Кроме того, система тотального контроля подразумевает тоталитарное государство, которое, будучи снабжённым средствами производства в виде роботов, может утратить потребность в людях как таковых.

21.6 Сознательная остановка технологического прогресса

Часто выдвигаются предложения об отказе от технического прогресса или в насильственной форме, или путём взывания к совести учёных с целью предотвращения глобальных рисков. Есть разные варианты способов осуществления этой остановки, и все они или не работают, или содержат подводные камни:

1. Личный отказ от разработки новых технологий практически ни на что не влияет. Всегда найдутся другие, которые это сделают.

2. Агитация, просвещение, социальные действия или терроризм как способы заставить людей отказаться от развития опасных технологий – не работают. Как пишет Юдковски: любая стратегия, которая предполагает единодушные действия всех людей, обречена на провал.

3. Отказ от технологических новшеств на определённой территории, например, одной страны, неспособен остановить технологический прогресс в других странах. Более того, если более ответственные страны откажутся от развития некой технологии, то пальма первенства перейдёт к более безответственным.

4. Всемирное соглашение. На примере МАГАТЭ мы знаем, как плохо это работает.

5. Завоевание всего мира силой, которая сможет регулировать развитие технологий. Но в процессе этого завоевания велики шансы применения оружия «судного дня» теми ядерными державами, которые в результате утратят суверенитет. Кроме того, цитируя Дрекслера: «Далее, победившая сила была бы сама главной технологической силой с огромной военной мощью и демонстрируемой готовностью ее использовать. Можно ли в этом случае доверять такой силе в том, что она подавит свой собственный прогресс?» («Машины созидания».)

6. Мирное объединение наций перед лицом нависшей угрозы, подобно тому, как возникло ООН в годы фашизма, и делегирование ими своих сил на остановку прогресса в тех странах, которые не захотят присоединиться к этому объединению. Вероятно, это наилучший вариант, который объединяет достоинства всех предыдущих и сглаживает их недостатки. Но он станет реальным, только если общая угроза станет явной.

7. Ник Бостром предложил концепцию дифференцированного технологического развития, когда проекты, увеличивающие нашу безопасность, стимулируются и ускоряются, тогда как потенциально опасные проекты искусственно замедляются. Таким образом, управляя скоростью развития разных областей знания, мы получаем более безопасные сочетания технологий нападения и защиты.

8. Гленн Рейнольдс в статье в «Популярной механике»[127] указывает, что, наоборот, нужно как можно в больше степени ускорять развитие прорывных технологий, чтобы сократить окно уязвимости между открытием опасных технологий и открытием средств защиты (условных «ракет» и «антиракет»).

Ограничение и прямое запрещение некоторых исследований несёт риск того, что в некотором будущем у нас не будет нужных знаний и нужного средства для парирования некоего, пока не представимого риска.

Нераспространение знаний массового поражения явным образом противоречит идеи открытой дискуссии по глобальным рискам и выбору правильной границы между открытостью дискуссии и нераспространением знаний является важнейшим инструментом минимизации риска. То есть предотвращая риск, мы должны его максимально конкретизировать, и одновременно максимально скрыть.

21.7 Средства превентивного удара

Мало иметь систему тотального контроля – нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска.

Здесь наблюдается любопытное противоречие с программами строительства бункеров для выживания – если такие бункера будут секретны и неуязвимы, то их будет трудно уничтожить. Более того, они должны содержать в себе полностью оборудованные лаборатории и учёных на случай катастрофы. Поэтому возможна ситуация, когда «сверхоружие» будет создаваться в таком бункере (например, в СССР создавались подземные ядерные заводы для продолжения производства ядерного оружия в случае затяжной ядерной войны). Люди, которые уже находятся в неуязвимом бункере, могут быть более психологически склонны к созданию сверхоружия для удара по поверхности. Следовательно, либо бункеры будут представлять угрозу человеческому выживанию, либо средства превентивного удара уничтожат все бункеры, которые могли бы использоваться для выживания людей после некой катастрофы.

Однако удар по одной точке в пространстве не действует ни против системного кризиса, ни против некой информационной угрозы. Компьютерный вирус не вылечишь ядерным ударом. И не избавишь людей от привязанности к сверхнаркотику. Далее, удар возможен, пока некий риск не вышел из точки. Если рецепт супервируса попал в интернет, обратно его не выловишь. Уже сейчас современная военная машина бессильна против сетевых угроз, вроде террористических сетей, дающих метастазы по всей планете. Точно также в будущем компьютерный вирус будет не просто информационной угрозой данным на диске: он сможет заставлять компьютерно управляемые фабрики по всему миру незаметно производить некие свои материальные носители (скажем, в виде микроскопических роботов или программных закладок в обычных продуктах), а через них снова уходить в сеть (например, подключаясь к радиоканалу).

Наконец, сам удар (или даже его возможность) создаст ситуацию стратегической нестабильности. Например, сейчас удар баллистической ракетой с обычной боеголовкой по террористам может вызвать срабатывание системы предупреждения о ракетном нападении вероятного противника и привести к войне.

Наконец, нанесение удара требует определённого времени. Это время должно быть меньше времени от момента обнаружения развития угрозы до времени её перехода в необратимую фазу (например, в случае появления «серой слизи» важно уничтожить её до того, как она сумела размножиться в миллиардах копий и распространится по всей Земле). Сейчас время от обнаружения до удара по любой точке Земли меньше 2 часов, и может быть уменьшено до минут с помощью спутникового оружия. (Однако время принятия решения больше.) Если бы от момента принятия решения о написании кода опасного вируса до его запуска проходило бы только 15 минут, то этой скорости было бы недостаточно. И этой скорости очевидно недостаточно, если в некоем месте началось распыление опасных нанороботов по воздуху.

Эффективность удара по точке принципиально изменится после основания космических колоний (хотя бы чисто робототехнических – там тоже может произойти сбой, который превратит колонию в «раковую» – то есть склонную к неограниченному саморазмножению и распространению «токсинов»: опасных нанороботов, сверхбомб и прочего; а именно освоение космоса с помощью саморазмножающихся роботов, использующих местные материалы, наиболее перспективно). За время, пока сигнал об опасности пройдёт, скажем, от спутника Юпитера до Земли и затем от земли туда прилетит боевой «флот» (то есть ракеты с ядерными боеголовками и боевыми нанороботами) наводить порядок (жечь всё подряд), будет уже поздно. Конечно, можно держать «флот» на орбите каждого спутника планеты или астероида, где есть способные к саморазмножению робототехнические колонии, но что если мятеж произойдёт именно на самом флоте? Тогда нужен флот, который контролирует другие флоты и курсирует между спутниками планет. А затем ещё один межпланетный флот для контроля над ними. Короче, ситуация не выглядит стратегически стабильной, – то есть выше определённого уровня системы контроля начинают мешать друг другу. Возможно, неспособность контролировать удалённые колонии приводит к тому, что цивилизациям выгодно замыкаться на материнской планете – вот ещё одно решение парадокса Ферми.

21.8 Удаление источников рисков на значительное расстояние от Земли

Теоретически можно удалить источники рисков от Земли, в первую очередь это касается опасных физических экспериментов. Проблемы, связанные с этим подходом:

· Получив в руки технические средства создавать мощные экспериментальные установки далеко от Земли, мы также будем иметь возможности быстро доставлять результаты экспериментов обратно.

· Это не сможет остановить некоторых людей от аналогичных опытов на Земле, особенно если они просты.

· Это не защитит нас от создания опасного сильного ИИ, так как он может распространяться информационно.

· Даже за орбитой Плутона возможны опасные эксперименты, которые повлияют на Землю.

· трудно заранее знать, какие именно эксперименты надо проводить «за орбитой Плутона».

· Нет технических возможностей доставить огромное количество оборудования за орбиту Плутона в течение ближайших десятков лет, тем более без использования опасных технологий в виде самовоспроизводящихся роботов.

21.9 Создание автономных поселений в отдалённых уголках Земли

Создание таких поселений, равно как и навыки выживания в дикой природе, вряд ли помогут в случае действительно глобальной катастрофы, поскольку она должна затронуть всю поверхность Земли (если это некий неразумный агент), или обнаружить всех людей (если это разумный агент). Автономное поселение уязвимо и к первому, и ко второму – если только это не вооружённая секретная база, но тогда оно относится скорее к понятию «бункеры».

Если речь идёт о выживании после очень большой, но не окончательной катастрофы, то следует вспомнить опыт продразвёрстки и колхозов в России, – город силой властвует над деревней и отбирает у неё излишки. В случае системного кризиса главную опасность будут представлять другие люди. Недаром в фантастическом романе «Метро 2033» [Глуховский 2007] основной монетой является патрон от автомата Калашникова. И до тех пор, пока патронов будет больше, чем крестьян, будет выгоднее грабить, а не выращивать. Возможно также полное растворение человека в природе в духе Маугли. Однако маловероятно, что таким образом хотя бы некоторые представители вида Homo sapiens смогут пережить действительно глобальную катастрофу.

21.10 Создание досье на глобальные риски и рост общественного понимания связанной с ними проблематики

Публикация книг и статей на тему глобальных рисков приводит к росту осознания проблемы в обществе и составлению более точного списка глобальных рисков. Междисциплинарный подход позволяет сравнивать разные риски и учитывать возможность их сложного взаимодействия. Сложности данного подхода:

· не понятно, кому именно адресованы любые тексты такого рода.

· террористы, страны-изгои и регулярные армии могут воспользоваться идеями о создании глобальных рисков из опубликованных текстов, что скорее приведёт к большему увеличению рисков, чем к их предотвращению.

· неправильное и преждевременное вложение капитала может привести к разочарованию в борьбе с рисками – как раз именно тогда, когда эта борьба на самом деле понадобится.

21.11 Убежища и бункеры

Разного рода убежища и бункеры могут увеличить шансы выживания человечества в случае глобальной катастрофы, однако ситуация с ними непроста. Отдельные автономные убежища могут существовать десятки лет, но чем они автономнее и долговременнее, тем больше усилий нужно на их подготовку заранее. Убежища должны обеспечивать способность человечества к дальнейшему самовоспроизводству. Следовательно, они должны содержать не только достаточное количество способных к размножению людей, но и запас технологий, который позволит выжить и размножаться на территории, которую планируется обживать после выхода из убежища. Чем сложнее будет загрязнена эта территория, тем более высокий уровень технологий потребуется для надёжного выживания.