Теории заговора» как препятствие для научного анализа глобальных рисков.

Циркулирующие в обществе разнообразные «теории заговоров» (вроде новой хронологии Фоменко) набили оскомину. Тем более, что большинство из них, если не все, ложно, а предсказания их сторонников почти никогда не сбываются. Часто «теории заговоров» тоже предсказывают некие риски. Но они структурно отличаются от научного анализа рисков. Теория заговора обычно утверждает, что человечеству угрожает только один риск, и этот риск реализуется конкретным образом в конкретный момент времени: Например, «доллар рухнет осенью 2007». Как правило, автор подобного предсказания также знает рецепт борьбы с этим риском. Тогда как правильнее допускать, что человечеству угрожает каскадная реакция из нескольких рисков, и мы не знаем, когда и что случится.

Чем меньше степень уверенности в наших прогнозах на будущее, тем оно опаснее. Главная опасность будущего – его непредсказуемость. «Теории заговора» вредны для предсказания будущего, так как сужают представление о множестве будущих возможностей. при этом они предполагают сверхуверенность в собственных прогностических способностях. Правильно сделанный прогноз на будущее не предсказывает конкретные факты, а описывает пространство возможных сценариев. И на основании этого знания можно выделить узловые точки этого пространства и защитить их.

Более того, такие "предсказания" подрывают доверие к здравым идеям, лежащим в их основе, например, о том, что крупный теракт может ослабить доллар и вызвать цепную реакцию обвала. и что Бен Ладен, например, на это, возможно, рассчитывает. «Теории заговора» всегда подразумевают, что есть некие ОНИ, которые что-то делают с нашим сознанием, скрывают какие-то важные знания и т. д. Это подрывает осознание своей ответственности за происходящее в мире, и что не менее важно, отвергает роль случайности, как важного фактора катастрофического процесса. Кроме того, «теории заговора» неспособны стыковаться друг с другом, формируя пространство возможностей. И ни одна теория заговора не признаёт себя в качестве маргинальной теории. Эти теории распространяются в обществе как мемы, самокопирующиеся информационные единицы.

Вместе с тем из того, что сам принцип теории заговоров скомпрометирован и большинство из них ложно, не следует, что некоторые из таких теорий не могут оказаться правдой. Как говорится в китайской пословице: «Даже если вы не можете поймать чёрного кота в чёрной комнате – это ещё не значит, что его там нет».

14. Ошибки, связанные с путаницей в понятиях о краткосрочных, среднесрочных и долгосрочных прогнозах.Краткосрочные прогнозы учитывают текущее состояние системы, к таковым относится большинство обсуждений политических тем. Среднесрочные учитывают возможности системы и текущие тенденции. Долгосрочные учитывают только развитие возможностей. Поясню это следующим примером:

Допустим, у нас есть корабль с порохом, по которому ходят матросы и курят махорку. Краткосрочно можно рассуждать так: одни матросы стоят высоко на рее, а другие спят, поэтому сегодня взрыва не будет. Но в среднесрочной перспективе важно только количество пороха и количество курящих матросов, которые определяют вероятность взрыва, потому что рано или поздно какой-нибудь курящий матрос окажется в непосредственной близости от пороха. Тогда как в дальнесрочной перспективе в счёт идёт только количество пороха, а уж огонь как-нибудь да найдётся. Точно так же и с угрозой ядерной войны. Когда мы обсуждаем её вероятность в ближайшие два месяца, для нас имеет значение конкретное поведение мировых держав. Когда мы говорим о ближайших пяти годах, в счёт идёт количество ядерных держав и ракет. Когда мы говорим о перспективе на десятки лет, учитывается только количество наработанного плутония.

При этом в разных областях знания временной масштаб краткосрочности прогноза может различаться. Например, в области угледобычи 25 лет – это краткосрочный прогноз. А в области производства микропроцессоров – 1 год.

15. Особенности человеческой эмоции страха.Способность человека бояться включается в ответ на конкретный стимул в конкретной ситуации. Наша эмоция страха не предназначена для реакции на отдалённые риски. Это выражено в русской пословице: «Пока гром не грянет, мужик не перекрестится». С другой стороны, страх может подавлять мысли о возможных опасностях. Например, когда человек отказывается сдавать анализы, потому что боится, что у него что-то найдут.

В отношении глобальных катастроф и реакции на их угрозу получается замкнутый круг: для того, чтобы вероятность некой надвигающейся глобальной катастрофы стала общепризнанной – должен «грянуть гром» – то есть должно произойти какое-то событие, однозначно её определяющее, и, возможно, делающее её практически неизбежной.

16. Недооценка значения удалённых событий (discount rate).Естественным свойством человека является то, что он придаёт меньшее значение событиям, удалённым в пространстве и отдаленным по времени. Например, случившееся в древности наводнение, погубившее миллион человек, будет эквивалентно по значимости современной катастрофе с тысячью жертв в отдалённой стране или пожару в соседнем доме с несколькими жертвами. Это явление известно как «discount rate» – «уровень скидки»[139]. Эта скидка действует в отношении оценки полезности и риска будущих событий. При этом она имеет как рациональный, так и иррациональный характер. Рациональный уровень скидки – это скидка, которую делает экономический субъект, предпочитая получить, скажем, 100 долларов сегодня, а не 105 через год, – и эта скидка есть медленно убывающая функция от времени. Наоборот, эмоциональная оценка ситуации включает очень быстро падающий уровень скидки, который гиперболически убывает во времени. Это приводит к тому, что глобальная катастрофа, отстоящая на годы от настоящего момента, приобретает почти нулевой вес.

17. Сознательное нежелание знать неприятные факты.Этот феномен проявляется в ситуации, когда человек откладывает поход к врачу, чтобы не знать неприятный диагноз. Хотя это уменьшает его шансы выжить в отдалённом будущем, зато он выигрывает в спокойном ближайшем будущем – то есть здесь тоже проявляется уровень скидки.

18. Эффект смещения внимания. Чем больше внимания человек уделяет одной возможной причине глобальной катастрофы, тем меньшее значение он придаёт другим, и в результате его знания приобретают определённый сдвиг в сторону его специализации. Поэтому переоценка какого-то одного глобального риска ведёт к недооценке других и так же вредна.

19. Интернет как источник возможных ошибок.Интернет, как подчёркивает сэр Мартин Рис [Rees 2003], позволяет создать газету «я сегодня», путём отбора только тех сайтов, которые поддерживают исходную точку зрения субъекта, который затем укрепляет себя в выбранной позиции, постоянно читая только своих единомышленников. Не говоря о том, что уровень достоверности информации в Интернете весьма низок, поскольку значительная часть хорошей достоверной информации находится в платных изданиях (например, статьи в Nature по 30 долларов за статью), а любой человек может свободно выложить свои тексты в сети, создавая высокий информационный шум. При этом более сенсационные материалы распространяются быстрее, чем менее сенсационные. Иначе говоря, если раньше печатная продукция способствовала более быстрому распространению более качественных текстов, то теперь Интернет способствует более быстрому распространению менее качественных, но более назойливых в своей рекламе источников. С другой стороны, Интернет упрощает доступ к информации и ускоряет её поиск.

20. Верования.Трудно отрефлексировать свои верования, так как они воспринимаются как достоверное знание или как неподсудный императив, но легко заметить, как те или иные суеверия влияют на оценку рисков другими людьми. Например, высокая аварийность в Турции связана, в частности, с принципом «иншала» – на всё воля Аллаха: поскольку судьбы всех людей уже записаны в книге у Аллаха, то не важно, что ты делаешь – день твоей смерти уже назначен. Поэтому можно как угодно рисковать. Сэр Мартин Рис пишет [Rees 2003], что в администрации Рейгана за окружающую среду отвечал религиозный фундаменталист Джеймс Уатт, который верил, что Апокалипсис наступит раньше, чем исчерпаются запасы нефти, погибнут леса и наступит глобальное потепление, так что расточать ресурсы – это почти что наша обязанность. Многие верования могут носить более тонкий, околонаучный или «научный» характер, например, вера в правоту или неправоту Эйнштейна, опасность или безопасность того или иного риска и т. д. Верования не подразумевают возможность фальсификации. Чтобы выявить верование полезно задаться вопросом: «Какое событие или рассуждение заставило бы меня изменить мою точку зрения на этот вопрос?»

21. Врождённые страхи и приобретённые фобии.У многих людей есть врождённые страхи – боязнь змей, высоты, воды, болезней. Нетрудно предположить, что такие люди будут переоценивать события, напоминающие эти страхи, и недооценивать те, которые на них непохожи. На оценку рисков может влиять и посттравматический синдром, когда запоминается некий сильный испуг и начинают пугать все похожие вещи. Сильные желания, наоборот, могут подавлять страхи, в духе поговорки: «Если нельзя, но очень хочется, то можно». Например, человек с врождённой брезгливостью может переоценивать риск биологической войны и недооценивать риск падения астероида, а, человек, переживший автокатастрофу, будет преувеличивать риск падения астероида, и недооценивать биологические риски.

22. Ошибка, возникающая в результате борьбы не с источником риска как таковым, а с сообщениями о риске.В данном случае недовольство переносится не на сам источник риска, а на человека, который о нём сообщил, в духе восточного правила: «Убить гонца, принёсшего плохую весть». Так, в попытках вынести на обсуждение те или иные риски автор неоднократно сталкивался с жёсткой критикой, направленной на его «личные недостатки», вплоть до обвинений в паранойе.

23. Трудность в определении границ собственного знания.Я не знаю того, чего я не знаю. Это создаёт ощущение того, что я знаю всё, потому что я знаю всё, что я знаю. То есть создаёт ложное ощущение всеведения, ведущее к интеллектуальной слепоте и нежеланию принять новые сведения. Как справедливо заметил А. Камю: «Гений – это ум, осознавший свои пределы» [Камю 1990]. Но пока мы полностью не познаем мир, мы не можем исчерпать список глобальных рисков.

24. Юмор как фактор возможных ошибок.Шутка даёт человеку право законно говорить неправду. Соответственно, те, кто слышит неожиданную новость, часто воспринимают её как шутку. Например, перед терактом 7 августа 1998 охранник американского посольства в Кении позвонил напарнику и сообщил, что к воротам подъехали террористы с пистолетом; тот не поверил и выключил связь; бомба взорвалась. Поскольку мы не знаем, в какой форме к нам может прийти глобальная угроза, мы можем воспринять сообщение о ней, как шутку. ёё

25. Паника. Гипертрофированная реакция на стресс приводит к ошибочным и опасным действиям. Например, человек может выпрыгнуть из окна при пожаре, хотя огонь ещё не дошёл до него. Очевидно, что паника оказывает влияние и на мысли человека в состоянии стресса. Например, Бэрнс Уоллес [Rees 2003], в мирное время придерживавшийся ахимсы (принцип йоги о ненасилии), во время войны разрабатывал план взрыва дамб в германии с помощью прыгающих бомб, чтобы затопить города. То есть паника может быть достаточно длительным состоянием, существенно изменяющим модели поведения. Но и кратковременная паника опасна, поскольку угроза глобального риска может развиваться очень быстро, в течение часов и даже минут, и за это время нужно будет успеть принять стратегические решения.

26. Сонливость и другие факторы естественной неустойчивости человеческого сознания, влияющие на появление ошибок.По одной из версий, Наполеон проиграл Ватерлоо, потому что был простужен. Каким образом можно ожидать, что президент примет верное решение, будучи разбуженным среди ночи? Сюда можно добавить и принципиальную неспособность человека точно следовать инструкциям, и конечность длины инструкций, которые он может понять и выполнить. Хотя этот фактор относится в первую очередь к ошибкам операторов, можно представить, что состояние временного помутнения сознания повлияет и на выводы конструктора или составителя некой инструкции, приведя к, допустим, ошибке в чертеже.

27. Склонность людей бороться с опасностями, которые уже были в прошлом.Например, после цунами 2004 года в Индонезии, все стали строить системы предупреждений о цунами, отвлекаясь от других проектов. Но в будущем может произойти катастрофа, отличная от цунами. При этом с течением времени тревога людей убывает, а вероятность повторного сильного землетрясения (но не афтершока) – возрастает.

28. Усталость от ожидания катастрофы.Типичная ошибка, состоящая в том, что после некой катастрофы, все начинают ожидать её повторения в ближайшем будущем, и после того, как это ожидание не оправдывается, переводят эту катастрофу в разряд «это было давно и неправда». Так было после теракта 11 сентября 2001 г. Сначала ожидались повторные атаки на небоскрёбы, и их строительство в мире затормозилось. Теперь же об этом почти забыли, и строительство небоскрёбов идёт ударными темпами. Это противоречит тому, что в реальности катастрофы такого масштаба могут происходить с периодичностью во много лет, и поэтому именно после длительного промежутка времени их вероятность реально возрастает. Усталость от ожидания катастрофы выражается и в утрате чувствительности общества к предупреждениям.

29. Экспертные оценки, не основанные на строгих вычислениях, не могут служить мерой реальной вероятности.В отличие от ситуации на фондовых рынках, где среднестатистическая оценка лучших экспертов используется для предсказания будущего результата, мы не можем оценивать и отбирать экспертов по глобальным рискам по количеству угаданных ими катастроф. И то, что ставка в оценке глобальных рисков очень высока, – выживание человечества, – не приводит автоматически к более точным предсказаниям.

В экспериментах по предсказанию обнаружена следующая статистика: «Только 73 % ответов, на которые сделали ставки 100:1, были верны (вместо 99,1 %). Точность возросла до 81 % при ставках 1000:1 и до 87 % при 10 000:1. Для ответов, на которые ставили 1 000 000:1, точность составляла 90 %, то есть соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более чем половина их ставок была более чем 50:1» [Yudkowsky 2008b].

«Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 % уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту» [Yudkowsky 2008b]. Причиной этой ошибки является «сверхуверенность экспертов», – например, ситуация, когда эксперт боится потерять свой статус эксперта, если будет слишком сомневаться в своих предположениях.

30. игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта.Даже если некая теория действительно неразумна, стоит потратить время и усилия, чтобы опровергнуть её ясным и убедительным для всех образом в открытой дискуссии. Кроме того, незначительность не означает невозможность. Незначительность риска должна быть результатом исследования, а не поводом отказаться от исследования. Кроме того, нужно правильное понимание незначительности. Например, если мы сочтём оценку 10 для вероятности глобальной катастрофы незначительной (а именно так оценивает ЦЕРН риск катастрофы на новом ускорителе), то если проводить эксперименты с подобными шансами на катастрофу каждый день, то это даст 3 % вероятность вымирания в течение 100 лет или гарантированное вымирание в течение 3000 лет.

31. Недооценка или переоценка нашей способности противостоять глобальным рискам.Если мы недооцениваем нашу способность противостоять глобальным рискам, то в силу этого мы не будем предпринимать тех действий, которые могли бы нас спасти. Если мы переоцениваем наши способности им противостоять, то это может привести нас к излишнему благодушию.

32. Стокгольмский синдром.Речь идёт об эффекте лояльности заложников по отношению к похитителю или даже влюблённости в него. В каком-то смысле этот эффект может проявляться в так называемом «смертничестве» – философской концепции, которая одобряет смертность человека и ограниченность его срока жизни одной сотней лет. («Ты — вечности заложник. У времени в плену». – Пастернак.) То есть люди склонны оправдывать конечность человеческой жизни в качестве механизма психологической компенсации своего страха смерти. Но если смертность человека одобряется, то отсюда один шаг до одобрения смертности всего человечества.

33. За ошибками оператора стоит неправильная подготовка.За конкретными ошибками пилотов, операторов, диспетчеров и политиков часто стоят концептуальные ошибки в их отборе и подготовке. Например, потакание авторитету (случай со знаменитым египетским пилотом рейса 604 Flash Airlines, который по определению не мог ошибаться – и разбил самолёт) и экономия на обучении специалистов. Распространение знаний о глобальных рисках можно рассматривать как часть подготовки для лиц, которые будут принимать важные решения.

34. Группа людей может принимать худшие решения, чем каждый человек в отдельности.В зависимости от формы организации группы, она может способствовать или препятствовать выработке разумных решений. Хороший вариант группы – штаб или НИИ, плохой – любая толпа или страна, охваченная гражданской войной. До тех пор, пока в мире нет единой общепризнанной группы, принимающей решения о предотвращении глобальных рисков, ситуация с организованностью групп в данном случае ближе к плохому варианту. В некоторых случаях группа может быть эффективнее отдельного человека, и это используют так называемее «рынки предсказаний».

35. Нехватка внимания по причине естественных ограничений рабочей памяти мозга.Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие являются возможными источниками ошибок. Эта ограниченность заставляет человека концентрироваться на одних аспектах проблемы, например, нападёт ли А на Б, уменьшая при этом (погружая в тень внимания) другие аспекты. ни один человек не может охватить своим умом все мировые проблемы так, чтобы ранжировать их по степени опасности и приоритетности. Даже целая организация вряд ли на такое способна.

36. Раскол футурологии на разные независимые друг от друга дисциплины.

Есть несколько направлений мышлений о будущем, и они имеют склонность странным образом не пересекаться, как будто речь идёт о разных мирах:

· Прогнозы наступления «Сингулярности». суперкомпьютеры, биотехнологии, и нанороботы.

· Прогнозы системных кризисов в экономике, геополитике и войнах.

· Прогнозы в духе традиционной футурологии о демографии, ресурсах, потеплении.

Особый тип прогнозов – большие катастрофы: астероиды, супервулканы, сверхвспышки на солнце, переполюсовка магнитного поля Земли, а также религиозные сценарии и фантастические произведения.

37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить («Беда не приходит одна»). Глобальная катастрофа может наступить в результате цепочки событий, масштаб которых нарастает по мере их возникновения, однако первое из этих событий может приглушить для нас восприятие последующих рисков. Причинами этого могут быть:

1) Наше внимание в момент аварии полностью отвлекается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, оценивая ущерб, и попадает под другую машину.

2) Влияние состояния аффекта.

3) Человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.

4) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может запуститься в самый неожиданный момент.

5) Первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам. Например, при неправильном лечении грипп чреват воспалением лёгких.

6) Непонимание того, что обе аварии могут быть вызваны некой общей причиной. например, в доме что-то обваливается, человек идёт посмотреть, что происходит, и попадает под новый обвал.

7) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. Например, у человека, стремившегося выйти из больницы пораньше, расходятся швы.

38. Эффект избирательности внимания.Часто у людей, следящих за некими предсказаниями, например в экономике, возникает вопрос: «По какой причине то, что должно вот-вот рухнуть, всё не рушится и не рушится?» Вероятно, мы имеем дело со специфической ошибкой в оценке рисков. Замечая трещины в фундаменте, мы говорим себе: "Так! оно же вот-вот рухнет", и начинаем искать другие трещины. разумеется, мы их находим, и нам нетрудно связать их в умозрительную сеть. Но, занимаясь поискам трещин, мы перестаём смотреть на опоры. наше внимание становится избирательным, нам хочется подтвердить свою гипотезу.

Мы попадаем в порочный круг избирательного накопления информации только об одном аспекте неустойчивости системы, игнорируя причины её неустойчивости, а также другие риски, связанные с этой системой. Завышение некоторых рисков, в конечном счёте, приводит также к их недооценке, поскольку общество приобретает иммунитет к негативным прогнозам и утрачивает доверие к экспертам. Например, перед станцией предупреждения о цунами на Гавайях перед приходом небольшой волны встала дилемма: если предупредить население о риске цунами, то в следующий раз предупреждению не поверят, а если не предупредить – возможно, что именно в этот раз цунами окажется опасным. Таиландская служба оповещения в 2004 году решила не предупреждать людей о цунами, боясь напугать туристов, что привело к большим жертвам.

39. Подсознательное желание катастрофы.Стремление эксперта по рискам доказать правоту своих прогнозов вызывает у него неосознанное желание того, чтобы прогнозируемая катастрофа всё-таки случилась. Это подталкивает его или придать большее значение предвестникам катастрофы, или даже попустительствовать тем событиям, которые могут к ней привести. Люди также могут хотеть катастроф от скуки или в силу мазохистского механизма «негативного наслаждения».

40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса.Этот тип поведения можно определить как «синдром Скарамеллы», – в честь итальянского мошенника, выдававшего себя за эксперта по вопросам безопасности. В крайне остром случае человек выдумывает некие риски, потому что знает, что общество и масс-медиа на них резко отреагируют. Эта модель поведения опасна тем, что из общего контекста выдёргивается несколько самых зрелищных рисков, а не менее опасные, но не столь завлекательно звучащие риски умалчиваются. Кроме того, у общества возникает привыкание к сообщениям о рисках, как в притче о мальчике, который в шутку кричал «Волки, волки!». Когда же волки пришли на самом деле, никто мальчику не поверил. Более того, возникает общественная аллергия на сообщения о рисках, и они начинают трактоваться в контексте пиара и деления денег.

41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа.Выделение адреналина в критических ситуациях по-своему приятно, и небольшой укол его можно получить, посмотрев фильм-катастрофу. Это приводит к тому, что разговоры о рисках начинают восприниматься как нечто несерьёзное, не имеющее отношение к личной реальности и проблемам, и даже как нечто приятное и желанное.

42. Логическая ошибка генерализации на основании художественного вымысла.Описана у Бострома [Bostrom 2001]как«искажение в духе «хорошей истории». Регулярное потребление развлекательных произведений – фильмов, романов – подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, – и вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели. Даже если мы стараемся избегать воздействия художественных произведений, фильм «Терминатор» сидит у нас в подсознании, создавая, например, ошибочное представление, что проблемы с Искусственным Интеллектом – это обязательно война с роботами. Одна из форм этой ошибки состоит в том, что в фантастическом романе берётся неизменным обычный мир и к нему добавляется одна фантастическая деталь, а затем рассматриваются возможные последствия этого. Другая форма ошибки заключается в том, что противники создаются равными по силе. Третья – в том, что нормой завершения истории считается «хэппи-энд». Однако в деле предотвращения глобальных рисков не может быть никакого конца вообще – если мы предотвратили все риски в XXI веке, то тоже надо делать и в XXII веке и так далее.

43. идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью – обеспечить благо человечества.Эта идея порочна, потому что всегда, когда есть «мы», есть и «они». У любой организации есть самостоятельная групповая динамика, направленная на укрепление и выживание этой организации. У любой организации есть конкурент. Внутри организации запускается групповая динамика стада-племени, побуждающая бороться за власть и реализовывать другие скрытые цели. В результате возможна борьба спасителей человечества между собой.

44. Секретность как источник ошибок в управлении рисками.Исследования по безопасности, ведущиеся в секрете, утрачивают возможность получать обратную связь от потребителей этой информации и, в итоге, могут содержать больше ошибок, чем открытые источники. Засекречивание результатов неких испытаний и катастроф обесценивает их значение для предотвращения последующих катастроф, потому что этих результатов почти никто не знает.

45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии.Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, «тяжёлые хвосты», то именно странные идеи могут быть полезными. Корни критической настройки могут быть, например в том, что критикующий начинает претендовать на более высокий социальный статус.

46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически.Однако единственный реальный критерий безопасности – практика. Десятки лет безотказной работы – лучший показатель. История знает массу примеров, когда приборы или проекты, теоретически имевшие высокую безопасность, рушились из-за непредусмотренных сценариев развития событий. Например, падение самолёта «Конкорд» в Париже, вызванное фрагментом шасси другого самолёта на взлётно-посадочной полосе. Герой фильма Стивена Спилберга «Парк Юрского периода» хорошо сказал об этом: «Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена».

47. Недооценка человеческого фактора.От 50 до 80 % катастроф происходят в результате ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё более значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую «защиту от дурака» и натворить глупостей. Поэтому мы не можем отвергнуть ни один из сценариев глобальной катастрофы, исходя из того, что люди никогда не будут воплощать его в жизнь.

48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. Сами проверки вносят некоторое число новых ошибок, и, в силу этого, на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок, – то есть, если человек делает одну ошибку на 1000, то, сколько бы он ни проверял себя, он не создаст безошибочный «код» длиною более 1 000 000.)

49. Статистика как источник возможных ошибок.В самой природе статистики есть возможность совершения ошибок, намеренных искажений и ложных интерпретаций. Это связано с тем, что статистика является не описанием однократно свершившихся фактов, а обобщением множества фактов при помощи описаний. Проблемы статистики связаны, в частности, со способом выборки, разными методами вычисления среднего показателя, со степенью округления, с интерпретацией полученных результатов и способами их зрительного представления для других людей.

50. Ошибка, связанная со склонностью людей большее значение придавать широко известным или легко запоминающимся фактам.Все помнят, какого числа на Хиросиму сбросили атомную бомбу, но мало кто знает, где и когда впервые зафиксирован грипп «испанка», унёсший в 100 раз больше жизней (по одной из версий - 8 марта 1918 г., около Канзас-Сити, США). В результате одни риски переоцениваются, и уже в силу этого другие риски остаются без внимания. Юдковски в своей статье об оценке рисков [Yudkowsky 2008b] называет это когнитивным искажением, связанным со степенью доступности информации.

51. Двойная ошибка. Многие перечисленные источники ошибок могут приводить как к переоценке наших способностей противостоять рискам, так и к недооценке самих факторов риска. Следовательно, каждая ошибка может сказаться дважды.

52. Анализ глобальных рисков не есть создание прогнозов.Прогноз содержит конкретные данные о времени и месте события. Но такие точные попадания очень редки и, скорее, случайны. Более того, прогноз и анализ рисков требует разных реакций от властей. Неудачные прогнозы компрометируют свою тему и людей, которые их дают. Поэтому некоторые люди дают очень много прогнозов, надеясь, что хоть один из них попадёт в цель и даст возможность прославиться. Анализ рисков, к примеру, в авиации требует усовершенствования разных механизмов самолёта, а прогноз авиакатастрофы предполагает, что люди откажутся от рейса в данный день.

53. Иллюзия знания задним числом.Иногда люди, говоря «Я знал это с самого начала», переоценивают свои прогностические способности, и ожидают подобных догадок от других. В отношении глобальных рисков у нас, естественно, не может быть никакого знания задним числом. А в отношении многих других, обычных, рисков оно есть. Это приводит к тому, что нам кажется, будто глобальные риски так же легко оценить. Иначе говоря, эффект знания задним числом в отношении глобальных рисков приводит к их недооценке. Подробнее см. в статье об ошибках Юдковски [Yudkowsky 2008b], который называет эту систематическую ошибку «hindsight bias».

54. Эффект настройки на источники информации.Читая литературу, человек может стать проводником идей, которые в него вкладывает автор. Это позволяет ему сходу отвергать концепции других людей. В результате он становится невосприимчивым к новой информации, и его эффективность в анализе рисков падает. Ощущение собственной правоты, образованности, навыки ведения споров – всё это усиливает информационную «глухоту» человека. Поскольку глобальные риски – вопрос в первую очередь теоретический (ведь мы не хотим экспериментальной проверки), то теоретические разногласия имеют тенденцию проявляться в нём особенно ярко.

55. Принятие малого процесса за начало большой катастрофы. Например, изменение курса доллара на несколько процентов может восприниматься как предвестник глобального краха американской валюты. Это приводит к преждевременным высказываниям в духе: «ну вот, я же говорил!», – что затем, когда выясняется незначительность изменений, подрывает веру, в первую очередь, свою собственную, в возможность катастрофы и её предвидения.

56. более простое объяснение катастрофы подменяет более сложное.На выяснение более сложного варианта уходят годы анализа, например, так часто бывает при анализе авиакатастроф. (Не говоря о том, что участники анализа стремятся немедленно подтасовать факты, если эти факты означают их уголовную и финансовую ответственность.) Это более сложное объяснение не доходит до широкой публики и остаётся в качестве некоторого информационного фона. Чем позже будет найдено точное определение причин аварии, тем дальше отодвигается возможность защиты от аварии подобного рода. Когда речь идёт о быстрых процессах, такое отставание понимания может стать критическим.

57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования.Действительно, подобная форма саморекламы распространена, особенно среди представителей псевдонауки, что приводит к аллергии на такого рода заявления. Даже если 99,9 % людей, придумывающих разные апокалиптические сценарии, явно не правы, выдвигаемые ими гипотезы, вероятно, следует принимать к сведению, так как ставки в игре слишком велики, и неизвестные физические эффекты могут угрожать нам и до того, как их официально подтвердит наука. Иначе говоря, суммарные расходы на проверку почти наверняка ложных идей меньше, чем возможный ущерб от того, что хотя бы одна из них окажется верной.

58. Стремление людей установить некий приемлемый для них уровень риска.У каждого человека есть представление о норме риска. Поэтому, например, водители более безопасных машин предпочитают более опасный стиль езды, что в целом сглаживает эффект безопасности машины. Как бы ни была безопасна система, человек стремится довести её до своей нормы риска. Поскольку ожидаемая продолжительность жизни человека имеет порядок 10 000-20 000 дней, то, установив для себя норму риска в 1 к 100 000 в день (по своим интуитивным представлениям или в духе «все так делают»), человек не сильно изменит свою ожидаемую продолжительность жизни. Однако по отношению к глобальным рискам такая позиция означала бы 30 % шансы вымирания в ближайшие 100 лет. При этом есть отдельные «лихачи» с гораздо более высокой нормой риска.

59. Эффект «сверхуверенности молодого профессионала».Он возникает у водителей и пилотов на определённом этапе обучения, когда они перестают бояться и начинают чувствовать, что уже всё могут. Переоценивая свои способности, они попадают в аварии. Человечество в целом, возможно, находится на такой стадии по отношению к сверхтехнологиям. (Хотя на ядерных технологиях уже хорошо обожглись в чернобыле.)

60. Ощущение неуязвимости у выживших. Сверхуверенность молодого профессионала усугубляется эффектом наблюдательной селекции. Его можно наблюдать в случае с отвоевавшими определённый срок без ранений солдатами, когда они начинают чувствовать свою «неуязвимость», и всё более и более повышает свою норму риска. То же самое может происходить и с цивилизацией, – чем дольше не реализуются угрозы атомной войны, тем в большей мере кажется, что она вообще невозможна, а значит можно проводить более рискованную политику.