Восприятие новой информации через призму старой.

В процессе восприятия внешнего мира человек только часть информации берёт из него, а остальное достраивает, используя свою память, ожидания и ассоциации. Увы, то же касается и восприятия текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, нетрудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с принципиально разным уровнем интеллекта рецензентов, скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек придерживается определённой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё больше укрепляет и его фильтр, и его уверенность в этих данных.

10. Ошибка в выборе нейтральной позиции.Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки зрения, каждая из которых будет ближе к позиции того, кто её выбрал. Похожую ошибку мы описывали выше, когда приводили результаты опытов, в которых испытуемые были предупреждены о возможной ошибке и делали на неё поправку – и, тем не менее, всё равно недооценивали. Вероятно, поправку в таком случае нужно давать не только к основному параметру, но и к самой поправке.

11. Уверенность как источник ошибок.Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он обретёт достоверное знание. Если человек слишком уверен в своём мнении, ему трудно это мнение изменить. Если же человек слишком часто меняет точку зрения, то он не приближается к истине, а ходит по кругу.

12. Использование полностью ошибочной логики.Увы, возможна ситуация, когда человек в своих рассуждениях совершает ошибки буквально «в каждой строчке». Как правило, он не способен обнаружить это даже при желании. Здесь может возникнуть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным правильное рассуждение. Я тоже не могу знать наверняка, не делаю ли каких-то систематических логических ошибок в настоящий момент. Появление таких ошибок может происходить чаще, чем мы думаем: анализ научных текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики, не осознавая этого.

13. Смешение преднауки и псевдонауки.В тот момент, когда гипотеза находится в процессе формулирования, она ещё не имеет под собой устойчивого научного фундамента и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент гипотеза, являясь по сути преднаукой, нацелена на то, чтобы стать частью науки, то есть готова пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности – звания, ссылки, математический аппарат, тем не менее, её цель – не поиск достоверного знания, а создание видимости достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы вряд ли когда-нибудь сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева должны существовать наравне, не смешиваясь.

14. Ошибка, связанная с неправильным определением статуса «универсалий».Проблема реальности универсалий (то есть обобщений) была основной в средневековой философии, и состояла она в вопросе, какие объекты существуют на самом деле. Существуют ли, например, птицы вообще, или есть только отдельные экземпляры птиц, а все виды, рода и семейства птиц – не более чем условная классификация, порождённая человеческим разумом? Одним из возможных ответов является то, что объективно существует лишь наша способность различать птиц и не-птиц. Более того, каждая птица тоже обладает такой способностью, и в силу этого универсалии существуют объективно. В рассуждения о рисках неясность по поводу универсалий закрадывается следующим образом: свойства одного объекта переносятся на класс в целом, и возникают формулировки вроде «Америка хочет…» или «русским свойственно…», за которыми стоит не единичный объект, а множество их, и точное определение этого множества объектов зависит от самого наблюдателя. Любые дискуссии о политике отравлены такого рода сдвигом. Рассуждая об искусственном интеллекте, легко совершить подобную ошибку, так как непонятно, идёт ли речь об одном устройстве или о классе объектов.

15. Неравносильность утверждений о возможности и невозможности.Утверждение о невозможности чего-либо гораздо сильнее, ибо относится ко всему множеству потенциальных объектов, а для доказательства истинности утверждения о возможности достаточно одного объекта. Поэтому утверждения о невозможности чего-либо являются ложными гораздо чаще. Считая какое-то событие или стечение обстоятельств невозможным, мы наносим ущерб собственной безопасности. В определённых обстоятельствах возможно всё. При этом, любые дискуссии о будущих катастрофах – это всегда дискуссии о возможностях. Иными словами, когда мне говорят, что нечто невозможно, я требую доказательств.

16. Очевидности как источник ошибок.Правильное умозаключение всегда опирается на две посылки, два истинных суждения. Однако анализ текстов показывает, что люди очень часто употребляют не полную форму умозаключений, а сокращённую, где явно называется только одна посылка, а другая подразумевается по умолчанию. Умалчиваются обычно очевидности – суждения, которые кажутся настолько истинными и несомненными, что нет нужды их озвучивать. Более того, часто они настолько очевидны, что не осознаются. Понятно, что такое положение дел является причиной многочисленных ошибок, потому что очевидность – не обязательно истинность, и то, что очевидно одному, не очевидно другому.

17. Недооценка собственной склонности к ошибкам.Как и любой человек, я склонен ошибаться, это зависит как от принципиальной ненадёжности человеческого мозга, связанной с вероятностной природой его работы, так и от неполноты моих знаний о мире и недостаточности навыков устранения ошибок. Я ничего не могу знать на 100 %, потому что надёжность моего мозга не равна 100 %. Я, например, могу установить степень этой надёжности, решив серию логических задач средней сложности, и затем посчитав количество ошибок. Однако обычно этого никто не делает, и собственная склонность к ошибкам оценивается интуитивно. Точно так же человек обычно не измеряет характерную ошибочность своих суждений о будущем, хотя это возможно сделать экспериментально: например, написать прогноз своей и общественной жизни на год или пять лет, а затем оценить степень его достоверности.

18. Ошибки, связанные с представлением о том, что каждое событие имеет одну причину. В действительности подобное представление ложно, так как:

а) Есть совершенно случайные события.

б) Каждое событие имеет много причин (стакан упал и разбился, потому что его поставили на край стола, потому что он сделан из стекла, потому что есть сила тяжести, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).

в) Каждая причина имеет свою причину, в результате чего мы имеем разрастающееся в прошлое древо причин. Человеческий ум неспособен целиком охватить это древо причин и вынужден упрощать. Но понятие причины необходимо обществу, потому что связано с понятиями вины, наказания и свободы воли. То есть в данном случае под «причиной» подразумевается принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов.

Понятие причины менее всего применимо к анализу сложных уникальных явлений, таких как человеческое поведение и история. Пример тому – масса запутанных дискуссий о причинах тех или иных исторических событий. Именно поэтому рассуждения в духе «причиной глобальной катастрофы будет Х», мягко говоря, несовершенны.

19. Необходимость выбора на основе веры. Если руководитель получает несколько противоречащих друг другу заключений о безопасности того или иного решения, то он делает выбор между ними, просто веря в одно из них – по причинам, не связанным с самой логикой. Здесь также можно вспомнить уже упоминавшийся термин «экзистенциальный выбор», когда человек должен сделать выбор в неформализуемой ситуации. Например, между любовью и долгом.

20. Эффект первой и последней прочитанной книги.Как правило, прядок поступления информации влияет на оценку её субъектом, при этом особенно сильное влияние оказывают первый и последний источники. Это тоже одна из форм возникновения ошибок, связанная с доступностью информации.

21. Преувеличение роли компьютерного моделирования.Две наиболее проработанные компьютерные модели – это метеорологическая и модель атомного взрыва. Обе созданы на основе обширного фактического материала, с учётом сотен испытаний, которые вносили поправки к прогнозам, и обе регулярно давали ошибки. Даже самая точная модель остаётся моделью. Поэтому мы не можем абсолютно полагаться на компьютерное моделирование уникальных событий, к каковым относится глобальная катастрофа.

22. Доказательство по аналогии как источник возможных ошибок. Дело не только в том, что аналогий уникального события, которое ещё никогда не случалось (необратимой глобальной катастрофы), не может быть в принципе, но и в том, что мы не знаем, как проводить такие аналогии. В любом случае, аналогии могут только иллюстрировать событие. Вероятно, полезно принимать аналогии во внимание, когда они говорят о реальности некой угрозы, но в случае оценки безопасности какого-либо события они неуместны.

23. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной вероятностной функции с помощью линейной.Вероятностную функцию гибели цивилизации – если считать этот процесс гладким в смысле вероятности, что, конечно, неверно, – можно уподобить функции распада радиоактивного атома, которая, как известно, описывается экспонентой. Например, если вероятность гибели цивилизации в течение XXI века равна 50 %, как это предполагает сэр Мартин Рис в книге «Наш последний час», то через 200 лет шанс выживания цивилизации будет 25 %, а через тысячу лет – только 0,1 % – при равномерном сохранении тех же тенденций. Отсюда следует, что заключение в духе «если шансы выживания в течение тысячелетия составляют 0,1 %, то для одного столетия оно будет только в десять раз больше, то есть 1 %» неверно. Эта же ошибка в менее явном виде возникает, если нам нужно экстраполировать те же 50 % выживания в течение 100 лет на погодовую вероятность гибели. Линейная аппроксимация дала бы 0,5 % на год. Однако точное значение погодовой вероятности, вычисленное по формуле , составляет примерно 0,7 %, то есть в 1,4 раза выше, чем даёт интуитивная линейная аппроксимация.

24. Санкт-Петербургский парадокс. Этот парадокс, названный так по месту открытия, имеет прямое отношение к глобальным катастрофам, поскольку показывает то, что бесконечно большой ущерб от крайне редких событий имеет больший вес, чем все остальные события, однако психологически люди не готовы это воспринять. Г.Г. Малинецкий так описывает этот парадокс в книге «Риск. Устойчивое развитие. Синергетика»: «Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2ⁿ единиц. То есть выигрыши 2,4,8,…2ⁿ будут происходить с вероятностью 1/2,1/4,1/8,…1/2ⁿ. Ожидаемый выигрыш в этой игре бесконечен:

Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц» [Капица, Курдюмов, Малинецкий 2001].

25. Различия между опасностью и риском.Риск создаётся принимаемыми решениями, а опасность – обстоятельствами. Поскольку основным источником риска глобальных катастроф являются новые технологии, то именно решения об их развитии и применении определяют его. Однако если технологии развиваются стихийно и неосознанно, то они становятся подобны природным опасностям.

26. Ошибка, связанная с тем, что если вероятность некого события является невычислимой, ей считают нулевой.В данном случае принцип предосторожности требует, чтобы мы приписывали таким событиям стопроцентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта.

27. Упущение того факта, что безопасность системы определяется наиболее слабым её звеном.Если в помещение ведут три параллельных двери, одна из которых заперта тремя замками, вторая – двумя, а третья – одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.

28. Отвергание гипотез без рассмотрения.Для того, чтобы отвергнуть некую гипотезу, её надо вначале рассмотреть. Но часто эта последовательность нарушается. Люди отказываются рассматривать те или иные предположения, потому что считают их слишком невероятными. Однако окончательно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.

29. Невычислимость. Целый ряд принципиально важных для нас процессов настолько сложен, что предсказать их невозможно, поскольку они невычислимы. Невычислимость может иметь разные причины.

Она может быть связана с непостижимостью процесса (например, непостижимость Технологической Сингулярности, или непостижимость теоремы Ферма для собаки), то есть с принципиальной качественной ограниченностью человеческого мозга. Такова наша ситуация с предвидением поведения суперинтеллекта в виде ИИ.

Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть с недетерминированностью систем (погоды, мозга).

Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе событий. К таковым относятся модели глобального потепления, ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая изучает уникальное событие, которое ещё ни разу не происходило, то есть является опережающей моделью.

Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляется в виде хаотической детерминированной системы.

Невычислимость связана также с тем, что хотя мы можем думать, что нам известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно и то же в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности теории, а точнее – меры уверенности в этой правильности, является рынок, где делаются прямые ставки или на некий исход событий, или на цену некого товара, связанного с прогнозом, например, цену на нефть. Однако на рыночную цену влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и некем будет выплачивать страховку, то есть в силу этого можно сказать, что страховая цена равна нулю.)

Ещё один вид невычислимости связан с возможностью осуществления самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой.

Невычислимость, связанная с предположением о собственном положении в выборке (self-sampling assumption – см. об этом книгу Н. Бострома [Bostrom 2003a]). Суть этого предположения состоит в том, что в некоторых ситуациях я должен рассматривать самого себя как случайного представителя из некоторого множества людей. Например, рассматривая самого себя как обычного человека, я могу заключить, что я с вероятностью в 1/12 имел шансы родиться в сентябре. Или с вероятностью, допустим, 1 к 1000 я мог бы родиться карликом. Это иногда позволяет делать предсказания на будущее: а именно, если в России 100 миллиардеров, то шансы, что я стану миллиардером, составляют один к 1,5 миллионам, в предположении, что эта пропорция будет сохраняться. К невычислимости это приводит, когда я пытаюсь применить предположение о собственном положении в выборке к своим знаниям. Например, если я знаю, что только 10 % футурологов дают правильные предсказания, то я должен заключить, что с вероятностью 90% любые мои предсказания неправильные. Большинство людей не замечают этого, поскольку за счёт сверхуверенности и повышенной самооценки рассматривают себя не как одного из представителей множества, а как «элиту» этого множества, обладающую повышенной способностью к предсказаниям. Это особенно проявляется в азартных играх и игре на рынке, где люди не следуют очевидной мысли: «Большинство людей проигрывает в рулетку, следовательно, я, скорее всего, проиграю».

Похожая форма невычислимости связана с информационной нейтральностью рынка. (Сказанное далее является значительным упрощением теории рынка и проблем информационной ценности даваемых им показателей. Однако более подробное рассмотрение не снимает названную проблему, а только усложняет её, создавая ещё один уровень невычислимости, – а именно невозможность для обычного человека охватить всю полноту знаний, связанную с теорией предсказаний, а также неопределённость в том, какая именно из теорий предсказаний истинна. См. об информационной ценности рынка так называемую «no trade theorem»[142].) Идеальный рынок находится в равновесии, когда половина игроков считает, что товар будет дорожать, а половина – что дешеветь. Иначе говоря, выиграть в игре с нулевой суммой может только более умный или осведомленный, чем большинство людей, человек. Однако большинство людей не являются более умными, чем все, по определению, хотя и не способны осознать это по причине психологической предвзятости. В результате чего, например, большинство водителей считают себя более аккуратными, чем среднестатистический водитель. Или другой пример: цена на нефть находится на таком уровне, что не даёт явных подтверждений ни предположению о неизбежности кризиса, связанного с исчерпанием нефти, ни предположению о неограниченности нефтяных запасов. В результате рациональный игрок не получает никакой информации о том, к какому сценарию ему готовится. Та же самая ситуация относится и к спорам: если некий человек начал доказывать точку зрения, противоположную вашей, и вам ничего неизвестно о его интеллекте, образованности и источниках информации, – и при этом вы полагаете, что также являетесь средним, человеком, а не особенным (что особенно трудно), а также о своём объективном рейтинге интеллекта, то есть шанс 50 на 50, что прав он, а не вы. Поскольку объективно измерить свой интеллект и осведомлённость крайне трудно из-за неосознанного желания их переоценить, то следует считать их находящимися в середине спектра.

Поскольку в современном обществе действуют механизмы превращения любых параметров будущих событий в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. п., фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли фактами мы не можем узнать наверняка, будет ли глобальное потепление, когда произойдёт исчерпание нефти, или какова реальная угроза птичьего гриппа.

Ещё одна причина невычислимости – секретность. Если мы пытаемся учесть эту секретность с помощью разных «теорий заговора» в духе книги Симмонса «Сумерки в пустыне» [Simmons 2005] о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящиеся в пространстве интерпретации. То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями. Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные секреты.

Рыночные механизмы побуждают людей лгать о качестве их товаров и о прогнозах своих фирм, с тем, чтобы получить большую выгоду за интересующий их промежуток времени. Яркий пример этого мы видим в последствиях так называемой «революции менеджеров», когда управленцы сменили собственников в директорате фирм в 70-е годы. В результате они стали более заинтересованы получать краткосрочные прибыли в течение срока своей работы в компании, не рассматривая риски для компании за пределами этого срока.

Психологический аспект этой проблемы заключается в том, что люди рассуждают таким образом, будто бы никакой невычислимости нет. Другими словами, можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как не принимается во внимание ограниченность человеческой способности рассуждать о нём достоверно.

Заключение. Перспективы предотвращения глобальных катастроф

Человечество не обречено на вымирание. Даже если у нас мало шансов, то обязательно стоит бороться за бесконечно большое будущее. Позитивным фактом является то, что, начиная с 2000 года резко возросло число публикаций, посвященных глобальным катастрофам общего характера. Начинает формироваться единое понимание проблемы. Надеюсь, что в ближайшее десятилетия проблема глобальных рисков станет общепризнанной. А люди, осознающие важность этого, окажутся у власти. Вероятно, это случится не плавно, а после жестоких потрясений (как 11 сентября), которые повысят интерес и читаемость литературы по теме, подхлестнут дискуссию. Можно надеяться, что некоторые обеспокоенные люди и группы поспособствуют реализации перспективной стратегии дифференциального развития технологий. А именно, Дружественный ИИ должен развиваться опережающими темпами, быстрее, чем, например, загрузка сознания в компьютер, которое в результате может обрести огромные силы и стать неконтролируемым. Очень важно, чтобы мощный ИИ возник раньше, чем сильные нанотехнологии – для того, чтобы помочь их контролировать.

Возможно, придётся смириться с избыточным или тоталитарным контролем над человеческой деятельностью в период, когда риск будет максимален, а понимание реальных угроз – минимально. В этот момент будет не ясно, какое знание действительно является знанием массового поражения, а какое – безобидной игрушкой.

Возможно, что нам просто повезёт, и ни один риск не сбудется. С другой стороны, возможно, что повезёт меньше, и череда крупных катастроф отбросит цивилизацию в развитии далеко назад, но человек сохранится и обретёт более мудрый подход к реализации технологических достижений. Возможно, что на этом пути предстоит трудный выбор: остаться навсегда на средневековом уровне, отказавшись от компьютеров, полётов к звёздам; или рискнуть, и попытаться стать чем-то большим. Несмотря на риск, второй сценарий выглядит для меня более привлекательным, т. к. замкнутое на Земле человечество обречено рано или поздно на вымирание по естественным причинам.

Наблюдается также усилия в создании убежищ разного рода: в Норвегии построено хранилище для семян в случай глобальной катастрофы. Хотя такое хранилище не спасёт людей, похвально желание вкладывать деньги и реальные ресурсы в проекты, отдача от которых возможна только через столетия. Активно обсуждается проект создания похожего убежища на Луне, который называют "запасной диск для цивилизации"[143]. В нем предполагается сохранить не только все знания цивилизации, но и замороженные человеческие эмбрионы, в надежде на то, что кто-нибудь (инопланетяне?) восстановит потом по ним людей.

Вместе с тем, в книге я пытался показать, что непродуманные действия по предотвращению катастроф могут быть не менее опасны, чем сами катастрофы. Следовательно, в настоящий момент основные усилия должны сосредотачиваться не на конкретных проектах, не на пропаганде "зелёного" образа жизни, а на возрастании понимания природы возможных рисков, на формирование научного консенсуса о том, что на самом деле опасно и какие уровни риска приемлемы. При этом дискуссия не может быть бесконечной, как в неких более абстрактных областях. Тогда мы рискуем "проспать" реально надвигающуюся катастрофу. Это значит, что мы ограничены во времени.

Литература

Абдурагимов И.М. 2009. О несостоятельности концепции «ядерной ночи» и «ядерной зимы» вследствие пожаров после ядерного поражения. Электронный журнал «Пожарное дело», http://www.pozhdelo.ru/stati/Pojar_Process_gor/pg/pg.html

Абрамян Е.А. 2006. Долго ли осталось нам жить? Судьба цивилизации: Анализ обстановки в мире и перспектив будущего. М.: Терика.

Адамский В.Б., Смирнов Ю.Н. 1995. 50-мегатонный взрыв над Новой Землей. Вопросы истории естествознания и техники, 3: 35. http://vivovoco.rsl.ru/VV/PAPERS/HISTORY/SAKHAROV.HTM

Азаров И. 1998. Венчурный капитал в электронной промышленности США. Электроника: Наука, Технология, Бизнес, 1: 52. http://www.electronics.ru/issue/1998/1/17

Азимов А. 2002. Выбор катастроф. М.: Амфора.

Александровский г. 2001. бегство от умирающего солнца. наука и жизнь, 8: 53–70. http://nauka.relis.ru/05/0108/05108042.htm

Александровский Ю.А. и др. 1991. Психогении в экстремальных условиях. М.: Медицина.

Алексеев А.С. 1998. Массовые вымирания в фанерозое. Диссертация на соискание ученой степени доктор геолого-минералогических наук по специальности 04.00.09 палеонтология и стратиграфии. http://macroevolution.narod.ru/alekseev.htm

Анисимов А. 2002. Развитие стратегических сил Китая и проблема адекватности ситуации внешней политики США. Россия XXI, 4:28., 5:66. http://ecc.ru/XXI/RUS_21/ARXIV/2002/anisimov_2002_4.htm

Анисичкин В. 1998. О взрывах планет. Труды V Забабахинских чтений, Снежинск: РФЯЦ – ВНИИТФ.

Арбатов А., Михеев В., ред. 2007. Ядерное нераспространение в эпоху глобализации. М.: Фонд Карнеги. http://www.knogg.net/n/3_12.htm

Архипов А.В. 1994. Археологический аспект исследований Луны. Астрономический вестник. Т. 28. 4–5: 41. http://www.arracis.com.ua/moon/m312.html

Бекенов С.С. 2003. Критерии и оценки продовольственной безопасности. Вестник КРСУ, 2:39. http://www.krsu.edu.kg/vestnik/2003/v2/a03.html

Бестужев-Лада И. 2006. Человечество обречено на вымирание. Московский комсомолец, Май.

Биндеман И. 2006. тайная жизнь супервулканов. В мире науки, 10: 66–86.

Бобылов Ю. 2006. Генетическая бомба. Тайные сценарии биотерроризма. М.: Белые Альвы.

Будыко М.М., Ранов А.Б., Яншин В. 1985. История атмосферы. Л.: Гидрометеоиздат.

Вайсфлог Л. И др. 2009. Доклады Академии Наук – том 424, № 6, Февраль, С. 818-823. О возможной роли галогенсодержащих газов в изменении состояния атмосферы и природной среды в поздний пермский период http://www.maikonline.com/maik/showArticle.do?auid=VAFR1OI7XN&lang=ru, http://lenta.ru/news/2009/03/31/lakes/

Виндж В. 1999. Пламя над бездной. М.: Аст.

Вишневский С.А. 1992. Импактные события и вымирания организмов. Рукопись. http://www.meteorite.narod.ru/proba/stati/stati57.htm

Волков А. 2007. Природа скрывает "бомбы с часовым механизмом". Знание–сила, 6: 53–60. http://www.inauka.ru/analysis/article75841.html

Воробьёв, Ю.Л, Малинецкий Г.Г., Махутов H.A. 2000. Управление риском и устойчивое развитие. Человеческое измерение. Общественные Науки и Современность, 6: 120–131.

Владимиров В.А., Малинецкий Г.Г., Потапов А.Б. и др. 2000. Управление риском. Риск, устойчивое развитие, синергетика. М.: Наука.

Геворкян С.Г., Геворкян И.С. 2006. Преднамеренные антропогенные экологические катастрофы. Эволюция, 3: 181.

Глуховский Д. 2007. Метро 2033. М.: Аст.

Горный В.И и др., 2006. Камуфлетные взрывы как причина формирования структур, индицирующих алмазоносные районы (по материалам дистанционных и геофизических методов)» Современные проблемы дистанционного зондирования Земли из космоса, , т3, N 2, стр. 225- 214.

Данилов-Данильян В.И., Лосев К.С., Рейф И.Е. 2005. Перед главным вызовом цивилизации. Взгляд из России. М.: Инфра-М.

Камю А. 1990. Миф о Сизифе. Эссе об абсурде. Сумерки богов. М.: Политиздат.

Докинз Р. 1993. Эгоистичный ген. М.: Мир.

Дробышевский Э.М. 1999. Опасность взрыва Каллисто и приоритетность космических миссий. Журнал технической физики, 69(9): 153.

Дядин Ю. А., Гущин А. Л. 1998. Газовые гидраты и климат земли. Соросовский Образовательный журнал, 3: 102.

Ергин Д. 2003. Добыча. Всемирная история борьбы за нефть, деньги и власть. М.: ДеНово.

Еськов К.Ю. 2004. История Земли и жизни на ней. М.: НЦ ЭНАС.

Израэль Ю.А. 1983. Экологические последствия возможной ядерной войны. Метеорология и гидрология, 10: 56.

Капица С.П., Курдюмов С., Малинецкий Г.Г. 2001. Синергетика и прогнозы будущего. М.: УРСС.

Капица С.П. 2004. Об ускорении исторического времени. Новая и новейшая история, 6: 98. http://vivovoco.rsl.ru/VV/JOURNAL/NEWHIST/KAPTIME.HTM

Карнаухов А.В. 1994. К вопросу об устойчивости химического баланса атмосферы и теплового баланса земли. Биофизика, 39(1): 148–152.

Карпан Н. 2006. Атомной энергетике не отмыться от Чернобыля. Зеркало недели, 13 (592): 4 http://pripyat.com/ru/publications/2006/04/08/750.html

Коза Дж., Кин М., Стритер М. 2003. Эволюция в мире изобретений. В мире науки, 6: 50–54.

Киппенхан Р. 1990. 100 миллиардов солнц. Жизнь и смерть звезд. М.: Мир.

Кононов А.А. 2007. Задача неуничтожимости цивилизации в катастрофически нестабильной среде. Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук. Т. 31: 272 – 284.

Корнилова Т.В. 1998. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений). Психологический журнал, 6: 90–97.

Корнилова Т.В. 2006. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений. Психологический журнал, 2: 114–123.

Корнилова Т.В. 2003. Психология риска и принятия решений. М.: Аспект Пресс.

Красилов В.А. 2001. Модель биосферных кризисов. Экосистемные перестройки и эволюция биосферы, 4: 9–16. http://macroevolution.narod.ru/krmodelcrisis.htm

Куркина Е.С. 2007. Конец режимов с обострением. Коллапс цивилизации. Доклад на международной конференции "Путь в будущее – наука, глобальные проблемы, мечты и надежды". http://spkurdyumov.narod.ru/kurkinaes.htm

Лазарчук А., Лелик П. 1987. Голем хочет жить. Рукопись. http://lazandr.lib.rup>

Лем С. 1990. Системы оружия двадцать первого века или Эволюция вверх ногами. Маска. Не только фантастика, М.: Наука.

Лем С. 1995. О невозможности прогнозирования. Собрание сочинений, т.10. М.: Текст.

Лем С. 1964. Непобедимый. М.: Мир.

Лем С. 1963. Сумма технологий. М.: Мир.

Лем С. 2007. Фантастика и футурология. М.: Аст.

МакМаллин Р. 2001. Практикум по когнитивной терапии. СПб.: Речь.

марков а.в. 2000. Возвращение черной королевы, или закон роста средней продолжительности существования родов в процессе эволюции. Журн. Общей Биологии, 61(4): 99–112. http://macroevolution.narod.ru/redqueen.htm.

Медведев Д.А. 2008. Конвергенция технологий как фактор эволюции. в сб. Диалоги о будущем, М.: УРСС. http://www.transhumanism-russia.ru/content/view/317/116/

Медоуз Д. и др. 1991. Пределы роста. М.: Прогресс.

Моисеев Н.Н., Александров В.В., Тарко А.М. 1985. Человек и биосфера. М.: Наука.

Моисеев Н.H. 1998. Судьба цивилизации. М.: Путь разума.

Назаретян А.П. 2001. Цивилизационные кризисы в контексте Универсальной истории. М.: УРСС.

фон Нейман Дж. 1971. Теория самовоспроизводящихся автоматов. М.: Мир.

Нефф О. 1985. Белая трость калибра 7,62. М.: Мир. http://lib.ru/SOCFANT/NEFF/trost.txt

Онищенко Г. 2003. Биотерроризм. Вестник Академии Наук, т. 73, 3: 25–50.

Панов А.Д. 2004. Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии. Вселенная, пространство, время. 2: 251–270. http://lnfm1.sai.msu.ru/SETI/koi/articles/krizis.html

Панов А.Д. 2007. Универсальная эволюция и проблема поиска внеземного разума (SETI). М.: УРСС.

Пенроуз Р. 2005. Новый ум короля. О компьютерах, мышлении и законах физики. М.: УРСС.

Платонов А.В. 1996. Восприятие риска в ситуациях, требующих принятия решения. Доклад на конференции «Lomonosov», МГУ.

Полищук Л.В. 2003.Скорость размножения и угроза вымирания вида. Природа, 7, http://vivovoco.rsl.ru/VV/JOURNAL/NATURE/07_03/ZVERI.HTM

Портнов А. 1999. Как погибла жизнь на Марсе. Наука и жизнь, 4: 120–129. http://www.meteorite.narod.ru/proba/stati/stati107.htm

Прайд В., Коротаев А.В. ред. 2008. Сб. статей «Диалоги о будущем. Новые технологии и продолжение эволюции человека». М.: УРСС.

Пустынский В. 1999. Последствия падения на Землю крупных астероидов. Рукопись. http://www.meteorite.narod.ru/proba/stati/stati58.htm

Розмаинский И.В. 2009. Вклад Х.Ф. Мински в экономическую теорию и основные причины кризисов в позднеиндустриальной денежной экономике. Экономический вестник Ростовского государственного университета, 7(1): 31–42.

Росс Л., Нисбетт Р. 1999. Человек и ситуация: Уроки социальной психологии. М.: Аспект Пресс. http://evolkov.iatp.ru/social_psychology/Ross_L_Nisbett_R/index.html

Савин М.Г. 2007. Кувырок магнитного поля. Химия и жизнь, 2: 81–90.

Солженицын А.И. 1983—1991. Красное колесо. тт. 11–20. Вермонт-Париж: YMCA-PRESS.

Сорос Дж. 1999. Кризис мирового капитализма. Открытое общество в опасности. М.: ИНФРА-М.

Сорохтин О.Г., Ушаков С.А. 2002. Развитие Земли. М.: Изд-во МГУ.

Сурдин В. Туринская шкала астероидной опасности. http://www.krugosvet.ru/enc/nauka_i_tehnika/astronomiya/TURINSKAYA_SHKALA_ASTEROIDNO_OPASNOSTI.html

Сывороткин В.Л. 2001. Экологические аспекты дегазации Земли. Диссертация на соискание степени доктора геологических наук: М.

Тегмарк М. 2003. Параллельные Вселенные. В мире науки, 8: 51–61. http://www.everettica.org/article.php3?ind=126

Торгашов А. 2008. Избранные места из переписки с инопланетянами. Русский репортёр, 20 марта: 36–40. http://www.expert.ru/printissues/russian_reporter/2008/10/obschenie_s_vselennoy/

Тофлер Э. 2002. Шок будущего. М.: АСТ.

Турчин А.В. 2007. О возможных причинах недооценки рисков гибели человеческой цивилизации. Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31. М.: КомКнига. C. 266–305.

Турчин А.В. 2007. Природные катастрофы и антропный принцип. Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31. М.: КомКнига. C. 306–332.

Турчин А.В. 2010.Проблема стабильного развития и перспективы глобальных катастроф. Общественные науки и современность. № 1. С. 156–163.

Турчин А.В. 2008.Война и ещё 25 сценариев конца света. М.: Европа.

Феоктистов Л.П. 1998. Термоядерная детонация. УФН, 168: 1247 http://www.ufn.ru/ru/articles/1998/11/f/

Фукуяма Ф. 2002. Наше постчеловеческое будущее. Последствия биотехнологической революции, М.: Аст.

Хаин В.Е. 2004. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира. Природа, 6: 79–91.

Хойл Ф., Эллиот Дж. 1966. Андромеда. М.: Мир.

Чирков Ю. 1991. Ожившие химеры. М.: Дет. литература.

Шамис А.Л. 2006. Пути моделирования мышления. М.: У