Начальные и центральные моменты системы двух случайных величин

В главе 5 мы ввели в рассмотрение числовые характеристики одной случайной величины - начальные и центральные моменты различных порядков. Из этих характеристик важнейшими являются две: математическое ожидание и дисперсия .

Аналогичные числовые характеристики - начальные и центральные моменты различных порядков - можно ввести и для системы двух случайных величин.

Начальным моментом порядка , системы называется математическое ожидание произведения на :

. (8.6.1)

Центральным моментом порядка системы называется математическое ожидание произведения -й и -й степени соответствующих центрированных величин:

, (8.6.2)

где , .

Выпишем формулы, служащие для непосредственного подсчета моментов. Для прерывных случайных величин

, (8.6.3)

, (8.6.4)

где — вероятность того, что система примет значения , а суммирование распространяется по всем возможным значениям случайных величин , .

Для непрерывных случайных величин:

, (8.6.5)

, (8.6.6)

где - плотность распределения системы.

Помимо и , характеризующих порядок момента по отношению к отдельным величинам, рассматривается еще суммарный порядок момента , равный сумме показателей степеней при и . Соответственно суммарному порядку моменты классифицируются на первые, вторые и т. д. На практике обычно применяются только первые и вторые моменты.

Первые начальные моменты представляют собой уже известные нам математические ожидания величин и , входящих в систему:

Совокупность математических ожиданий представляет собой характеристику положения системы. Геометрически это координаты средней точки на плоскости, вокруг которой происходит рассеивание точки .

Кроме первых начальных моментов, на практике широко применяются еще вторые центральные моменты системы. Два из них представляют собой уже известные нам дисперсии величин и :

характеризующие рассеивание случайной точки в направлении осей и .

Особую роль как характеристика системы играет второй смешанный центральный момент:

,

т.е. математическое ожидание произведения центрированных величин.

Ввиду того, что этот момент играет важную роль в теории, введем для него особое обозначение:

. (8.6.7)

Характеристика называется корреляционным моментом (иначе — «моментом связи») случайных величин , .

Для прерывных случайных величин корреляционный момент выражается формулой

, (8.6.8)

а для непрерывных - формулой

. (8.6.9)

Выясним смысл и назначение этой характеристики.

Корреляционный момент есть характеристика системы случайных величин, описывающая, помимо, рассеивания величин и , еще и связь между ними. Для того чтобы убедиться в этом, докажем, что для независимых случайных величин корреляционный момент равен нулю.

Доказательство проведем для непрерывных случайных величин. Пусть , - независимые непрерывные величины с плотностью распределения . В 8.5 мы доказали, что для независимых величин

. (8.6.10)

где , - плотности распределения соответственно величин и .

Подставляя выражение (8.6.10) в формулу (8.6.9), видим, что интеграл (8.6.9) превращается в произведение двух интегралов:

.

Интеграл

представляет собой не что иное, как первый центральный момент величины , и, следовательно, равен нулю; по той же причине равен нулю и второй сомножитель; следовательно, для независимых случайных величин .

Таким образам, если корреляционный момент двух случайных величин отличен от нуля, это есть признак наличия зависимости между ними.

Из формулы (8.6.7) видно, что корреляционный момент характеризует не только зависимость величин, но и их рассеивание. Действительно, если, например, одна из величин весьма мало отклоняется от своего математического ожидания (почти не случайна), то корреляционный момент будет мал, какой бы тесной зависимостью ни были связаны величины . Поэтому для характеристики связи между величинами в чистом виде переходят от момента к безразмерной характеристике

, (8.6.11)

где , - средние квадратические отклонения величин , . Эта характеристика называется коэффициентом корреляции величин и . Очевидно, коэффициент корреляции обращается в ноль одновременно с корреляционным моментом; следовательно, для независимых случайных величин коэффициент корреляции равен нулю.

Случайные величины, для которых корреляционный момент (а значит, и коэффициент корреляции) равен нулю, называются некоррелированными (иногда – «несвязанными»).

Выясним, эквивалентно ли понятие некоррелированности случайных величин понятию независимости. Выше мы доказали, что две независимые случайные величины всегда являются некоррелированными. Остается выяснить: справедливо ли обратное положение, вытекает ли из некоррелированности величин их независимость? Оказывается - нет. Можно построить примеры таких случайных величин, которые являются некоррелированными, но зависимыми. Равенство нулю коэффициента корреляции - необходимое, но не достаточное условие независимости случайных величин. Из независимости случайных величин вытекает их некоррелированность; напротив, из некоррелированности величин еще не следует их независимость. Условие независимости случайных величин – более жесткое, чем условие некоррелированности.

Убедимся в этом на примере. Рассмотрим систему случайных величин , распределенную с равномерной плотностью внутри круга радиуса с центром в начале координат (рис.8.6.1).

Рис.8.6.1

Плотность распределения величин выражается формулой

Из условия находим .

Нетрудно убедиться, что в данном примере величины являются зависимыми. Действительно, непосредственно ясно, что если величина приняла, например, значение 0, то величина может с равной вероятностью принимать все значения от до ; если же величина приняла значение , то величина может принять только одно-единственное значение, в точности равное нулю; вообще, диапазон возможных значений зависит от того, какое значение приняла .

Посмотрим, являются ли эти величины коррелированными. Вычислим корреляционный момент. Имея в виду, что по соображениям симметрии , получим:

. (8.6.12)

Для вычисления интеграла разобьем область интегрирования (круг ) на четыре сектора , соответствующие четырем координатным углам. В секторах и подынтегральная функция положительна, в секторах и - отрицательна; по абсолютной же величине интегралы по этим секторам равны; следовательно, интеграл (8.6.12) равен нулю, и величины не коррелированы.

Таким образом, мы видим, что из некоррелированности случайных величин не всегда следует их независимость.

Коэффициент корреляции характеризует не всякую зависимость, а только так называемую линейную зависимость. Линейная вероятностная зависимость случайных величин заключается в том, что при возрастании одной случайной величины другая имеет тенденцию возрастать (или же убывать) по линейному закону. Эта тенденция к линейной зависимости может быть более или менее ярко выраженной, более или менее приближаться к функциональной, т. е. самой тесной линейной зависимости. Коэффициент корреляции характеризует степень тесноты линейной зависимости между случайными величинами. Если случайные величины и связаны точной линейной функциональной зависимостью:

.

то , причем знак «плюс» или «минус» берется в зависимости от того, положителен или отрицателен коэффициент . В общем случае, когда величины и связаны произвольной вероятностной зависимостью, коэффициент корреляции может иметь значение в пределах:

.

В случае говорят о положительной корреляции величин и , в случае - об отрицательной корреляции. Положительная корреляция между случайными величинами означает, что при возрастании одной из них другая имеет тенденцию в среднем возрастать; отрицательная корреляция означает, что при возрастании одной из случайных величин другая имеет тенденцию в среднем убывать.

В рассмотренном примере двух случайных величин , распределенных внутри круга с равномерной плотностью, несмотря на наличие зависимости между и , линейная зависимость отсутствует; при возрастании меняется только диапазон изменения , а его среднее значение не меняется; естественно, величины оказываются некоррелированными.

Рис. 8.6.2 Рис.8.6.3

Приведем несколько примеров случайных величин с положительной и отрицательной корреляцией.

1. Вес и рост человека связаны положительной корреляцией.

2. Время, потраченное на регулировку прибора при подготовке его к работе, и время его безотказной работы связаны положительной корреляцией (если, разумеется, время потрачено разумно). Наоборот, время, потраченное на подготовку, и количество неисправностей, обнаруженное при работе прибора, связаны отрицательной корреляцией.

3. При стрельбе залпом координаты точек попадания отдельных снарядов связаны положительной корреляцией (так как имеются общие для всех выстрелов ошибки прицеливания, одинаково отклоняющие от цели каждый из них).

4. Производится два выстрела по цели; точка попадания первого выстрела регистрируется, и в прицел вводится поправка, пропорциональная ошибке первого выстрела с обратным знаком. Координаты точек попадания первого и второго выстрелов будут связаны отрицательной корреляцией.

Если в нашем распоряжении имеются результаты ряда опытов над системой случайных величин , то о наличии или отсутствии существенной корреляции между ними легко судить в первом приближении по графику, на котором изображены в виде точек все полученные из опыта пары значений случайных величин. Например, если наблюденные пары значений величин расположились так, как показано на рис. 8.6.2, то это указывает на наличие явно выраженной положительной корреляции между величинами. Еще более ярко выраженную положительную корреляцию, близкую к линейной функциональной зависимости, наблюдаем на рис. 8.6.3. На рис. 8.6.4 показан случай сравнительно слабой отрицательной корреляции. Наконец, на рис. 8.6.5 иллюстрируется случай практически некоррелированных случайных величин. На практике, перед тем, как исследовать корреляцию случайных величин, всегда полезно предварительно построить наблюденные пары значений на графике для первого качественного суждения о типе корреляции.

Рис. 8.6.4 Рис. 8.6.5

Закон больших чисел

Теоретическим обоснованием этого замечательного свойства случайных явлений является закон больших чисел. Названием "закон больших чисел" объединена группа теорем, устанавливающих устойчивость средних результатов большого количества случайных явлений и объясняющих причину этой устойчивости.

Простейшая форма закона больших чисел, и исторически первая теорема этого раздела -теорема Бернулли, утверждающая, что если вероятность события одинакова во всех испытаниях, то с увеличением числа испытаний частота события стремится к вероятности события и перестает быть случайной.

Теорема Пуассона утверждает, что частота события в серии независимых испытаний стремится к среднему арифметическому его вероятностей и перестает быть случайной.

Предельные теоремы теории вероятностей, теоремы Муавра-Лапласа объясняют природу устойчивости частоты появлений события. Природа эта состоит в том, что предельным распределением числа появлений события при неограниченном возрастании числа испытаний (если вероятность события во всех испытаниях одинакова) является нормальное распределение.

Центральная предельная теорема объясняет широкое распространение нормального закона распределения. Теорема утверждает, что всегда, когда случайная величина образуется в результате сложения большого числа независимых случайных величин с конечными дисперсиями, закон распределения этой случайной величины оказывается практически нормальным законом.

Теорема, приведенная ниже под названием "Закон больших чисел" утверждает, что при определенных, достаточно общих, условиях, с увеличением числа случайных величин их среднее арифметическое стремится к среднему арифметическому математических ожиданий и перестает быть случайным.

Теорема Ляпунова объясняет широкое распространение нормального закона распределения и поясняет механизм его образования. Теорема позволяет утверждать, что всегда, когда случайная величина образуется в результате сложения большого числа независимых случайных величин, дисперсии которых малы по сравнению с дисперсией суммы, закон распределения этой случайной величины оказывается практически нормальным законом. А поскольку случайные величины всегда порождаются бесконечным количеством причин и чаще всего ни одна из них не имеет дисперсии, сравнимой с дисперсией самой случайной величины, то большинство встречающихся в практике случайных величин подчинено нормальному закону распределения.

В основе качественных и количественных утверждений закона больших чисел лежит неравенство Чебышева. Оно определяет верхнюю границу вероятности того, что отклонение значения случайной величины от ее математического ожидания больше некоторого заданного числа. Замечательно, что неравенство Чебышева дает оценку вероятности события для случайной величины, распределение которой неизвестно, известны лишь ее математическое ожидание и дисперсия.

Неравенство Чебышева. Если случайная величина  имеет дисперсию, то для любого  > 0 справедливо неравенство , где M и D - математическое ожидание и дисперсия случайной величины  .

Теорема Бернулли. Пусть  _n - число успехов в n испытаниях Бернулли и p - вероятность успеха в отдельном испытании. Тогда при любом  > 0 справедливо .

Центральная предельная теорема. Если случайные величины  ₁,  ₂, …,  _n, … попарно независимы, одинаково распределены и имеют конечную дисперсию, то при n  равномерно по x (- , )

.

Закон больших чисел. Если случайные величины  ₁,  ₂, …,  _n, … попарно независимы и ,то для любого  > 0

.

Теорема Ляпунова. Пусть  ₁,  ₂, …,  _n, …- неограниченная последовательность независимых случайных величин с математическими ожиданиями m₁, m₂, …, m_n, … и дисперсиями  ₁², ₂², …,  _n²… . Обозначим , , , .

Тогда = Ф() - Ф() для любых действительных чисел  и  , где Ф(x)- функция распределения нормального закона.

Теорема Чебышева

При доказательстве неравенства была использована числовая характеристика – математическое ожидание. Эта неслучайное число определяется природой наблюдаемых случайных величин и не зависит от того, как были проведены испытания. На практике почти всегда отсутствует возможность найти математическое ожидание и приходится вместо него использовать среднее арифметическое наблюдаемых значений. Разумеется, что это случайное число , которое все-таки меньше отличается от математического ожидания, чем отдельный результат испытания.

Средним арифметическим величины X называется случайная величина , которая определяется выражением
.
Теорема Чебышева (закон больших чисел) устанавливает связь между средним арифметическим и математическим ожиданием случайной величины. Предварительно решим две задачи:

Задача 1. Найти математическое ожидание среднего арифметического результатов эксперимента. Результаты эксперимента представлены в таблице. В колонке N – номер эксперимента, в колонке Х- его результаты.

; т.е. ;
.
Математическое ожидание среднего арифметического n одинаково распределенных взаимно-независимых случайных величин равно математическому ожиданию каждой.

Задача 2. Найти дисперсию среднего арифметического случайной величины X при n независимых повторных испытаниях.
.

Дисперсия среднего арифметического n одинаково распределенных взаимно-независимых случайных величин в n раз меньше дисперсии каждой.

Теорема: При достаточно большом числе независимых опытов среднее арифметическое полученных в опытах значений случайной величины X сходится по вероятности к ее математическому ожиданию , где d,e - сколь угодно малые величины; при n®¥ будет выполняться данное неравенство.

Доказательство: Применим неравенство Чебышева для случайной величины
,
где , , . Тогда
.

При любом сколь угодно малом значении ε можно всегда подобрать n такое, чтобы сделать δ значительно меньше единицы.