Категории: ДомЗдоровьеЗоологияИнформатикаИскусствоИскусствоКомпьютерыКулинарияМаркетингМатематикаМедицинаМенеджментОбразованиеПедагогикаПитомцыПрограммированиеПроизводствоПромышленностьПсихологияРазноеРелигияСоциологияСпортСтатистикаТранспортФизикаФилософияФинансыХимияХоббиЭкологияЭкономикаЭлектроника |
Обобщение метода наименьших квадратов на многофакторный линейный случай
Пусть имеется к факторов и известно, что отклик и факторы связаны линейно: у—Ь0х0-{-Ъ1х1-\-Ъ2х2+. . . Л-Ъкхк. Выпишем для этого случая матрицы X, Y и В
После преобразований, аналогичных рассмотренным в предыдущем параграфе, придем к следующей формуле:
Скалярные произведения удобно представлять в виде сумм, т. е. матрицу системы нормальных уравнений можно записать в следующем виде:
2 xl 2 xoxi 2 xax2 • • • 2 xoxk X0X1 X1 ^J X1X2 " • * XlXk 2 XlXk 2 X2Xk • ■ • 2* Так как суммирование ведется от 1 до N по всему множеству опытов, индекс суммирования мы опустили. Аналогично XTY есть вектор сумм произведений: XTY= 2 УЧ _2 ухк Чтобы получить ответ, т. е. вектор В, остается обратить матрицу ХГХ и умножить обратную матрицу на XTY.
Проведем обработку данных табл. 7.9 матричным способом
08000000 00800000 00080000 00008000 00000800 00000080 L0 0 0 0 0 0 0 8.
"2 г/.жо. 2 УА, 2 УгХ2.
2 У А» 2 У А* 2 УА, 2 УА, _2 г/А,_ =—1,3125; -1,7875. — 8 8 Мы получили тс ЖС результаты, что и в седьмой главе. Детально рассмотренная процедура M1IK в матричной форме показывает, как получаются формулы для коэффициентов регрессии, которые использовались в предыдущих главах.
Аналогичным путем можно оценить эффекты взаимодействия, входящие в модель Для этого надо расширить матрицу X, включив в нее столбцы взаимодействий Все остальные операции производятся совершенно аналогично В векторе В появляются при этом элементы, соответствующие эффектам взаимодействий. Расширение матрицы X подобным образом называют линеаризацией Это эквивалентно замене эффектов взаимодействия новыми линейными членами Подобная процедура возможна только тогда, когда все коэффициенты входят в уравнение линейно. Такие уравнения называются линейными по параметрам и только они рассматриваются в нашей книге В некоторых случаях приходится использовать уравнения, нелинейные по параметрам. Примером может служить уравнение Аррениуса у=Ь0еь,х,1 которое используется в химической кинетике [7, 8]. 10.4. Статистический анализ В предыдущей главе вначале была продемонстрирована процедура МНК, а затем рассмотрены статистические аспекты. Так же построена и эта глава Перейдем к статистическому анализу в матричной форме. Будем предполагать, что постулаты регрессионного анализа выполняются. Что значит провести статистический анализ? Это значит проверить ряд статистических гипотез гипотезу об адекватности заданной модели, гипотезы о значимоеiи отдельных ко эффициентов регрессии и др Дальнейшее изложение направлено на прояснение некоторых обстоятетьств, определивших вид формул статистического анатиза регрессионной модели Знакомство с элементами алгебры матриц поможет еде тать это. Фундаментальную роль в анатизе уравнения регрессии играет матрица М -1 = (ХГХв*{,})-\ которая называется матрицей дисперсий ковариаций. Прягая матрица М называется информационной матрицей Фишера. В структуре матрицы дисперсий-ковариаций содержится вся информация о статистических свойствах модели Провести статистический анализ значит извлечь эту информацию. Для этого прежде всего перейдем от матрицы, обратной к матрице системы нормальных уравнений, к матрице М-1. Оценка дисперсии воспроизводимости — скаляр; ХТХ — квадратная матрица. Умножить матрицу на скаляр слева или справа — значит умножить на этот скаляр каждый элемент матрицы. Полученные таким образом произведения имеют определенный статистический смысл. Так, на главной диагонали матрицы-произведения стоят оценки дисперсий коэффициентов регрессии, вне главной диагонали расположены оценки ковариаций. Чтобы познакомиться с понятием ковариация, рассмотрим два произвольных вектор-столбца матрицы X. Во многих случаях важно знать, сколь сильна линейная связь между этими векторами. Ковариация является одной из мер такой связи. Чтобы найти ко- вариацию, сначала центрируют оба вектора, а затем вычисляют их скалярное произведение. Центрирование используется для устранения неопределенности, связанной с выбором начала коор динат. Пусть, например, изучается ковариация между температурой и каким-нибудь другим фактором Если значения температуры записываются в шкале Цельсия, то без центрирования значение ковариации получится иное, чем для шкалы Кельвина. При центрировании же это не произойдет. Ковариация определяется по формуле n cov {xlx2} = 2 к - (*2, - х2). »=1 Заметим, что это выражение совпадает с числителем коэффициента парной корреляции, с которым мы уже сталкивались (§ 2.3).
Давайте построим матрицу М-1 для однофакторной линейной модели. Информационная матрица М равна: N 2*1,- 2 хи 2 хи Матрица 'дисперсий-ковариаций М-1 равна:
2 ^^ Х-^, л 2 - (2 2 24, а _____ N_____
ЪКУ .<x>v{b0, bj
Ортогональные планы, рассматриваемые в этой книге, обладают тем свойством, что ковариации между всеми парами коэффициентов регрессии равны нулю. Это можно проиллюстрировать примером из предыдущего параграфа: sfj,}/8 м-1 = О 'Ъ}18 (так принято сокращенно записывать квадратные матрицы, когда все внедиагональные элементы равны нулю). В этом примере 5а{У}=1 и поэтому дисперсии ^-коэффициентов s\iy} = 0,125. Таким образом, мы пришли к формуле sbj) —sbj}lN< которая уже фигурировала раньше. Она справедлива для ортогональных планов. Рассмотрим теперь проверку адекватности линейного уравнения регрессии. Дисперсия адекватности равна n 2 (к-м» »2 _______________
»* # — (* + !) • Числитель этого выражения — остаточная сумма квадратов — в матричной форме имеет вид 2 {у, — gf = (Y — Y)T (Y — Y) = YTY — BrXrY. t=i Приведем конкретный пример (§ 6.4, пример № 4) расчета остаточной суммы квадратов разными способами (см. табл. 10.3).
Линейное уравнение регрессии имеет вид у=88,0—2,0^—4,5ж2. Обычный способ вычисления остаточной суммы дает 2 (г/, — = (0,25 + 0,25 + 0,25 + 0,25) = 1,00. »=i
Воспользуемся теперь матричной записью. Для этого придется ввести еще одну матричную операцию — операцию вычитания. Разностью двух матриц одинакового размера называется матрица, элементы которой являются разностями соответствующих элементов матриц уменьшаемого и вычитаемого, взятых в том же порядке:
(Y-f)r (¥ — ?) = [+0,5 -0,5 -0,5 +0,5] = 0,25 + 0,25 + 0,25 + 0,25 = 1,00. Если воспользоваться другим выражением для остаточной суммы квадратов, то
YJY - BJXJY = [95,0 90,0 85,0 82,0]. [88,0—2,0—4,5]
Здесь мы встретились с необходимостью перемножить три матрицы. Эту операцию можно выполнять либо справа налево, либо слева направо. Сначала перемножается первая пара матриц. А затем матрица-произведение рассматривается как новая матрица и перемножается с третьей. Конечно, размеры всех матриц должны удовлетворять условиям существования произведения, что и выполняется в нашем случае. Кроме статистических оценок, уже знакомых по предыдущей главе, введем еще одну оценку — оценку дисперсии предсказанного значения отклика. Если имеется адекватное уравнение регрессии, то его можно использовать для предсказания результата какого-нибудь нового опыта в некоторой точке факторного пространства. Для этого достаточно подставить в уравнение координаты этой точки и произвести алгебраические операции. Очевидно точность такого предсказания будет неодинакова в разных точках факторного пространства. Чтобы учесть это различие и вводится дисперсия предсказанного значения отклика. Пусть известное уравнение имеет вид у=Ъ0-{-Ъ1х1. Координаты предсказываемой точки задаются вектором Xf=[l xt]. Отсюда следует, что У, = [ 1 J В рамках предпосылок регрессионного анализа х — неслучайная величина, а Ь0 и Ьг — случайные величины, так как они являются функциями результатов эксперимента. Следовательно, у — тоже случайная величина, связанная с некоторой суммой двух величин Ь0 и bv Дисперсии и' ковариация Ь0 и Ьг уже известны. Они являются элементами матрицы дисперсий-кова- риаций. Для определения дисперсии предсказанного значения отклика s2^} можно воспользоваться законом сложения ошибок [9]. Если y=f (z1; z2, . . . , zk), где Zj — независимые случайные величины, входящие в известное уравнение, то j=l l-l № В нашем случае или »?<>«>« SW + 2ж<cov (6о> М + • Последнее соотношение можно записать также в матричной форме: SW cov (&<>> М
соv{b0, Ьг) s\bl} Давайте произведем вычисления для нескольких опытов из примера предыдущего параграфа. Возьмем в качестве первой тЪчки начало координат — нулевой опыт. В этом случае вектор Х; имеет вид XJ=[1 О О О О О О 0J. Матрица "1/8 1/8 1/8 0 1/8 U 1/8 1/8 О 1/8 _ 1/8______________________ так как s\yy = 1.
Отсюда получим дисперсию предсказанного значения у, который в этой точке равен 23,5875
= [1/8 0 0 0 00 0 0] *?Л> = [1 222222 2]
= 3,625. В этой точке $0=2О,О125, а дпсперсия s2{$ay =3,625. Обратите внимание, как существенно увеличилась дисперсия предсказания при удалении от центра. Описывая статистический анализ, мы до сих пор не принимали во внимание повторных наблюдений. Перейдем тепбрь к рассмотрению этого вопроса. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Последнее изменение этой страницы: 2016-07-23 lectmania.ru. Все права принадлежат авторам данных материалов. В случае нарушения авторского права напишите нам сюда... |