Категории: ДомЗдоровьеЗоологияИнформатикаИскусствоИскусствоКомпьютерыКулинарияМаркетингМатематикаМедицинаМенеджментОбразованиеПедагогикаПитомцыПрограммированиеПроизводствоПромышленностьПсихологияРазноеРелигияСоциологияСпортСтатистикаТранспортФизикаФилософияФинансыХимияХоббиЭкологияЭкономикаЭлектроника |
Взвешенный метод наименьших квадратов и статистический анализКаждый опыт несет некоторую информацию об объекте. Опыты, различающиеся условиями проведения, несут информацию об эффектах факторов, а параллельные опыты позволяют оценить дисперсию воспроизводимости. С ростом числа параллельных опытов растет точность эксперимента и оцениваемые эффекты можно определить с большей надежностью. На практике встречаются различные случаи дублирования опытов. Может оказаться, что к моменту начала эксперимента воспроизводимость опытов известна по предыдущим исследованиям. Так бывает иногда в задачах анализа вещества, когда используется методика с заранее известной ошибкой воспроизводимости. Если предполагать, что в намечаемой серии опытов ошибка не изменится и нет опасности появления грубых наблюдений, то параллельные опыты можно не ставить. Если же мы не располагаем такой информацией по предыдущим исследованиям или считаем наше предположение слишком жестким, тогда приходится дублировать опыты. Сделать это можно по-разному: в одной точке, в нескольких точках и во всех. В качестве одной точки выбирается центр плана или некоторая строка матрицы. В других случаях бывает равное число параллельных (равномерное дублирование) или различное (неравномерное дублирование). Последнее часто имеет место потому, Начнем с наиболее распространенного случая — равномерное дублирование. Если при записи матрицы X не делать различия между параллельными и различными опытами, то число строк в матрице будет равно Nn, где N — число различных опытов; п — чпсло параллельных опытов. Это приведет к некоторым изменениям в системе нормальных уравнений. Пример 1. Пусть реализован эксперимент 22 с двумя параллельными опытами в каждой точке, который дал следующие результаты:
Выпишем матрицу системы нормальных уравнений и найдем оценки коэффициентов
В этом варианте расчета различные и параллельные опыты не дифференцировались. Можно поступить иначе, рассматривая матрицу X как матрицу различных опытов. Тогда для учета информации о параллельных опытах будем использовать так называемую матрицу весов. Она представляет собой квадратную диагональную матрицу Р размера NxN. Элементы главной диагонали равны числу повторных опытов соответствующих строк матрицы X. Нумерация строк матрицы X должна совпадать с нумерацией строк матрицы Р. В нашем примере реализовано четыре различных опыта с двумя параллельными. Поэтому матрица X и матрица Р имеют вид
Тогда система нормальных уравнений МНК имеет вид (ХГРХ)В= =XrPY, где Y — вектор-столбец средних значений по соответствующему числу параллельных опытов. Это усреднение необходимо, чтобы привести в соответствие размеры матриц, входящих в систему нормальных уравнений. Коэффициенты регрессии определяются по формуле В = (ХГРХ)-1 ХГР Y =
+1 +1 +1 +1 —1 —1 +1 +1 1 +1 —1 +1.
+1 +1 +1 +1- —1 —1 +1 +1 —1 +i —1 +1
_1_ г 4-1 —1 +1 4-1 4-1 _1 +1 +1+1 - (0,70 + 1,40 4- 1,70 + 2,65) • 2 - _ - (-0,70- 1,40+ 1,70 + 2,65) • 2 8 (—0.70 + 1,40- 1,70 + 2,65) • 2 Как и следовало ожидать, результаты совпадают. Хотелось бы обратить ваше внимание на то, что при равномерном дублировании сохраняется ортогональность плана, и матрица нормальных уравнений остается диагональной. При отсутствии параллельных опытов матрица весов становится единичной. А как теперь будет выглядеть статистический анализ результатов такого эксперимента? Рассмотрим проверку адекватности модели. При наличии числа повторных опытов п, равного для всех строк плана, дисперсия адекватности равна n "ад — /у - (к + 1) ' Числитель этого выражения в матричной форме имеет вид п 2 (у{ - $tf= YTPY - BTXrPY. i-i Повторные опыты накладывают более жесткие условия на проверку адекватности, так как рассчитанный F-критерий увеличивается в п раз и для принятия гипотезы адекватности требуется большее соответствие экспериментальных и расчетных точек. В рассматриваемом примере sj^=0,0312. Дисперсия воспроизводимости для одинакового числа повторных опытов подсчитывалась, как уже говорилось в гл. 8, по формуле n п 22 ц- у,)2 __ '-1 9-1 _______ вснир N (п — 1) Эта формула справедлива для однородных дисперсий. Составим таблицу для расчета дисперсии воспроизводимости (табл. 10.4). Проверка показывает, что выборочные дисперсии Таблица 10.4
Расчет дисперсии воспроизводимости
однородны G3KCP=0,44, Gia6j,=0,91, a=0,05, s^, =0,0112. Для проверки адекватности линейной модели найдем F-критерий • /?=5®д/^оввр=0,0312/0,0112^2,8. Табличное значение критерия Фишера для числа степеней свободы 1; 4 и 5% уровня значимости (табл. 9.4) равно 7,7. Гипотеза адекватности линейной модели может быть принята. Осталось проверить значимость ^-коэффициентов. Дисперсия оценки Ъ коэффициентов равна — s\ocnvjNn = 0,0014. Дисперсия воспроизводимости Snocnp, деленная на число параллельных опытов п, называется дисперсией среднего и обозначается s'\g). Отсюда имеем =s\g}/N = 0,0056/4 = 0,0014. Это* же результат получается из матрицы дисперсий-ковариаций (XTPXs{y})-1 или в нашем примере
"0,0014 0 0 " 0 0,0014 0 0 0 0,0014
Тогда S{io} =S{i!> =S{i2> = 0,0014. Если при проверке адекватности используется s2^}, то числитель F-критерия не нужно умножать на п, поскольку на это число уже поделен знаменатель. Для варианта с равномерным дублированием опытов на практике можно использовать следующую эквивалентную схему обработки результатов, учитывающую усреднение непосредственно. 1. Определим коэффициенты регрессии 2 y<xj> Ь = 1 N Матрица X в этом случае содержит только отличающиеся вектор- строки, а матрица Р=п Е. 2. Найдем дисперсию адекватности 2 - м2 о2 »Д N — (А-И) • 3. Оценим дисперсию среднего по строкам n 2 (»ч-у*)% 5? = • "1 га (га — 1) 4. Проверим гипотезу об однородности дисперсий и после ее принятия найдем общую дисперсию среднего S{'J> 5 Затем вычислим дисперсии оценок коэффициентов регрессии »{»,>=*{«/N- 6 Наконец, проверим гипотезу адекватности модели F = s*Js\,,}. Применим эту схему обработки результатов к нашему примеру. В табл. 10.5 повторены матрица планирования и средние значения откликов, а также приведены данные, необходимые при проверке адекватности модели. Коэффициенты регрессии Ь0 = 1,6125; Таблица 10.5 Матрица планирования и результаты опытов
(9 - уY • Ю'
Ъх = 0,5625, Ь2 = 0,4125. Дисперсия адекватности 4д = 156-Ю"4. Дисперсии среднего по строкам (табл. 10.4) з? = 0,01, sj = 0,01, 3з = 0, si — 0,0025. Критерий Кохрена £ = 0,44, гипотеза об однородности дисперсий принимается. Общая дисперсия среднего ч*гу}=0,0225/4=0,0056. Дисперсия оценок коэффициентов регрессии sfy =0,0056/4 = 0,0014. Проверка гипотезы адекватности модели F=0,0156/0,0056^2,8. Пример 2. Пусть реализован план с неравномерным дублированием онитов [10], в котором первый опыт дублирован дважды. Матрица X имеет вид +i -1 -Г +1 +1 -1 +1 -1 +1 +1 -И +1 12 Заказ Mi 588 Запишем решение системы нормальных уравнений с учетом весов
-1
Подчеркнем, что дублирование одного опыта нарушило ортогональность плана. Применение стандартных формул для подсчета коэффициентов регрессии, используемых в случае ортогональных планов, стало неправомерным. Найдем обратную матрицу (см. [1]) (ХгРХ)_1 = г Наконец, 2 (Уи+Уи) f У г + ^з "I" У*
—2 (у и + уlt) 2 —2 <г/11 Уи)
В результате имеем
У и +У2 + Уз +У* —Уи —У\1 +У2. —Уз +У4 —Уи —Уи —Уъ +Уз +У*
Заметим, что к тому же результату можно придти, используя обычные формулы для нахождения оценок коэффициентов регрессии. Для этого в рассматриваемом примере достаточно сравнить соответствующие матрицы
Уп У12 Уъ Уз —У<к — У11 +У12 +Уъ +Уз ~\~У4 У11 —У 12 +У2 — Уя ~\~У4 —Уи У12 — Положим, что в ходе экспериментирования производилось дублирование точек в соответствии с матрицей X и получены результаты, изображаемые вектором Y
'У и Уа
-+1 —1 —1 4_1 —I _i nt раз +1 +1 _1 +1 +1 —1 |ла раз
+1 +1 +1 +1 +1 +1 |п4 раз
4я< где п. — число параллельных (дублированных) опытов в i-x условиях i = 1, 2Общее число всех опытов будет равно n
»-1 Перейдем к более лаконичной форме записи условий и результатов эксперимента. Для этого введем матрицу весов Р. Это квадратная диагональная матрица с элементами pti=nt о п. л Эта матрица в совокупности с матрицей X, содержащей только неповторяющие строки, задает условия эксперимента. А--его ре- 12*
Для удобства обозначений условимся в случае равенства всех п{ писать га,—const=n, а номер единственного опыта, который дублируется, не нарушая общности, будем считать первым. В табл. 10.6 также указаны формулы для случая, когда дисперсия, характеризующая ошибку опыта, находится из незавйсимой серии опытов, результаты которой не используются при вычислении коэффициентов регрессии. Таким образом, неравномерность дублирования должна учитываться и при регрессионном и при дисперсионном анализе. На практике это делается не всегда. Приведенная таблица нуждается в комментариях. Начнем с пояснения содержащихся в ней формул. Для рассмотрения частных случаев, возможных при различных стратегиях дублирования, выразим соответствующие суммы квадратов с помощью обычной формы записи. Прежде всего запишем выражение для остаточной суммы квадратов n в, »=1 5=1 Разложим эту сумму на составляющие с помощью следующего преобразования: n я, =22 (ytt У{уt Уtf, «=1 5=1 где у{ — среднее значение отклика по опытам i-й серии и, я-1 Раскрывая выражение для S0CT, будем иметь =22 (У<д - Ю2+2 2 (у.- у<Г+ »-1 5=1 »=1 }=1 n я, + 2 2(?.-0.) 2 — •=1 5=1 Яi Сумма 2 (у,„ — У,), входящая в последнее слагаемое, равна нулю 5=1 «j «И 2 {y,q - У() = 2 Ущ - = 5=1 5=1 Поэтому n я, n =22 (y,q - у if+2 ni (у. - y.f »=1 5=1 дает разложение Sor.T на два слагаемых, первое из которых есть Sm , а второе — 5ад. С величиной S0CT связано число степеней свободы, равное n /ост == 2 --- Р> *=1 где р — число коэффициентов регрессии, входящих в регрессионную зависимость (в линейном случае p=A:-fl). Величина n щ "^воепр = 22 (Уin Si)[9] связана с числом степеней свободы n /вОспр = 2 kni ' )• Следовательно, дисперсия, характеризующая ошибку эксперимента, есть N я, ? 22 (f'j—у'У 2 _______ воспр 1=1 os=l sW=f---------- =-------- л-------------- • ' ВОСПР 2k-[10]) Тот же результат будет, если использовать выражения для частных дисперсий в каждой серии дублированных опытов. Действительно, для i-й серии параллельных опытов можно записать с 2(f<?—f)2 Она связана с числом степеней свободы /ЯД=7У—(&+1) или в общем случае /a,=-/V—р. Следовательно, дисперсия, связанная с неадекватностью уравнения регрессии, есть n „ 2 ге< (у* - s^2 г, _____ ад______ 1-1____________________ — /ад — N-(k + 1) ' Ото позволяет проверить гипотезу о том, что экспериментальные данные не противоречат полученному описанию. Проверка гипотезы производится с помощью дисперсионного отношения Фишера Таким образом, содержащиеся в таблице формулы являются частными случаями одного^ и того же разложения остаточной суммы квадратов S0LI. Зная процедуру разложения остаточной суммы квадратов, можно всякий раз получить нужную формулу. Однако на практике более удобно иметь эти формулы в готовом виде. Наиболее общий случай представляет собой неравномерное дублирование. Чтобы получить здесь значение F-критерия, нужно сумму квадратов, связанную с дисперсией воспроизводимости, разделить на соответствующее ей число степеней свободы и получить знаменатель F-критерия (если построчные дисперсии однородны по критерию Бартлета) А п; „2 ___ 1 = 1 9=1______ S{'j} — ------ А--------------- • i=i Затем надо взять сумму квадратов, связанную с дисперсией адекватности, поделить на соответствующее ей число степеней свободы и получить числитель n 2 Ui (yi — У*)2 Аналогично поступают во всех других случаях. Вариант равномерного дублирования уже неоднократно обсуждался. При дублировании в одной строке матрицы (в нашей таблице эта строка имеет индекс 1, хотя ясно, что выбор строк произволен) симметрия нарушается, это находит отражение в формулах. Если дела экспериментатора так плохи, что из-за экономии времени приходится ставить параллельные опыты только в одной точке, то часто лучше всего выбирать центр плана, ибо при этом не нарушается ортогональность. Последний из приведенных в таблице вариантов — дублирование в отдельной серии из L опытов, не входящих в план. Это означает, что параллельные опыты не ставятся, а информация об ошибке опыта черпается из какого-то независимого источника, например, из публикаций предшественников. Перейдем теперь к рассмотрению требований, которые обычно предъявляются к планам и называются критериями оптимальности. 10.6, Критерии оптимальности планов Построение плана эксперимента можно интерпретировать как выбор строк матрицы X, их числа и последовательности проведения. Этот выбор осуществляется разными способами и соответственно приводит к разным результатам. Это значит, что 6-коэф- фициенты могут быть оценены с разной точностью, что они будут иметь разные ковариации, что предсказанное значение отклика получится с разными дисперсиями и т. д. В зависимости от того, какие требования экспериментатор предъявляет к модели, он может придти к той или иной формулировке требований к матрице X. Формализация этих требований связана с критериями оптимальности. Критерии оптимальности удобно формулировать в терминах свойств матрицы М=ХГХ или матрицы М-1. Именно эти матрицы непосредственно связаны с оценками модели и функционально зависят от матрицы X. Так, например, при диагональной матрице М план оказывается ортогональным, т. е. все столбцы матрицы X взаимноортогональны и коэффициенты модели независимы: cov {bv 0. Таким образом, мы пришли к критерию, который уже был рассмотрен в шестой главе и который является одним из самых существенных для планов, обсуждаемых в нашей книге. Он относится к группе критериев, связанных с оценками свойств коэффициентов. Кроме этой группы критериев будем различать критерии, определяющие предсказательные свойства модели, и критерии, сформулированные без использования матрицы М, такие, как композиционность, возможность разбиения плана на ортогональные блоки, насыщенность и т. д. [11,12]. Начнем рассмотрение с критериев первой группы. В их основе лежит концепция совместных эффективных оценок, которая берет свое начало с работ Р. Фишера, рассматривавшего проблему получения наилучших оценок при обработке экспериментальных данных. Американский математик Дж. Кифер распространил такое требование на задачи построения планов. Различные критерии зтой группы приведены в табл. 10.7. В таблице каждый критерий определяется тремя различными, но эквивалентными способами. Таблица начинается с критерия D-оптимальности, Я I 1 О л а в<4 ; н о о ф VO Я S Ц* S s S и й « И о S ф о ян л 2 в о „ Я з я я j) Ч к а Я ф о 5 tr ее я 2 - aj
О а
р я § я S S о ° Я м
о з « Я я я к ф m w О я о о s 2 ~ "
^>>2 я g, S о Ч а я S ° я я £L° S В о я № 23 к ч И
М дч S о « о ® о- я § я
«а* в ^ ее ф я а о 5 в s я И в ч s Q, Ч ее в «ля м О
я О СО я я S _ >>о Я Я в в mS.e Я Я к о, Я я Н
Фио
я Я Я о о ф я я £ о Я Я я ее к >в< га о о Я я л а я я я ш я
н ф М Я S о с названием которого часто связывается вся концепция оптимального построения планов. Смысл его — минимизация дисперсии всех коэффициентов регрессии, рассматриваемых как нечто единое, как вектор. Дисперсию вектора коэффициентов принято называть обобщенной дисперсией, которая задается известной нам функцией от матрицы дисперсий-ковариаций — определителем. Чем меньше определитель, тем меньше обобщенная дисперсия. Как всегда в математике наряду с алгебраическим представлением можно использовать и геометрическое. Однако в этом случае вместо уже знакомого нам факторного пространства приходится вводить пространство параметров, в котором координатные оси задаются значениями коэффициентов регрессии Между размерностями факторного пространства и пространства параметров не существует однозначной связи. В случае одного фактора и линейного уравнения регрессии пространство параметров будет двумерным (так как в уравнение входит два коэффициента Ъ0 и bj). Но можно представить себе вариант перехода в одномерное пространство, если, например, незначим один ил коэффициентов, или в трехмерное пространство, когда от уравнения прямой приходится переходить к параболе. Аналогичное рассуждение имеет место и для большего числа факторов. Если число факторов и вид уравнения заданы, тогда размер ность пространства параметров определяется однозначно. Так, для линейного уравнения с к факторами пространство параметров имеет размерность к-\-1. Каждой точке в таком пространстве соответствует вектор оценок коэффициентов, а определитель матрицы дисперсий-ковариаций пропорционален объему эллипсоида рассеяния оценок параметров. Причем центр эллипсоида совмещен с МНК оценкой. Эллипсоид является многомерным аналогом обычного доверительного интервала. Для одномерного пространства параметров он вырождается в отрезок, который и есть доверительный интервал. На плоскости (когда имеется два параметра) получится эллипс. Эллиптическая форма доверительного интервала связана с предпосылкой регрессионного анализа о нормальном распределении. Геометрическая интерпретация в пространстве параметров характерна для критериев этой группы. Для критерия ^-оптимальности матрица X выбирается так, чтобы достигнуть минимума суммы квадратов длин главных осей эллипсоида рассеяния. Алгебраически это соответствует минимуму еще одной функции матрицы дисперсии-ковариации. которая называется следом и обозначается tr М-1 (от trace фр.) или spM-1 (от Spur нем.). Следом квадратной матрицы называется сумма ее диагональных элементов. Вспомним, что на диагонали матрицы М-1 находятся дисперсии Ь-коэффициентов. Значит ^4-оптимальность обеспечивает минимум суммы дисперсий Ъ-коэффициентов без учета их ковариаций и, следовательно, минимум средней дисперсии. Кроме таких функций от матрицы М-1 как определитель и след для критериев оптимальности можно использовать и другие ее функции. Примером может служить критерий ^-оптимальности, минимизирующий максимальное собственное значение этой матрицы. Собственное значение принадлежит к характеристикам структуры матрицы. Этому вопросу посвящена обширная литература, к которой мы и отсылаем читателя [13, 14]. Всегда существует опасность, что эллипсоид рассеяния может получить слишком вытянутую, бананоподобную форму. При этом некоторые Ь-коэф- фициенты попадут в неблагоприятные условия. Критерий ^-оптимальность позволяет уменьшить эту опасность, поскольку он минимизирует самую длинную ось эллипсоида рассеяния. Подобным образом можно интерпретировать и остальные критерии, приведенные в табл. 10.7, что предоставляется читателю в качестве самостоятельного упражнения. Перейдем к рассмотрению критериев второй группы. Описание этих критериев проводится не на языке пространства параметров, а в более привычных терминах факторного пространства и функции отклика (см. табл. 10.8). G- и (^-критерии связаны Таблица 10.8
Критерии оптимальности планов для предсказательных свойств модели Интерпретация Критерий алгебраическая
(^-оптимальность Р отатабельность Униформность N min ^ XfM-iX, i=l XfM-iX, = /(p)
XjM-iX, % const при 0 < p < 1 Минимум максимального значения дисперсии оценки поверхности отклика Минимум средней дисперсии оценки поверхности отклика Постоянство дисперсии предсказания на равных расстояниях от центра эксперимента Дисперсия предсказания постоянна в некоторой области вокруг центра эксперимента (например, с единичным радиусом)
с дисперсией предсказания значений отклика. (^-критерий минимизирует максимальную дисперсию предсказания, (^-критерий — среднюю дисперсию. Если план G-оптимален, то экспериментатор имеет гарантию, что в области планирования не окажется точек, в которых точность оценки поверхности отклика будет слишком низкая. Критерии ротатабеяьности и униформности связаны с требо-. ванием постоянства дисперсии предсказания на некоторых фиксированных расстояниях от центра эксперимента. Ротатабель- ность плана означает, что оценки дисперсии предсказания инвариантны (независимы) относительно вращения координатных осей факторного пространства. Иными словами, дисперсия предсказания не будет зависеть от того, в каком направлении осуществляется движение из начала координат, а зависит только от расстояния между интересующей нас точкой и началом. Уни- формность в дополнение к этому требует, чтобы в некоторой окрестности начала координат, обычно внутри сферы единичного радиуса,, дисперсия предсказания оставалась приблизительно постоянной. Кроме этих двух групп критериев, при упоминании которых мы не претендовали на полноту перечисления, существует еще большое число требований, принимаемых во внимание. Укажем некоторые из них. Наиболее естественное желание экспериментатора — уменьшение числа опытов. Минимальное число опытов задается числом коэффициентов модели, а приближение к нему служит мерой насыщенности плана. Таким образов, насыщенность плана оказывается одним из возможных критериев оптимальности. Именно стремление удовлетворить этому критерию привело к созданию дробных реплик. Заметим, что дробные реплики одновременно удовлетворяют по крайней мере двум критериям: они ортогональны и насыщены. Большое значение имеет требование композиционности, позволяющее разделить эксперимент на части и в случае необходимости последовательно реализовывать одну часть за другой без потери информации. Примером может служить переход от х/4-реплики к полуреплике, а затем к полному факторному эксперименту, если система смешивания оказалась сложной и не позволила выделить интересующие эффекты. Это соответствует последовательному переходу от простой линейной модели к модели с взаимодействиями. То же самое возможно и при переходе от линейных моделей к модели второго порядка и т. д. Близким к требованию композиционности является требование разбиения плана на ортогональные &локи. Композиционность требуется из-за того, что мы не знаем заранее, какой окажется адекватная модель, а разбивать на блоки приходится из-за того, что возможно изменение внешних условий и важно защититься от их влияния. С примерами разбиения на блоки вы могли ознакомиться в гл. 8. Список возможных критериев отнюдь не исчерпывается описанным [11]. Но даже если ограничиться перечисленным, то естественно может возникнуть вопрос, зачем нужны простому экспериментатору D-, G- япрочие оптимальности? Мы уже говорили выше о таких свойствах полного факторного эксперимента и дробных реплик, как ортогональность и рота- табельноеть. Ортогональность обеспечивает независимость оценок ^-коэффициентов, что очень существенно при интерпретации силы влияния факторов и их взаимодействий, а также, как мы увидим далее, для оценки направления градиента при движении к оптимуму. Поскольку заранее трудно предполагать, в какую сторону будет направлен градиент, то полезно стремиться и к ро- татабельности, обеспечивающей одинаковую точность предсказания в разных направлениях. Рассмотрим 2)-оНтимальность. Этот критерий связан с оценкой уравнения регрессии в целом и смысл его становится более понятным, когда речь идет об интерполяционных (описательных) задачах. Здесь уже экспериментатор не стремится изучать влияние каждого фактора в отдельности. Для него важно получить минимальную обобщенную дисперсию коэффициентов, что обеспечивает достаточные предсказательные свойства модели внутри области эксперимента. Такие же свойства обеспечиваются и G-критерием. Это происходит не случайно, так как D- и G-критерии во многих случаях эквивалентны [12]. Критерии первой группы отличаются от /^-критерия тем, что используют иные свойства вектора оценок коэффициентов регрессии, отличные от обобщенной дисперсии. Могут встретиться постановки задач, требующие < |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Последнее изменение этой страницы: 2016-07-23 lectmania.ru. Все права принадлежат авторам данных материалов. В случае нарушения авторского права напишите нам сюда... |