4.2. оценка параметров классической регрессионной модели методом наименьших квадратов

4.2. оценка параметров классической регрессионной модели методом наименьших квадратов

Для оценки вектора неизвестных параметров р применим метод наименьших квадратов. Так как произведение транспонированной матрицы е' на саму матрицу е

е,е = (е1 е2...еп)

*2

е2

ef +ЄЇ+.

i=

enJ

Знаком «'» обозначается операция транспонирования матриц.

83

то условие минимизации остаточной суммы квадратов запишется в виде:

S = £(ух, ~Уі)2 = £е? = e'e = (Y-Xb)Y-Xb)^mm. (4.3)

/=] /=1

Учитывая, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. (Xby^b'X; после раскрытия скобок получим:

S = Y'Y b'XY -Y'Xb + b'X'Xb.

Произведение Y'Xb есть матрица размера (1хп)[пх(р+1)]х х[(/И-1)х1]=(1х1), т.е. величина скалярная, следовательно, оно не меняется при транспонировании, т.е. Y'Xb = (Y'Xb)' = b'X Y. Поэтому условие минимизации (4.3) примет вид:

S = YY Ib'XY + b'X'Xb -> min.

(4.4)

( dS dS dS Л

На основании необходимого условия экстремума функции нескольких переменных S(bo, b9...9 bp), представляющей (4.3), необходимо приравнять нулю частные производные по этим переменным или в матричной форме — вектор частных производных

dS

db

дЬг) dh db„

Для вектора частных производных доказаны следующие формулы1 (§ 11.10):

—ф'с) = с, —(Ъ'АЪ) = 2АЬ9 дЪ } db

1 Справедливость приведенных формул проиллюстрируем на примере

где b и с — вектор-столбцы; А — симметрическая матрица, в которой элементы, расположенные симметрично относительно главной диагонали, равны.

Ь'АЬ = ффг)

v4y

Так как Ь'с = (b2)

3 5

= 2Щ +6ЪхЪ2+ ЪЪ, то — (Ь'с) = —(ЪЪх+ 4Ь2) = дЪ дЪ

Поэтому, полагая с= X'Y, а матрицу А = Х'Х (она является симметрической — см. (4.6)), найдем

as

= -2XY"+2X'Xb = 0,

db

откуда получаем систему нормальных уравнении в матричной форме для определения вектора Ь:

X'Xb = XY.

(4.5)

Найдем матрицы, входящие в это уравнение1. Матрица Х'Х представляет матрицу сумм первых степеней, квадратов и попарных произведений п наблюдений объясняющих переменных:

XX =

f 1 1

х\ х2 Хр Х2р

S

п

Z*«

Z*«

1

хп хпр J

( хп

1

1 х21

1

х„1 ...

z*.p

^4ХІХІр

Хр^

Х2р Хпр J

(4.6)

Ztf

w J

к Л Xip Z XiXip

f 1

х\

Матрица X' Y есть вектор произведений п наблюдений объясняющих и зависимой переменных:

(4.7)

1 ... 1

х2 ••• Хп

Хр Х2р

XY =

п

Здесь под знаком Z подразумевается .

/=1

В частном случае из рассматриваемого матричного уравнения (4.5) с учетом (4.6) и (4.7) для одной объясняющей переменной (р=1) нетрудно получить уже рассмотренную выше

систему нормальных уравнений (3.5). Действительно, в этом случае матричное уравнение (4.5) принимает вид:

п !><•

.1*' I*/2.

откуда непосредственно следует система нормальных уравнений (3.5).

Для решения матричного уравнения (4.5) относительно вектора оценок параметров b необходимо ввести еще одну предпосылку 6 (см. с. 61) для множественного регрессионного анализа: матрица X' X является неособенной, т. е. ее определитель не равен нулю. Следовательно, ранг матрицы Х'Х равен ее порядку, т.е. г(Х'Х)=р+. Из матричной алгебры известно (см. § 11.4), что г(Х' Х)—г(Х), значит, г(Х)=р+1, т. е. ранг матрицы плана X равен числу ее столбцов. Это позволяет сформулировать предпосылку 6 множественного регрессионного анализа в следующем виде:

6. Векторы значений объясняющих переменных, или столбцы матрицы плана X, должны быть линейно независимыми, т. е. ранг матрицы X — максимальный (г (Х)=р+1).

Кроме того, полагают, что число имеющихся наблюдений (значений) каждой из объясняющих и зависимой переменных превосходит ранг матрицы X, т. е. n>r (X) или п>р+1, ибо в противном случае в принципе невозможно получение сколько-нибудь надежных статистических выводов.

Ниже, в § 4.3, рассматривается ковариационная матрица вектора возмущений ]Г є , являющаяся многомерным аналогом дисперсии одной переменной. Поэтому в новых терминах1 приведенные ранее (с. 61, 82 и здесь) предпосылки для множественного регрессионного анализа могут быть записаны следующим образом 2:

В модели (4.2) є — случайный вектор, X — неслучайная (детерминированная) матрица.

АГ(є)=Оя.

1 В случае одной объясняющей переменной отпадает необходимость в записи под символом х второго индекса, указывающего номер переменной.

2 При первом чтении этот материал может быть опущен. Еп — единичная матрица п-то порядка; 0„ — нулевой вектор размера п.

3,4. £є=М(сє')=а2£„.

5. є — нормально распределенный случайный вектор, т.е.

s~Nn{0;a2En).

6. r(X) = p+Kn.

Как уже отмечено в § 4.1, модель (4.2), удовлетворяющая приведенным предпосылкам 7—6, называется классической нормальной линейной моделью множественной регрессии; если же среди приведенных не выполняется лишь предпосылка 5 о нормальном законе распределения вектора возмущений є, то модель (4.2) называется просто классической линейной моделью множественной регрессии.

Решением уравнения (4.5) является вектор

b = (X'X)~lXY, (4,8)

где (Х'Х)~Х — матрица, обратная матрице коэффициентов системы (4.5), X'Y — матрица-столбец, или вектор, ее свободных членов.

Теорема Гаусса—Маркова, рассмотренная выше для парной регрессионной модели, оказывается верной и в общем виде для модели (4.2) множественной регрессии:

При выполнении предпосылок1 множественного регрессионного анализа оценка метода наименьших квадратов b = (Х'Х)~Х X'Y является наиболее эффективной, т. е. обладает наименьшей дисперсией в классе линейных несмещенных оценок (Best Linear Unbiased Estimator, или BLUE)2.

Зная вектор 6, выборочное уравнение множественной регрессии представим в виде:

У = Х'0Ь, (4.9)

где у — групповая (условная) средняя переменной Упри заданном векторе значений объясняющей переменной

Х'0=(1 х10 х20 ••• хр0).

1 Не включая предпосылку 5 — требование нормальности закона распределения вектора возмущений є, которая в теореме Гаусса—Маркова не требуется.

2 Доказательство теоремы приведено в § 4.4.

3 В этом примере использованы данные примера 3.1 с добавлением результатов наблюдений над новой объясняющей переменной Х2, при этом старую переменную Хиз примера 3.1 обозначаем теперь Х.

► Пример 4.1. Имеются следующие данные3 (условные) о сменной добыче угля на одного рабочего Y (т), мощности пласта

Х (м) и уровне механизации работ Xi(\%), характеризующие процесс добычи угля в 10 шахтах.

Предполагая, что между переменными Y, Х и Хі существует линейная корреляционная зависимость, найти ее аналитическое выражение (уравнение регрессии Г по Х и Х^).

Решение. Обозначим

(напоминаем, что в матрицу плана X вводится дополнительный столбец чисел, состоящий из единиц).

Для удобства вычислений составляем вспомогательную таблицу.

Теперь

ґ10 94 63 Ї 94 908 603 ч63 603 417,

(см. суммы в итоговой строке табл. 4.2);

'5^

10

X'Y =

12

v8y

1 1 8 11 5 8

( 6\%Л 664 445

1

Матрицу А Х—{Х'Х) 1 определим по формуле А~]=т—гА,

А

где А — определитель матрицы XX; А присоединенная к матрице Х'Х. Получим

матрица,

(рекомендуем читателю убедиться в этом самостоятельно).

Теперь в соответствии с (4.8) умножая эту матрицу на вектор

' 68^

ХУ =

664 445

получим Ъ

С учетом (4.9) уравнение множественной регрессии имеет вид: у =—3,54+0,854xi+0,367x2. Оно показывает, что при увеличении только мощности пласта Х (при неизменном Xj) на 1 м добыча угля на одного рабочего Y увеличивается в среднем на 0,854 т, а при увеличении только уровня механизации работ Х2 (при неизменной Х) — в среднем на 0,367 т.

Добавление в регрессионную модель новой объясняющей переменной Х2 изменило коэффициент регрессии Ь (ГПО Х) с 1,016 для парной регрессии (см. пример 3.1) до 0,854 — для множественной регрессии. В этом никакого противоречия нет, так как во втором случае коэффициент регрессии позволяет оценить прирост зависимой переменной Y при изменении на единицу объясняющей переменной Х в чистом виде, независимо от Xj. В случае парной регрессии Ь учитывает воздействие на Y не только переменной Х, но и косвенно корреляционно связанной с ней переменной Xi^

На практике часто бывает необходимо сравнение влияния на зависимую переменную различных объясняющих переменных, когда последние выражаются разными единицами измерения. В этом случае используют стандартизованные коэффициенты регрессии bj и коэффициенты эластичности Ej (j = 1,2,..., р):

bj=bj^; (4.10) sy

EJ=bJJ(4-И)

Стандартизованный коэффициент регрессии b) показывает, на сколько величин sy изменится в среднем зависимая переменная Y при увеличении только у-й объясняющей переменной на sXj , а

коэффициент эластичности Ej — на сколько процентов (от средней) изменится в среднем Yпри увеличении только Xj на 1\%.

► Пример 4.2.

По данным примера 4.1 сравнить раздельное влияние на сменную добычу угля двух факторов — мощности пласта и уровня механизации работ.

Решение. Для сравнения влияния каждой из объясняющих переменных по формуле (4.10) вычислим стандартизованные коэффициенты регрессии:

Ъ[ = 0,8539 • — = 0,728; Ъ'2 = 0,3670 • ^ = 0,285, 1,83 1,83

а по формуле (4.11) — коэффициенты эластичности:

Ех = 0,8539 • — = 1,180; Е2 = 0,3670 • — = 0,340. 6,8 6,8

(Здесь мы опустили расчет необходимых характеристик переменных:

хх = 9,4; х2 = 6,3; у = 6,8; sXl = 1,56; sX2 = 1,42; sy = 1,83.)

Таким образом, увеличение мощности пласта и уровня механизации работ только на одно sXl или на одно sX2

увеличивает в среднем сменную добычу угля на одного рабочего соответственно на 0,728^ или на 0,285^, а увеличение этих переменных на 1\% (от своих средних значений) приводит в среднем к росту добычи угля соответственно на 1,18\% и 0,34\%. Итак, по обоим показателям на сменную добычу угля большее влияние оказывает фактор «мощность пласта» по сравнению с фактором «уровень механизации работ». ►

Преобразуем вектор оценок (4.8) с учетом (4.2):

ъ = (х'ху] хх$ + є) = (хзг)-1 (лгаг)Р + (Х'Х)-Х Х'г =

= Е$ + (Х'Х)~хХ'г,

или

Ь = Р + (ХХ)-1Х'г, (4.12)

т.е. оценки параметров (4.8), найденные по выборке, будут содержать случайные ошибки.

Так как математическое ожидание оценки Ъ равно оцениваемому параметру р, т. е.

М(Ь) = М[Р + (XX У1 Х'г = М(Р) + (Х'Х)~Х Х'М(е) = Р,

ибо в силу (3.23) М(г)=0, то, очевидно, что вектор b есть несмещенная оценка параметра р.