2.2. метод наименьших квадратов (мнк). свойства оценок на основе мнк

2.2. метод наименьших квадратов (мнк). свойства оценок на основе мнк

Возможны разные виды уравнений множественной регрессии: линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии

,*ч

ух = a + b x1 + b2 x2 +... + bmxm параметры при x называются

коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим линейную модель множественной регрессии

у = a + ^1 + b2 x2 +... + bmxm + e. (2.1)

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного

признака у от расчетных у минимальна:

® min.

(2.2)

Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.

Итак. Имеем функцию m +1 аргумента:

S ( ^ ^ b2, bm )= Z ( ya b x1 b2 x2 ... bmxm )2 .

-2Z(ya bx1 b2x2 ... bmxm ) = 0 : -2Z x1 ( y a b x1 b2 x2 ... bmxm ) = 0;

Находим частные производные первого порядка:

da dS_

db

Г dS

dS_

-2Z xm (ya b x1 b2x2 ... bmxm ) = 0.

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии (2.1):

a + b1 Z x1 + b2 Z x2 + ... + bm Z xm = Z У, a Z x1 + b Z x2 + b2 Z x1 x2 + ... + bm Z x1 xm = Z ^

(2.3)

a Z xm + b1 Z x1 xm + b2 Z x2 xm + ... + bm Z = Z .

Для двухфакторной модели данная система будет иметь вид:

aZ x1+b Zx2 + b2 Z x1 x2=Z УX1,

[aZ x2 + b Z x1 x2 + b2 Z x2 = Z yx2.

Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе:

ty = frtXi + P2tX2 +... + PmtXm + є, (2.4)

y y

где ty, t, tx стандартизированные переменные: ty

x1 X, - л

tx = , для которых среднее значение равно нулю: ty = tx = 0, а

среднее квадратическое отклонение равно единице: St = St = 1; bi  

стандартизированные коэффициенты регрессии.

Стандартизованные коэффициенты регрессии показывают, на сколько единиц изменится в среднем результат, если соответствующий фактор xi изменится на одну единицу при неизменном среднем уровне

других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты

регрессии bi можно сравнивать между собой. Сравнивая их друг с

другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида

ГУХ2 = Д ^ + А + faxx + ... + Pm^xm ,

г = Plr + р2 г + P3rx3x +... + Pm,

yxm ' 1 xlxm ' 2 x2xm ' 3 x3xm ' m

где r и rxx коэффициенты парной и межфакторной корреляции.

j 1 1 j

Коэффициенты «чистой» регрессии bj связаны со

стандартизованными коэффициентами регрессии Д следующим

образом:

b = bS. (2.6)

Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (2.4) к уравнению регрессии в натуральном масштабе переменных (2.1), при этом параметр a определяется как

a = У Ь X1 Ь2 X2 ... bmXm .

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов из модели исключаются факторы с наименьшим значением Д.

На основе линейного уравнения множественной регрессии

У = a + biXi + b2 Х2 +... + bmxm + e (2.7) могут быть найдены частные уравнения регрессии:

УXiX2,X3,...,Xm = f ( X1 ) ,

У = f ( X2 ) ,

J X2X1,X3,...,Xm 2 / J (2 8)

УXm X1 ,X2 ,. ..,Xm-1 f ( Xm ) ,

т. е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором X при закреплении остальных факторов на

среднем уровне. В развернутом виде систему (2.8) можно переписать в виде:

[ JW3,..,Xm = a + b X1 + b2 X2 + b X3 + ... + bmXm + Є yX2 • X1,X3,...,Xm = a + b X1 + b X2 + b X3 + ... + bmXm + Є

lyXm • X1,X2,...,Xm-1 = a + b X1 + b2 X2 + b3 X3 + ... + bmXm + £.

48

При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем

Уx1x2,x3,...,xm = A + b x1,>

x2'x1,x3,...,xm

(2.9)

, Y = A + b x ,

l^xm ■ x1,x2,...,xm-1 m m m'

где

A = a + b2 x2 + Ь3 x3 + ... + bmxm A2 = З + b x1 + b3 x3 + ... + bmxm

Am = 3 + b x1 + b2 x2 + b3 x3 + ... + bm-1 xm-1.

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне. Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

x

(2.10)

xi ' x1 ,x2 ,... xi-1 ,xi+1,... ,xm

где b - коэффициент регрессии для фактора x в уравнении

множественной регрессии, yx

xi • x1,x2,... xi-1 ,xi+1,...,xm

регрессии.

Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:

Э = b

x

(2.11)

которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1\%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

Рассмотрим пример4 (для сокращения объема вычислений ограничимся только десятью наблюдениями). Пусть имеются следующие данные (условные) о сменной добыче угля на одного рабочего y (т),

мощности пласта x1 (м) и уровне механизации работ x2 (\%), характеризующие процесс добычи угля в 10 шахтах.

Предполагая, что между переменными y , x1, x2 существует линейная корреляционная зависимость, найдем уравнение регрессии y

по x1 и x2.

Для удобства дальнейших вычислений составляем таблицу

Для нахождения параметров уравнения регрессии в данном случае необходимо решить следующую систему нормальных уравнений:

10a + 94b + 63b2 = 68, <94a + 908b} + 603b2 = 664, 63a + 603b} + 417b2 = 445.

Откуда получаем, что a = —3,54, b1 = 0,854, b2 = 0,367. Т.е. получили следующее уравнение множественной регрессии:

}x = —3,54 + 0,854 • x + 0,367 • x2. Оно показывает, что при увеличении только мощности пласта x1 (при неизменном x2 ) на 1 м добыча угля на одного рабочего у увеличится в среднем на 0,854 т, а при увеличении только уровня механизации работ x2 (при неизменном x1) на 1\% в среднем на 0,367 т.

Найдем уравнение множественной регрессии в стандартизованном масштабе:

при этом стандартизованные коэффициенты регрессии будут

b = b — = 0,854 •156 = 0,728, Оу 1,83

о 142

b2 = b2^ = 0,367 = 0,285. 2 оу 1,83

Т. е. уравнение будет выглядеть следующим образом: Гу = 0,728• tx + 0,285• tx .

51

Так как стандартизованные коэффициенты регрессии можно сравнивать между собой, то можно сказать, что мощность пласта оказывает большее влияние на сменную добычу угля, чем уровень механизации работ.

Сравнивать влияние факторов на результат можно также при помощи средних коэффициентов эластичности (2.11):

x

у,

Вычисляем:

9 4 - 6 3

Э1 = 0,854 ■ — = 1,18, Э2 = 0,367 • — = 0,34.

Т.е. увеличение только мощности пласта (от своего среднего значения) или только уровня механизации работ на 1\% увеличивает в среднем сменную добычу угля на 1,18\% или 0,34\% соответственно. Таким образом, подтверждается большее влияние на результат у

фактора x1, чем фактора x2.