1.1. линейная модель парной регрессии и корреляции
1.1. линейная модель парной регрессии и корреляции
Рассмотрим простейшую модель парной регрессии линейную регрессию. Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.
Линейная регрессия сводится к нахождению уравнения вида
✓ч
yx = a + b • x или y = a + b • x+e. (1.1)
✓ч
Уравнение вида yx = a + b • x позволяет по заданным значениям
фактора x находить теоретические значения результативного признака, подставляя в него фактические значения фактора x.
Построение линейной регрессии сводится к оценке ее параметров -а и b. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров а и b, при которых сумма квадратов отклонений фактических значений результативного признака
y от теоретических yx минимальна:
I(y-hf =IX ® min. (1.2)
i=1 i=1
 |
Рис. 1.2. Линия регрессии с минимальной дисперсией остатков.
Как известно из курса математического анализа, чтобы найти минимум функции (1.2), надо вычислить частные производные по
каждому из параметров а и b и приравнять их к нулю. Обозначим
i
через S(а, b), тогда:
S (а, b ) = I (y а b ■ x)2.
Г as
Эа
as
ЭЬ
-2Х (7а Ь • x) = 0; -2Х x(7а Ь • x) = 0.
(1.3)
После несложных преобразований, получим следующую систему линейных уравнений для оценки параметров а и Ь:
(1.4)
а • n + Ь • Z x= Z 7;
а ■ Z x +Ь Z x'=Z x ^7
Решая систему уравнений (1.4), найдем искомые оценки параметров а и Ь. Можно воспользоваться следующими готовыми формулами, которые следуют непосредственно из решения системы (1.4):
Ь
(1.5)
cov (x, 7)
а = 7 Ь • x
где
cov ( x 7)= 7 ■ x 7 ■ x
ковариация признаков x и 7
2 2 —2 <7x = x x дисперсия признака x и
1
1
1
1
n n n n
3 Более подробно смотри Приложение A.
Ковариация числовая характеристика совместного распределения двух случайных величин, равная математическому ожиданию произведения отклонений этих случайных величин от их математических ожиданий. Дисперсия характеристика случайной величины, определяемая как математическое ожидание квадрата отклонения случайной величины от ее математического ожидания. Математическое ожидание сумма произведений значений случайной величины на соответствующие вероятности3.
Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.
Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследованиях.
Формально a значение y при x = 0. Если признак-фактор x не может иметь нулевого значения, то вышеуказанная трактовка свободного члена a не имеет смысла, т.е. параметр a может не иметь экономического содержания.
Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции rxy, который
можно рассчитать по следующим формулам:
г = b-^ = . (1.6)
s s s
y x y
Линейный коэффициент корреляции находится в пределах: —1 £ г £ 1. Чем ближе абсолютное значение г к единице, тем сильнее
xy xy
линейная связь между факторами (при rxy = ±1 имеем строгую
функциональную зависимость). Но следует иметь в виду, что близость абсолютной величины линейного коэффициента корреляции к нулю еще не означает отсутствия связи между признаками. При другой (нелинейной) спецификации модели связь между признаками может оказаться достаточно тесной.
Для оценки качества подбора линейной функции рассчитывается
квадрат линейного коэффициента корреляции i^y, называемый
коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака у, объясняемую регрессией, в общей дисперсии результативного признака:
ху а2 а2 ' 1 ' 7
у у
^ = _ X ( У" У) , Гфакт = ~ X ( Ух У) , Го2ст = X ( У" Ух ) ■
П П V > П V У
Соответственно величина 1 — гУ характеризует долю дисперсии у,
вызванную влиянием остальных, не учтенных в модели, факторов.
После того как найдено уравнение линейной регрессии, проводится оценка значимости как уравнения в целом, так и отдельных его параметров.
Проверить значимость уравнения регрессии значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных /одной или нескольких) для описания зависимой переменной.
л=-X
П
Чтобы иметь общее суждение о качестве модели из относительных отклонений по каждому наблюдению, определяют среднюю ошибку аппроксимации:
•100\%. (1.8)
1
Zl^
у
Средняя ошибка аппроксимации не должна превышать 8-10\%.
Оценка значимости уравнения регрессии в целом производится на основе F-критерия Фишера, которому предшествует дисперсионный анализ. В математической статистике дисперсионный анализ рассматривается как самостоятельный инструмент статистического анализа. В эконометрике он применяется как вспомогательное средство для изучения качества регрессионной модели.
Согласно основной идее дисперсионного анализа, общая сумма квадратов отклонений переменной y от среднего значения y
раскладывается на две части «объясненную» и «необъясненную»:
X (y— у)2_X (yx — y) + X (y— yx) ,
где X (y — y)2 общая сумма квадратов отклонений; X (yx — y) сумма квадратов отклонений, объясненная регрессией (или факторная
сумма квадратов отклонений); X (y — yx) - остаточная сумма
квадратов отклонений, характеризующая влияние неучтенных в модели факторов.
Схема дисперсионного анализа имеет вид, представленный в таблице 1.1 (n число наблюдений, m число параметров при переменной x ).
Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину F-критерия Фишера: s2
F = . (1.9)
s2
ост
Фактическое значение F-критерия Фишера (1.9) сравнивается с табличным значением F^&i (a; k1; k2) при уровне значимости a и
степенях свободы k = т и k2 = n m -1. При этом, если фактическое значение F-критерия больше табличного, то признается статистическая значимость уравнения в целом.
Для парной линейной регрессии m = 1, поэтому
F = \% = Z(7 7)2 •(n2). (1.10) ост Z ( 7 7x )
Величина F-критерия связана с коэффициентом детерминации 1^, и ее можно рассчитать по следующей формуле:
F = -^x7T (n-2). (1.11)
В парной линейной регрессии оценивается значимость не только уравнения в целом, но и отдельных его параметров. С этой целью по каждому из параметров определяется его стандартная ошибка: тЬ и та.
Стандартная ошибка коэффициента регрессии определяется по формуле:
S2 S
Z (x x )2 Ox -4~n
ост - ост (1.12)
s2 Z (7 7 )2
где Sост = остаточная дисперсия на одну степень
n-2
свободы.
Величина стандартной ошибки совместно с t-распределением
Стьюдента при n 2 степенях свободы применяется для проверки существенности коэффициента регрессии и для расчета его доверительного интервала.
Для оценки существенности коэффициента регрессии его величина сравнивается с его стандартной ошибкой, т.е. определяется фактическое
b
значение t-критерия Стьюдента: tb = — которое затем сравнивается с
табличным значением при определенном уровне значимости О и числе степеней свободы (n — 2). Доверительный интервал для коэффициента
регрессии определяется как b ± ^абл mb. Поскольку знак коэффициента регрессии указывает на рост результативного признака y при
увеличении признака-фактора x (b > 0), уменьшение результативного признака при увеличении признака-фактора (b < 0) или его независимость от независимой переменной (b = 0) (см. рис. 1.3), то границы доверительного интервала для коэффициента регрессии не должны содержать противоречивых результатов, например, —1,5 £ b £ 0,8. Такого рода запись указывает, что истинное значение коэффициента регрессии одновременно содержит положительные и отрицательные величины и даже ноль, чего не может быть.
Стандартная ошибка параметра a определяется по формуле:
^ост ' _ч2 _ ^ост ' . (1.13)
Процедура оценивания существенности данного параметра не отличается от рассмотренной выше для коэффициента регрессии.
a
Вычисляется t-критерий: ta _ , его величина сравнивается с
табличным значением при n — 2 степенях свободы.
Значимость линейного коэффициента корреляции проверяется на основе величины ошибки коэффициента корреляции m :
1 — г2
тг _Л 2 . (1.14)
n — 2
Фактическое значение t-критерия Стьюдента определяется как г
Существует связь между t-критерием Стьюдента и F-критерием Фишера:
tb = К| . (1.15)
В прогнозных расчетах по уравнению регрессии определяется предсказываемое индивидуальное значение у0 как точечный прогноз при
x = x0, т.е. путем подстановки в линейное уравнение €x = а + b ■ x
соответствующего значения x. Однако точечный прогноз явно нереален, поэтому он дополняется расчетом стандартной ошибки
Щ =
Уо
2
ост
2
л 1 (Xp x)
1 + — + ^J-
n £( xx)
2
1
2
ост
2
і 1 (xp x)
V J
(1.16)
где S2
Z (y yx )2
n 2
и п стр ением д верительн г интервала
пр гн зн г значения о :
yx табл
y0 my0 ' tтабл £ y0£ yx + тУx ■ t
Рассмотрим пример. По данным проведенного опроса восьми групп семей известны данные связи расходов населения на продукты питания с уровнем доходов семьи.
Таблица 1.2
| Расходы на продукты питания, у , тыс. руб. | 0,9 | 1,2 | 1,8 | 2,2 | 2,6 | 2,9 | 3,3 | 3,8 |
| Доходы семьи, x, тыс. руб. | 1,2 | 3,1 | 5,3 | 7,4 | 9,6 | 11,8 | 14,5 | 18,7 |
Предположим, что связь между доходами семьи и расходами на продукты питания линейная. Для подтверждения нашего предположения построим поле корреляции.
 |
Для удобства дальнейших вычислений составим таблицу.
Рассчитаем параметры линейного уравнения парной регрессии a + b ■ х. Для этого воспользуемся формулами (1.5):
b = cov(x, у) = x•у-x• у = 26,09-8,95• 2,34 = Q16g_
<J2X x2 x2 30,56 ' '
a = у b • x = 2,34 0,168 • 8,95 = 0,836.
Получили уравнение: ух = 0,836 + 0,168 • x. Т.е. с увеличением
дохода семьи на 1000 руб. расходы на питание увеличиваются на 168 руб.
Как было указано выше, уравнение линейной регрессии всегда дополняется показателем тесноты связи линейным коэффициентом
корреляции rxy:
г = b ^ = 0,168•^-^0,994.
<Jy 0,935
Близость коэффициента корреляции к 1 указывает на тесную линейную связь между признаками.
Коэффициент детерминации = 0,987 (примерно тот же
результат получим, если воспользуемся формулой (1.7)) показывает, что уравнением регрессии объясняется 98,7\% дисперсии результативного признака, а на долю прочих факторов приходится лишь 1,3\%.
Оценим качество уравнения регрессии в целом с помощью F-критерия Фишера. Сосчитаем фактическое значение F-критерия:
F = •(n-2)= 0,987 • 6 = 455,54.
1 - } 1 0,987
Табличное значение (к1 = 1, к2 = n 2 = 6, ос = 0,05):
Fj^ji = 5,99. Так как > F^&i, то признается статистическая
значимость уравнения в целом.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитаем t-критерий Стьюдента и доверительные интервалы каждого из показателей. Рассчитаем случайные ошибки
параметров линейной регрессии и коэффициента корреляции 2 _ X (y — yx) _ 0,1257
5о2ст _ ^ _ _ 0,021
ост n — 2 8 — 2
m _ _ V0,021 _ 0 0093
sx -V n 5,53 -V 8
m _ 5ост ж_V0,021-885,24 _0,0975,
a ост sx n 5,53 8
/1 — r2 1 — 0,987 пплгс
mr _ J _ _ 0,0465.
n — 2 V 6
0,168
Фактические значения t-статистик: tb _ _ 18,065,
b 0,0093
0,836 0,994
ta _ _ 8,574, tr _ _ 21,376. Табличное значение ta 0,0975 r 0,0465
критерия Стьюдента при О_ 0, 05 и числе степеней свободы
V _ n — 2 _ 6 есть _ 2,447 . Так как tb > ^бл , ta > ^абл и tr > ^абл ,
то признаем статистическую значимость параметров регрессии и показателя тесноты связи. Рассчитаем доверительные интервалы для параметров регрессии a и b: a ±t ma и b ±t mb. Получим, что
a*e[0,597; 1,075] и b* є [0,145; 0,191].
Средняя ошибка аппроксимации (находим с помощью столбца 10
таблицы 1.3; Л1
yi y
-100\%) Л _ 6,52\%
говорит о хорошем
качестве уравнения регрессии, т.е. свидетельствует о хорошем подборе модели к исходным данным.
И, наконец, найдем прогнозное значение результативного фактора
y0 при значении признака-фактора, составляющем 110\% от среднего
25
уровня Л0 = 1,1 ■ х = 1,1 ■ 8,95 = 9,845, т.е. найдем расходы на питание, если доходы семьи составят 9,85 тыс. руб.
у0 = 0,836 + 0,168 ■ 9,845 = 2,490 (тыс. руб.)
Значит, если доходы семьи составят 9,845 тыс. руб., то расходы на питание будут 2,490 тыс. руб.
Найдем доверительный интервал прогноза. Ошибка прогноза
2
ту = 5ост
р
П
0,021-
V
8
1 (9,845 — 8,95) 1 + + }
8 ■ 30,56
J
0,154
а доверительный интервал ( у — • Ґтабл £ у0 £ ух + Шух ^ ^табл ):
2,113 < у* < 2,867.
 |
1.2. Нелинейные модели парной регрессии и корреляции
Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций.
Различают два класса нелинейных регрессий:
Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, например
2
полиномы различных степеней yx = a + b ■ x + c ■ x ,
2 3
yx = a + b ■ x + c ■ x + d ■ x;
равносторонняя гипербола yx = a + bj x;
полулогарифмическая функция yx = a + b ■ In x.
Регрессии, нелинейные по оцениваемым параметрам, например
b
степенная у x = a ■ x ;
показательная yx = a ■ bx;
экспоненциальная yx = e .
Регрессии нелинейные по включенным переменным приводятся к линейному виду простой заменой переменных, а дальнейшая оценка параметров производится с помощью метода наименьших квадратов. Рассмотрим некоторые функции.
2
Парабола второй степени yx = a + b-x + c-x приводится к линейному виду с помощью замены: x = x1, x = x2 . В результате
приходим к двухфакторному уравнению yx = a + b ■ x1 + c ■ x2, оценка
параметров которого при помощи МНК, как будет показано в параграфе
2.2 приводит к системе следующих нормальных уравнений:
27
а • п + b-X *i + с-X *2 = Xу < а • X xi + b X ^ + с X xix2 = X xiy
а X x2+b X xix2+с X x2 = X x2y.
А после обратной замены переменных получим
ап + b X x + с X х = X y * а• Xx + b• Xx2 + с• Xx3 = Xx• У, (i.i7) а • X x2 + b • X x3 + с • X x4 = X x2 • y.
Парабола второй степени обычно применяется в случаях, когда для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую.
Равносторонняя гипербола yx = а + b/x может быть использована
для характеристики связи удельных расходов сырья, материалов, топлива от объема выпускаемой продукции, времени обращения товаров от величины товарооборота, процента прироста заработной платы от уровня безработицы (например, кривая А.В. Филлипса), расходов на непродовольственные товары от доходов или общей суммы расходов (например, кривые Э. Энгеля) и в других случаях. Гипербола приводится
к линейному уравнению простой заменой: z = j/ Система линейных уравнений при применении МНК будет выглядеть следующим образом:
а ■п +b ^ X= X y
(i.i8)
Аналогичным образом приводятся к линейному виду зависимости yx = а + b • In x, yx = а + b• Vx и другие.
Несколько иначе обстоит дело с регрессиями нелинейными по оцениваемым параметрам, которые делятся на два типа: нелинейные модели внутренне линейные (приводятся к линейному виду с помощью соответствующих преобразований, например, логарифмированием) и нелинейные модели внутренне нелинейные (к линейному виду не приводятся).
К внутренне линейным моделям относятся, например, степенная функция yx = a ■ x , показательная yx = a ■ bx, экспоненциальная
sk sk О sk I
yx = e , логистическая yx = , обратная yx =
, обратная — у „ — .
1 + b e~cx x a + b-x
К внутренне нелинейным моделям можно, например, отнести
1
1 Ґ
следующие модели: yx = a + b ■ xc, yx = a
b
1-x
Среди нелинейных моделей наиболее часто используется степенная
функция y = a ■ x ■ Є, которая приводится к линейному виду логарифмированием:
ln y = ln (xb є) ;
ln y = ln a + ln x + lne; Y = A + bX + E,
где Y = ln y, X = ln x, A = ln a, E = ln Є. Т.е. МНК мы применяем для преобразованных данных:
An + b ■ X X = X Y, A-X X + b X X2 = X XY,
а затем потенцированием находим искомое уравнение.
Широкое использование степенной функции связано с тем, что
параметр b в ней имеет четкое экономическое истолкование он
является коэффициентом эластичности. (Коэффициент эластичности
показывает, на сколько процентов измениться в среднем результат, если
29
фактор изменится на 1\%.) Формула для расчета коэффициента эластичности имеет вид:
э = а *). -. (1.19)
y
Так как для остальных функций коэффициент эластичности не является постоянной величиной, а зависит от соответствующего значения фактора x, то обычно рассчитывается средний коэффициент эластичности:
Э = Ґ( X )•Х. (1.20) y
Приведем формулы для расчета средних коэффициентов эластичности для наиболее часто используемых типов уравнений регрессии:
Возможны случаи, когда расчет коэффициента эластичности не имеет смысла. Это происходит тогда, когда для рассматриваемых признаков бессмысленно определение изменения в процентах.
Уравнение нелинейной регрессии, так же, как и в случае линейной зависимости, дополняется показателем тесноты связи. В данном случае это индекс корреляции:
Р* = (1-21)
где <Т2у = — X ( У — У )2 общая дисперсия результативного признака у.
^о'ст = — X ( У Ух )
= — > і у — у і остаточная дисперсия.
1
n
Величина данного показателя находится в пределах: 0 £ ру £ 1.
Чем ближе значение индекса корреляции к единице, тем теснее связь рассматриваемых признаков, тем более надежно уравнение регрессии.
Квадрат индекса корреляции носит название индекса детерминации и характеризует долю дисперсии результативного признака у, объясняемую регрессией, в общей дисперсии результативного признака:
<ост = факт
у у
ft = — = ^Т-, (1.22)
т.е. имеет тот же смысл, что и в линейной регрессии; n
Индекс детерминации ру можно сравнивать с коэффициентом детерминации і^у для обоснования возможности применения линейной функции. Чем больше кривизна линии регрессии, тем величина гу
меньше ру. А близость этих показателей указывает на то, что нет
необходимости усложнять форму уравнения регрессии и можно использовать линейную функцию.
Индекс детерминации используется для проверки существенности в целом уравнения регрессии по F -критерию Фишера:
F
2
р
2
1 -р2
n m -1
m
(1.23)
где р
2
индекс детерминации, n число наблюдений, m
число
параметров при переменной x. Фактическое значение F -критерия (1.23) сравнивается с табличным при уровне значимости о и числе степеней свободы k2 = n m -1 (для остаточной суммы квадратов) и k1 = m (для
факторной суммы квадратов).
О качестве нелинейного уравнения регрессии можно также судить и по средней ошибке аппроксимации, которая, так же как и в линейном случае, вычисляется по формуле (1.8).
Рассмотрим пример из параграфа 1.1, предположив, что связь
между признаками носит нелинейный характер, и найдем параметры
следующих нелинейных уравнений: у = a + bIn x + є,
у = a + b-yfx + є и у = a-x ■ є.
Для нахождения параметров регрессии yx = a + b In x делаем
замену z = In x и составляем вспомогательную таблицу (Є = у yx).
= 1,063,
b
cov(z, y) = 5,240-1,914• 2,34
о 0,716 a = y b • z = 2,34 -1,063 1,914 = 0,305.
Т.е. получаем следующее уравнение регрессии: yx = 0,305 +1,063 • ln x.
Теперь заполняем столбцы 8-11 нашей таблицы.
Индекс корреляции находим по формуле (1.21):
1
1
р
0,958,
0,874
а индекс детерминации pLy = 0,918, который показывает, что 91,8\%
вариации результативного признака объясняется вариацией признака-фактора, а 8,2\% приходится на долю прочих факторов.
Средняя ошибка аппроксимации: A = 14,51\%, что недопустимо
велико.
F -критерий Фишера:
F
n m -1 0,919 8 -1 -1
1 -ppy m 1 0,919 1
значительно превышает табличное = 5,99.
68,07,
 |
Для нахождения параметров регрессии yx = a + b•six делаем
замену z и составляем вспомогательную таблицу (є= yyx).
= cov( z, y)
= о2
Найдем уравнение регрессии:
7,53 2,82 • 2,34
1,00
0,931,
a = y b • z = 2,34 0,931 • 2,82 = -0,286.
Т.е. получаем следующее уравнение регрессии:
yx = -0,286 + 0,931 -yjx. Теперь заполняем столбцы 8-11 нашей таблицы.
Индекс корреляции находим по формуле (1.21):
1
1
0,996,
р
0,0077
оу у) 0,874
а индекс детерминации р2 = 0,991, который показывает, что 99,1\%
вариации результативного признака объясняется вариацией признака-фактора, а 0,9\% приходится на долю прочих факторов.
Средняя ошибка аппроксимации: A = 0,0498 • 100\% = 4,98\% показывает, что линия регрессии хорошо приближает исходные данные.
р
660,67,
F
0,991 8 — 1 — 1
1 — pfy m 1 — 0,991 1
значительно превышает табличное F^&i = 5,99.
Изобразим на графике исходные данные и линию регрессии:
 |
Y = A + b • X + E, где Y = In у, X = In x, A = In a, E = lne.
Составляем вспомогательную таблицу для преобразованных данных:
Таблица i .7
| X | Y | X-Y | X2 | Y2 | yx | є | є2 | A | |
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| i | 0,i82 | -0,i05 | -0,0i9 | 0,033 | 0,0ii | 0,8i49 | 0,085i | 0,0072 | 9,46 |
| 2 | i,i3i | 0,i82 | 0,206 | i,280 | 0,033 | i,3747 | -0,i747 | 0,0305 | i4,56 |
| 3 | i,668 | 0,588 | 0,980 | 2,78i | 0,345 | i,8473 | -0,0473 | 0,0022 | 2,63 |
| 4 | 2,00i | 0,788 | i,578 | 4,006 | 0,622 | 2,2203 | -0,0203 | 0,0004 | 0,92 |
| 5 | 2,262 | 0,956 | 2,i6i | 5,ii6 | 0,9i3 | 2,5627 | 0,0373 | 0,00i4 | i,43 |
| 6 | 2,468 | i,065 | 2,628 | 6,092 | i,i34 | 2,87i3 | 0,0287 | 0,0008 | 0,99 |
| 7 | 2,674 | i,i94 | 3,i93 | 7,i5i | i,425 | 3,2i65 | 0,0835 | 0,0070 | 2,53 |
| 8 | 2,929 | i,335 | 3,9i0 | 8,576 | i,782 | 3,7004 |
Обсуждение Эконометрика. Учебно-методическое пособиеКомментарии, рецензии и отзывы 1.1. линейная модель парной регрессии и корреляции: Эконометрика. Учебно-методическое пособие, Шалабанов А.К., 2008 читать онлайн, скачать pdf, djvu, fb2 скачать на телефон Применение аспектов математики в различных областях знаний (экономика, физика, химия, биология, социология и т.д.) принесло значительные успехи. Для экономических специальностей «Финансы и кредит», «Менеджмент», «Налоговое дело» ...
|