Лекция № 13. мнк для нелинейных моделей, методы нелинейного оценивания регрессионных параметров. показатели корреляции и детерминации для нелинейной регрессии

Лекция № 13. мнк для нелинейных моделей, методы нелинейного оценивания регрессионных параметров. показатели корреляции и детерминации для нелинейной регрессии

Метод наименьших квадратов можно применять к нелинейным регрессионным моделям только в том случае, если они являются нелинейными по факторным переменным или нелинейными по параметрам, но внутренне линейными, т. е. возможна линеаризация этих моделей.

Рассмотрим применение метода наименьших квадратов для определения неизвестных параметров уравнения параболической зависимости вида:

. yt = 0+М+02 хі +єі.

Данный полином второго порядка (или второй степени) является нелинейным по факторным переменным x .

Для нахождения неизвестных параметров уравнения регрессии 0О,01 и 02 необходимо минимизировать функционал F:

F = 2 (у Уі )2 = 2 (Уі А 0X 02x) min.

Процесс минимизации функционала сводится к вычислению частных производных этой функции по каждому из оцениваемых параметров.

Составим стационарную систему уравнений для данного функционала F, не пользуясь при этом методом замен:

dF

22(Уі -М -02x2) = 0,

22(Уі -0X -02x2) X x, = 0,

22(у -00 -0ix -02x2) X x2 = 0.

і=1

Проведя элементарные преобразования стационарной системы уравнений, получим систему нормальных уравнений для определения коэффициентов параболической зависимости:

nn n

n x л+д E x+в E xi=E y>,

i=1 i=1 i=1

e« E x,+ ~в, E +вг E x3=E Xi x y,

i=1 i=1 i=l i=l

в о jExf+в і Ex3+в 2 ]Exi4=]Exf x у, .

i=1 i=1 i=1 i=1

Данная система является системой нормальных уравнений относительно параметров в0, в1 и в г Для параболической зависимости 2

Уі =в0 +eixi +в2xi + єі.

Система нормальных уравнений является квадратной, т. е. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты в0,в1 ив2, и можно найти с помощью метода Крамера, метода Гаусса или метода обратных матриц.

В общем случае полинома n-ой степени

У і =во + ві xt + вг xf + ■■■+ enxn + st, для нахождения неизвестных коэффициентов уравнения регрессии методом наименьших квадратов необходимо минимизировать функционал F вида:

2

-> шт.

F = e (У У )2 = e (У 'в, ~вл в г xf ■ • ■ ^nx)

Тогда система нормальных уравнений будет выглядеть следующим образом:

e у,=во x n+в E x+в2 E x+-+~в„ E xi, e У' x x,=во e x +в1e xf+в г e x3+-+вn e xn+1,

e y, x x,n-1=в 0 e xn-1+в 1e xn+вг e xr1+-+A E xf n-1, [e y, x xn=в0 e xn +л e xr+вг e x"+2+-+A e xfn.

Решение данной системы позволит найти оценки коэффициентов полинома n-го порядка.

Рассмотрим применение метода наименьших квадратов для нахождения оценок коэффициентов нелинейного по параметрам уравнения регрессии (но внутренне линейного) на примере показательной функции вида:

Уі = Д хД^ хЄі,

где случайная ошибка et мультипликативно связана с факторным признаком x.

Данная модель является нелинейной по параметру Д1. Для ее линеаризации применим вначале процесс логарифмирования: log у = log Д0 + x х log Д + log єг

После логарифмирования исходного регрессионного уравнения воспользуемся методом замен. Обозначим log yi = log Д0 = A; log Д = В; log £=E.

Тогда преобразованный вид показательной функции можно записать следующим образом:

Y = A + Bxt + Е t.

Метод наименьших квадратов применяется не к исходному нелинейному уравнению, а к его линеаризованной форме.

Таким образом, в отличие от линейных регрессионных моделей минимизируется сумма квадратов отклонений логарифмов наблюдаемых значений результативного признака уот теоретических значений у (значений, рассчитанных на основании уравнения регрессии), т. е. минимизируется функционал МНК вида:

F = ^(log У log у )2 min.

Для нахождения оценок неизвестных параметров линеаризованного уравнения регрессии A и B решается система нормальных уравнений:

nn n

n х A + B xt = 2Y = 2 log У>,,

i=1 i=1 i=1

nn n n

A х 2 x+B х 2x'=2 xi х Y=2 xiх log y.

Данная система является системой нормальных уравнений относительно коэффициентов A и B для зависимости Yi = A + Bxi + E.

Оценки параметров для нелинейных регрессионных моделей, сводимых к линейному виду, являются смещенными.