Лекция № 3. методы оценивания и нахождения параметров уравнения регрессии.

Лекция № 3. методы оценивания и нахождения параметров уравнения регрессии.

На первом этапе проведения регрессионного анализа была выбрана функция /(-), отражающая зависимость результативного признака у от факторного признака -. Необходимо оценить неизвестные параметры модели. В качестве методов оценки неизвестных параметров уравнения регрессии /30, ...,/3n могут выступать:

сумма квадратов отклонений наблюдаемых значений результативного признака y от теоретических значений у, рассчитанных на основании регрессионной функции, /(-):

nn

F = 2 (У, f (-, А))2 или F = 2(у у )2.

Этот метод оценивания неизвестных параметров уравнения регрессии называется методом наименьших квадратов (МНК). Термин МНК был впервые использован в работе А. М. Лежан-дра в і805 г. Можно выделить следующие достоинства метода:

а) расчеты сводятся к механической процедуре нахождения коэффициентов;

б) доступность полученных математических выводов.

Основным недостатком МНК является чувствительность оценок к резким выбросам, которые встречаются в исходных данных.

сумма модулей отклонений наблюдаемых значений результативного признака у от теоретических значений у (рассчитанных на основании регрессионной функции ) f(-):

nn

F=21 уf (-, 3)1 или F=2 у і у і

Основным достоинством метода является нечувствительность оценок к резким выбросам (в отличие от МНК). Среди недостатков можно выделить следующие:

а) сложности в ходе вычислительной процедуры;

б) зачастую большим отклонениям в исходных данных

следует придавать больший вес для уравновешивания их

в общей сумме наблюдений;

Классический метод наименьших квадратов (МНК)

в) неодинаковым значениям оцениваемых параметров//,, /?л могут соответствовать одинаковые суммы модулей отклонений;

пп

F = 2g(У f (xi,//)) или F = 2g(У, -У),

, = 1 ,=1

где g — мера или вес, с которой отклонение y — fx,///)) входит в функционал F. Примером меры g является функция Хубера, которая при малых значениях переменной x является квадратичной, а при больших значениях x — линейной:

x2, Ixl <c

g (x )■■

2cx — c2, x >c — 2cx — c2, x <-

где c — ограничения функции.

Третий метод оценки неизвестных параметров уравнения регрессии //0, /Зп — объединие достоинства предыдущих двух методов. Оценки неизвестных параметров, найденные с его помощью, являются менее чувствительными к случайным выбросам в исходных данных, чем оценки, полученные МНК. Этот метод применяют, когда выборка сильно «засорена».

Для нахождения оптимальных значений неизвестных параметров //0, /Зп необходимо минимизировать функционал Fпо данным параметрам:

п

F = 2(y — f(xi,/))2 ~* min — процесс минимизации

=1 функционала F состоит

в отыскании таких параметров //0, / , при которых сумма квадратов отклонений наблюдаемых значений результативного признака y от теоретических значений y была бы минимальной;

п

F = 2У ■ — f(x■>А) ~* — процесс минимизации

=1 функционала F состоит

в отыскании таких параметров /0, ., /п, при которых сумма модулей отклонений наблюдаемых значений результативного признака y от теоретических значений У была бы минимальной;

п

F = 2g(У — f (x,//)) — min — процесс минимизации

=1 функционала F состоит

в отыскании таких параметров /?0, /?л, при которых сумма отклонений наблюдаемых значений результативного признака y от теоретических значений y с учетом заданных весов g была бы минимальной.

Наиболее распространенным методом оценивания параметров уравнения регрессии является метод наименьших квадратов.