4.4. нелинейная регрессия

4.4. нелинейная регрессия

Предположим, вы считаете, что переменная у связана с переменной х следующим соотношением:

у = сс + рх? + и, (4.28)

и хотите получить оценки а, р и у, имея значения у и х. Уравнение (4.28) не может быть преобразовано в уравнение линейного вида, поэтому в этом случае невозможно применение обычной процедуры оценивания регрессии.

Тем не менее для получения оценок параметров мы по-прежнему можем применить принцип минимизации суммы квадратов отклонений. Далее рассмотрим кратко этот метод не потому, что вам придется применять его самостоятельно (исследователи, как правило, консультируются со специалистом по эконометрике), а потому, что это позволит вам лучше понять идеи, которые лежат в основе регрессионного анализа.

Процедуру лучше всего описать как последовательность шагов.

Принимаются некоторые правдоподобные исходные значения параметров.

Вычисляются предсказанные значения у по фактическим значениям х с использованием этих значений параметров.

Вычисляются остатки для всех наблюдений в выборке и, следовательно, S — сумма квадратов остатков.

Вносятся небольшие изменения в одну или более оценку параметров.

Вычисляются новые предсказанные значения у, остатки и S.

Если S меньше, чем прежде, то новые оценки параметров лучше прежних и их следует использовать в качестве новой отправной точки.

Шаги 4, 5 и 6 повторяются вновь до тех пор, пока не окажется невозможным внести такие изменения в оценки параметров, которые привели бы к уменьшению S.

Делается вывод о том, что величина Sминимизирована и конечные оценки параметров являются оценками по методу наименьших квадратов.

Пример

Вернемся к примеру с бананами, рассмотренному в разделе 4.1, где у и х связаны следующей зависимостью:

у = а + ^ + и. (4.29)

Для большей простоты предположим, что мы знаем, что ос = 12; следовательно, нам нужно определить только один неизвестный параметр. Предположим, мы поняли, что зависимость имеет вид (4.29), однако не можем догадаться, что следует применить преобразования, рассмотренные в разделе 4.1. Вместо этого мы применяем нелинейную регрессию.

На рис. 4.3 показаны значения S, которые будут получены при любом возможном выборе b при значениях у и х, приведенных в табл. 4.1. Предположим, что мы начнем, приняв b равным —6,0. Уравнение при этом примет вид:

у = 12-1 (4.30)

Вычислим предсказанные значения у и остатки и на основании последних вычислим значение S— 24,02. Затем подставим b = —1. Теперь величина Нравна 13,40, т. е. она уменьшилась. Значит, мы движемся в правильном направлении. Подставим b = —8; тогда 5= 5,87. Продолжим дальше. При b = — 9 значение Нравно 1,44; при b = —10 значение S составит 0,12; при b = —11 оно будет 1,89.

Очевидно, что, выбрав b = — 11, мы перестарались, так как значение S вновь начало расти. Будем двигаться назад, но более мелкими шагами, например по 0,1, беря значения —10,9; —10,8 и т.д. Продолжим движение назад до тех пор, пока опять не будет «перебора», затем вновь начнем двигаться вперед еще более мелкими шагами (например, равными 0,01). Каждый раз, когда будет наблюдаться «перебор», будем изменять направление на противоположное, сокращая размер шага. Будем продолжать делать это до тех пор, пока не достигнем требуемой точности вычисления оценки р. Последовательность шагов для данного примера показана в табл. 4.3.

Процесс, показанный в табл. 4.3, был прекращен после 32 итераций, к этому времени стало очевидно, что оценка находится между —9,92 и —9,94. Ясно, что в результате дальнейшего продолжения итерационного процесса могла бы быть получена более высокая точность.

Заметим, что, хотя полученная оценка очень близка к истинному значению

S

25 20 15 10 5

Рис. 4.3. Сумма квадратов отклонений как функция от b

10, она не совпадает с оценкой, полученной для уравнения (4.10). В принципе оба набора результатов должны быть одинаковыми, так как и тот и другой минимизируют сумму квадратов отклонений. Расхождение вызвано тем, что мы были не совсем честны в нелинейном случае. Мы предположили, что а равно истинному значению 12, а не оценили его. Если бы мы действительно не смогли найти преобразование, которое позволяет использовать линейный регрессионный анализ, то нам бы пришлось использовать нелинейный метод и искать наилучшие значения аи b одновременно, и тогда мы получили бы оценку а, равную 12,08, и оценку Ь, равную -10,08, как и в уравнении (4.10).

Основной недостаток нелинейной регрессии состоит в том, что она оценивается значительно медленнее, чем линейная регрессия, особенно в том случае, когда приходится оценивать несколько параметров. Разработаны итерационные процедуры, которые с математической точки зрения являются значительно более сложными по сравнению с теми, которые рассмотрены в данном примере, однако до недавнего времени даже при использовании этих процедур высокая стоимость компьютерных расчетов служила тормозом к применению нелинейной регрессии. В течение последних нескольких лет ситуация стала меняться благодаря небывалому росту мощности и быстродействия компьютеров. Вследствие этого к нелинейным методам стал проявляться больший интерес, а для рядовых пользователей разработано «дружественное» программное обеспечение.