12.1. метод максимального правдоподобия (ммп)

12.1. метод максимального правдоподобия (ммп)

В классической модели линейной регрессии, где случайный член удовлетворяет условиям Гаусса—Маркова и отсутствуют другие сложности, базовым критерием для получения оценок коэффициентов является минимизация суммы квадратов отклонений. Этот выбор не был произвольным. Теорема Гаусса—Маркова гласит, что оценки, полученные методом наименьших квадратов, будут несмещенными и эффективными как на больших выборках, так и на малых, в случае если выполняются условия Гаусса—Маркова.

Тем не менее в последних четырех главах модель регрессии постепенно теряла связь с условиями Гаусса—Маркова и удалялась от своих первоначальных предпосылок. Мы рассмотрели использование лаговых значений зависимой переменной как регрессора, применили нелинейный регрессионный анализ (например, в оценке уравнений по методу Кокрана—Оркатта), кроме того, мы стали использовать инструментальные переменные. Оценка методом ИП не основана на методе наименьших квадратов. Оправдание применения метода ИП заключается в том, что он позволяет получать состоятельные оценки в случаях, когда их не дает МНК, и, хотя минимизация дисперсии распределения оценки является приемлемым решением при наличии других альтернатив, поиск такого минимума — не главная задача.

К сожалению, для любителей простой жизни в тех случаях, когда нарушаются, условия Гаусса—Маркова и мы вынуждены искать замену МНК, редко появляется единственный приемлемый вариант. Обычно различные исследователи могут предложить несколько конкурирующих оценок, каждая из которых является состоятельной. Например, в случае автокорреляции первого порядка состоятельные оценки дают как метод Кокрана—Оркатта, так и данный метод с поправкой Прайса—Уинстена. Если бы нам пришлось выбирать между двумя этими методами (хотя в действительности имеются и другие альтернативы, не упомянутые в главе 7), то как осуществить выбор? Привлекательным было бы выбрать асимптотически эффективную оценку. Причина, по которой метод Кокрана—Оркатта с поправкой Прайса—Уинстена оказался предпочтительнее метода Кокрана—Оркатта (и это подтверждено экспериментами по методу Монте-Карло), заключается в том, что на больших выборках его оценки параметров имеют меньшие стандартные ошибки.

Здесь наступает момент перехода к оценкам методом максимального правдоподобия (ММП). Они обычно не предъявляют требований к желательным свойствам малых выборок, но в случае корректной спецификации модели и при выполнении некоторых условий обеспечивают асимптотическую несмещенность, состоятельность и асимптотическую эффективность. Более того, они предоставляют возможность для проведения тестов, которые не могли использоваться в случае МНК.

Что такое оценивание на основе ММП? Оно может быть проиллюстрировано на простом примере. Предположим, что имеется непрерывная случайная переменная с неизвестным средним значением jlx и (для простоты) известным стандартным отклонением, равным единице. Допустим также, что есть основания считать, что переменная имеет нормальное распределение. Предположим, наконец, что у вас имеются две альтернативные гипотезы: ц = (Lt0 и (J. = (ы, и одно наблюдение х,, как это показано на рис. 12.1. Какую из гипотез вы выберете? Принцип максимального правдоподобия утверждает, что следует выбрать ту из гипотез, которая обеспечивает наибольшую вероятность появлениях,. Посколькух — непрерывная случайная величина, вероятность появления какого-либо отдельного ее значения является бесконечно малой. Вместо этого мы сравниваем величину плотности вероятности в точке х, для двух гипотез, представленную высотой графика функции плотности вероятности. Очевидно, что на рис. 12.1 функция с ц = jli0 имеет более высокое значение плотности вероятности в точке x,.

Следующий шаг — обобщение. Мы будем рассматривать все возможные значения |! и выберем то из них, которое дает максимальное значение плотности вероятности в точке x,.

Функция плотности вероятности переменной х с заданным ц имеет вид:

/ш~же~1{*~**' (12Л)

Зададимся теперь вопросом: какое значение jli максимизирует плотность вероятности для заданного наблюдения х1? Графически очевидный ответ: ц = х{9

Плотность вероятности величины хл

* Значение плотности вероятности в точке х= ху в условиях Н0: і = ц0

А

; Значение плотности вероятности в

• точке х— х^ в условиях //,: д = щ

Рис. 12.1. Вероятность появления в условиях истинности И0 и Нл

поскольку в этом случае распределение будет расположено вокруг х,, и плотность вероятности окажется максимальной в центре распределения. Дадим также математическое доказательство этого факта.

Прежде всего заметим, что в решаемой задаче значение х, задано, а ц рассматривается как переменная величина. Как следствие мы можем рассматривать функцию плотности вероятности как функцию от ц при заданном хх. В дальнейшем мы так и сделаем, а также дадим ей другое название — функция правдоподобия и, чтобы подчеркнуть происшедшие изменения, будем обозначать ее как L:

дц|х,) = -і=е"2(дс,"ц)2. (12.2)

Отметим, во-вторых, что log L (|i) будет иметь максимум при том же значении ц, которое максимизирует L (д), поскольку логарифм от любой переменной возрастает или уменьшается с ростом или уменьшением значения переменной. Удобнее и математически проще найти максимум функции log L (ц) (которая известна также под названием логарифмическая функция правдоподобия):

log Ш) = log V2^ і (х, ц)2. (12.3)

Продифференцировав это выражение по ц, мы получим:

*,-Ц = 0, (12.4)

поэтому оценка ц по ММП равнах{. Вторая производная имеет отрицательное значение, и это подтверждает, что мы нашли максимум функции.

Все это, конечно, тривиально. Предположим теперь, что имеются два независимо распределенных наблюдения (х{) и (х2), и мы хотим оценить ц. Процедура оценивания по ММП заключается в нахождении значения ц, которое максимизирует совместную функцию плотности вероятности, определяемую произведением частных функций плотности вероятности:

(12.5)

Это выражение может быть преобразовано в логарифмическую функцию правдоподобия для |i при заданных х, и jc2, и мы максимизируем его, максимизировав, как и прежде, логарифмическую функцию правдоподобия:

(12.6)

Из этого выражения можно получить условие первого порядка:

(х, ц) + (х2 ц) = О,

(12.7)

откуда следует, что оценка ц по ММП равна (х, + х2)/2. Этот результат нетрудно обобщить на случай, когда имеется п наблюдений. Оценкац по ММП равна среднему значению выборки и как таковая совпадает с оценкой по методу наименьших квадратов.

Если мы применим ММП в классической модели линейной регрессии, предполагая нормальное распределение случайного члена, то оценки всех коэффициентов (но не дисперсия случайного члена) будут равны оценкам, полученным с помощью МНК. Поэтому переход от метода наименьших квадратов к ММП в данном контексте является скорее эволюцией, чем радикальным преобразованием.

В настоящее время максимизируемая логарифмическая функция правдоподобия выдается почти всеми регрессионными пакетами диагностической статистики, сопровождающей результаты расчета регрессии. Ее можно использовать для проведения теста на отношение правдоподобия. Этот тест заключается в следующем. Пусть имеется две версии модели, и одна из них — версия другой с добавлением ограничений. Статистика 2(LLU-LLR), где LLU и LLR — логарифмические функции правдоподобия неограниченной и ограниченной версии модели, соответственно, на больших выборках подчиняется распределению у} с s степенями свободы в случае принятия нулевой гипотезы о корректности ограниченной версии, где s — число наложенных ограничений. (Для дальнейшего обсуждения этого теста и двух других групп тестов, разработанных в рамках максимизации правдоподобия [тестов Вальда и тестов множителей Лагранжа] рекомендуется работа П. Кеннеди [Kennedy, 1985, pp. 58—

59].)

Однако и помимо теоретических свойств принцип оценивания параметров, максимизирующих вероятность появления данной выборки, обладает большой привлекательностью для эконометристов. Принцип наименьших квадратов имеет, конечно, свои достоинства в случае выполнения условий Гаусса—Маркова, но все эти достоинства быстро теряются в противном случае.

Если ММП столь эффективен и привлекателен и если он столь приспособлен для проведения тестов, почему бы не использовать его все время? Существуют четыре причины для осторожности. Во-первых, имеющиеся обычно выборки, особенно при анализе временных рядов, скорее являются малыми, чем большими. И вполне возможно, что методы, обладающие желаемыми свойствами на больших выборках, будут уступать другим методам на малых выборках. Единственный путь проверки в случае каждого конкретного исследования — проведение экспериментов по методу Монте-Карло. Во-вторых, наше решение поддерживается соображением о том, что столь популярные свойства состоятельности и асимптотической эффективности не являются безусловными. Они были установлены лишь для моделей определенного вида. Модели с трендовыми данными в этой связи могут порождать проблем не меньше, чем в случае применения анализа, базирующегося на методе наименьших квадратов. В-третьих, необходимо сделать предположение, что случайный член имеет определенное асимптотическое распределение; обычно предполагается нормальное распределение. Эта предпосылка не является необходимой при применении МНК в случае классической линейной регрессионной модели (она требуется лишь для проведения тестов). В-четвертых, оценка по ММП занимает слишком много времени — как времени исследователя, так и компьютера. Оценки часто выводятся в результате решения системы одновременных уравнений с использованием итеративной процедуры, поскольку они не могут быть выражены в виде явных математических формул.

Четвертый аргумент против применения ММП долгое время был, возможно, единственным важным препятствием на пути его широкого распространения, однако проблема быстро упрощается, и с удешевлением компьютерного времени оценки по ММП активно встраиваются в статистические пакеты. Например, оценка по ММП автокорреляции в авторегрессионной модели первого порядка, разработанная Ч. Бичем и Дж. Маккинноном (Beach, MacKinnon, 1978), теперь является стандартной принадлежностью статистических пакетов. Дж. Крамер (Cramer, 1986) полагает, что с расширением возможностей ММП до их пределов этот метод «в большой степени вытеснит линейный регрессионный анализ как главный инструмент прикладной эконометрики». Возможно, он прав. Тем не менее поскольку оценки по ММП и МНК совпадают (кроме оценки а2) при выполнении условий Гаусса—Маркова, вполне вероятно, что МНК останется исходным пунктом вводных курсов эконометрики.