3.6. теорема гаусса—маркова

3.6. теорема гаусса—маркова

В обзоре мы рассматривали оценки неизвестного математического ожидания і случайной величины х по данным выборочных наблюдений. Хотя мы интуитивно использовали в качестве оценки для х выборочное среднее х, было показано, что оно является лишь одной из бесконечного числа возможных несмещенных оценок этого параметра. Причина предпочтения выборочного среднего всем другим оценкам состоит в том, что при определенных предположениях оно является наиболее эффективным.

Аналогичные рассуждения применимы и к коэффициентам регрессии. Мы увидим, что оценки по обычному методу наименьших квадратов являются не только несмещенными оценками коэффициентов регрессии, но и наиболее эффективными в том случае, если выполнены условия Гаусса—Маркова. С другой стороны, если условия Гаусса—Маркова не выполнены, то, вообще говоря, можно найти оценки, которые будут более эффективными по сравнению с оценками, полученными обычным методом наименьших квадратов.

В данной работе не приводится общее рассмотрение этих вопросов. Мы дадим лишь иллюстрацию. Предположим, что мы имеем зависимость, заданную уравнением (3.1), и сосредоточим внимание на оценках для р. Человек, не знакомый с регрессионным анализом, увидев диаграмму разброса для выборки наблюдений, может попытаться получить оценку тангенса угла наклона путем простого объединения первого и последнего наблюдений и деления прироста высоты на горизонтальный отрезок между ними, как показано на рис. 3.3. Оценка b в этом случае будет определяться следующим образом:

Ь =

Уп-У

хп х

(3.30)

ух = сс + рх1 +

Каковы свойства этой оценки? Сначала мы исследуем, является ли она несмещенной. Используя уравнение (3.1) применительно к первому и последнему наблюдениям, получим:

(3.31)

(3.32)

Следовательно,

ъ = Р*„ + un р*! щ = р | un щ

хп -х хпх

(3.33)

Таким образом, мы разложили «наивную» оценку на две составляющие: истинное значение и остаточный член. Это разложение выполнено подобно тому, как это сделано в разделе 3.1 для оценки МНК. Однако остаточный член является другим. Предполагая Е(и) = 0, мы имеем, что математические ожидания, как и{9 так и ип, равны нулю, но тогда математическое ожидание остаточного члена в уравнении (33.3) также равно нулю. Таким образом, несмотря на то что эта оценка столь «наивна», она является несмещенной.

Это, разумеется, не единственная оценка, которая наряду с оценкой, полученной методом МНК, обладает свойством несмещенности. Вы можете получить еще одну оценку такого типа путем объединения двух произвольно выбранных наблюдений, а если вы хотите рассмотреть менее «наивные» процедуры, то здесь открываются поистине безграничные возможности.

Рис. 3.3. «Наивная» оценка b

Интуитивно легко понять, что мы не предпочтем «наивную» оценку типа (3.30) оценке МНК. В отличие от оценки МНК, в которой учитывается каждое наблюдение, в «наивной» оценке берется только первое и последнее наблюдения и не используется большая часть имеющейся в выборке информации. «Наивная» оценка зависит от значений остаточного члена и в данных двух наблюдениях, тогда как оценка по методу наименьших квадратов объединяет все значения остаточного члена и более эффективно использует возможность того, что эти значения в некоторой степени взаимно «погашаются».

При сравнении с менее «наивными» оценками превосходство оценки МНК в эффективности может быть не столь очевидным. Тем не менее в том случае, если условия Гаусса—Маркова для остаточного члена выполнены, коэффициенты регрессии, построенной обычным методом наименьших квадратов, будут наилучшими линейными несмещенными оценками (best linear unbiased estimators, или BLUE): несмещенными, как уже было показано; линейными, так как они являются линейными функциями значений у наилучшими, так как они являются наиболее эффективными в классе всех несмещенных линейных оценок. Теорема Гаусса—Маркова доказывает это (краткое изложение, не использующее матричной алгебры, дано в работе Дж. Томаса [Thomas, 1983, section 8.3]).

Упражнения

Исследователь обоснованно считает, что зависимость между двумя переменными х и у задается уравнением (3.1). Используя выборку из п наблюдений, он оценивает р, вычисляя среднее значение у, деленное на среднее значение х. Проанализируйте свойства этой оценки. Что изменится, если предположить, что ос = 0?

Исследователь обоснованно считает, что зависимость между двумя переменными х и у задается уравнением (3.1). Используя выборку из п наблюдений временного ряда, он оценивает р как Cov (у, f)/Cov (х, г), где t — переменная времени, которая по определению равна единице в первом наблюдении, двум — во втором и т. д. Проанализируйте свойства этой оценки. (Можно показать, что ее теоретическая дисперсия равна теоретической дисперсии соответствующей оценки МНК, деленной на г2хп где г t — коэффициент корреляции между X и t.)