1.3. показатели качества моделей бинарного выбора, критерии согласия с имеющимися данными, сравнение альтернативных моделей

1.3. показатели качества моделей бинарного выбора, критерии согласия с имеющимися данными, сравнение альтернативных моделей

Прежде всего обратим внимание на следующее обстоятельство. Пусть методом наименьших квадратов оценивается обычная линейная модель

у, = x,i + ■■■ + &px,p + є,, ' =1 n,

с xa = 1 (модель с константой), в которой объясняемая переменная у может принимать непрерывный ряд значений. В таком случае простейшим показателем качества оцененной модели является коэффициент детерминации R2,

n

R2 = 1 — = 1 ^ ,

n

Е (у, у )2

где у і =01 x,1 + l + 9pX4, у = (у1 + ^ + yn )/n . (Здесь TSS "полная",

а RSS "остаточная" сумма квадратов.) Если оценивать "тривиальную" модель, в правую часть которой включается единственная объясняющая переменная xi1 = 1, т.е. модель

у, =01 +є,, і = n ,

то для такой модели 01 = у , уt =01 = у , так что RSS = TSS и R2 = 0 . При добавлении в правую часть модели дополнительных объясняющих переменных коэффициент R2 возрастает, и этот коэффициент будет тем больше, чем более выраженной является линейная связь объясняемой переменной с совокупностью

A j

объясняющих переменных, включенных в правую часть. Своего максимального значения R2 = 1 коэффициент детерминации

достигает в предельном случае, когда для всех і = 1,n выполняются точные соотношения

Поскольку теперь мы имеем дело с нелинейными моделями у, = 0{віхл + ■•• + 0pX,p)+є,, i = 1,...,n ,

то не можем пользоваться обычным коэффициентом детерминации

R2, и желательно определить какую-то другую меру качества

подобранной модели.

Одна из возможностей в этом отношении сравнение количеств неправильных предсказаний, получаемых по выбранной модели и по модели, в которой в качестве единственной объясняющей переменной выступает константа ("тривиальная модель").

Естественным представляется предсказывать значение yi = 1,

когда G(хтв)> 1/2. Для симметричных распределений последнее равносильно условию xT в > 0, так что прогнозные значения равны у = І1, если xT в > 0,

1 |0, если x]6 < 0. Количество неправильных предсказаний по выбранной модели

равно

n

1=1 1=1

доля неправильных предсказаний по выбранной модели равна

■ ,1

n

£ {уіу і)

i=1

В то же время, если рассмотреть тривиальную модель, то для нее значение yt = 1 предсказывается для всех i = 1,..., n , когда 01 > 1/2 , т.е. когда y > 1/2 (значения yi = 1 наблюдаются более, чем в половине наблюдений). Соответственно, значение yi = 0

предсказывается для всех i = 1,...,n , когда 01 < 1/2, т.е. когда y < 1/2 (значения yi = 1 наблюдаются не более, чем в половине

наблюдений). При этом доля неправильных предсказаний по тривиальной модели равна

= Ґ1 -y, если y > 1/2,

v wrong ,0 = і —

[y, если y < 1/2.

В качестве показателя качества модели можно было бы взять коэффициент

n

v Z & yi)2

n 2 = і — wrong ,1 = 1 j=1

predict •

wrong ,0 wrong ,0

Проблема, однако, в том, что выбранная модель может дать предсказание хуже, чем тривиальная, так что vwrongд > vwrong 0, и

тогда R^redict < 0 . Отметим также, что вообще v 0 < 0 5

v wrong,0 — ■ '

так что тривиальная модель может неправильно предсказать не более половины наблюдений. А если оказывается, что в выборке значения yi равны 1 для 90\% наблюдений, то тогда vwrong 0 = 0.1, и

чтобы получить np2redict > 0 , необходимо, чтобы альтернативная

модель давала более 90\% правильных предсказаний. Это означает, что большая доля правильных предсказаний 1 — vwrongд сама по себе

не говорит еще о качестве модели. Эта доля может быть большой и для плохой модели.

Рассмотрим теперь альтернативный подход к построению

аналога коэффициента R2 для моделей бинарного выбора. Поскольку мы использовали для оценивания таких моделей метод максимального правдоподобия, то естественным представляется сравнение максимумов функций правдоподобия (или максимумов логарифмических функций правдоподобия) для выбранной и тривиальной моделей.

Пусть L максимум функции правдоподобия для выбранной модели, а L0 максимум функции правдоподобия для тривиальной модели. Заметим, что при этом L0 < L1 < 1, так что и ln L0 < ln L1 < 0 . В рамках этого подхода cреди множества других были предложены следующие показатели качества моделей бинарного выбора

2 1

pseudoR = 1 -. г— [Aldrich, Nelson (1984)],

1 + 2(lnL1 lnL0)/n

McFaddenR 2 = 1 -ln-L.

Последний показатель часто обозначают как lri индекс отношения правдоподобий (likelihood ratio index).

Оба этих показателя изменяются в пределах от 0 до 1. Если для

выбранной модели в2 = • • • = 0p = 0, то L0 = L1 и оба показателя

равны нулю. Второй показатель может оказаться равным единице, если lnL = 0 , т.е. L = 1. Такая модель дает точное предсказание, так что yi = yi для всех i = 1,..., n . Но при этом для рассмотренных выше моделей (пробит, логит и гомпит) оказывается невозможным доведение до конца итерационной процедуры оценивания вектора параметров в из-за взрывного возрастания абсолютной величины

xTв в процессе итераций. Это связано с тем, что у таких моделей при конечных значениях xT в выполняются строгие неравенства 0 < G (xT в) < 1, и поэтому функция правдоподобия не может достигать значения 1.

П р и м е р

Продолжая начатый выше статистический анализ смоделированного множества данных, вычислим значения

альтернативных вариантов коэффициента R2 для трех оцененных моделей бинарного выбора.

Требуемые для вычисления этих значений величины представлены в следующей таблице.

(Напомним, что в смоделированной выборке количество семей, имеющих собственный автомобиль, равно 510, что составляет более половины семей. Поэтому тривиальная модель дает для всех 1000 наблюдений прогноз yt = 1, что приводит к 49\% ошибок.)

Соответственно, для различных вариантов коэффициента R2 получаем:

Пробит-модель

R2predict = 1 -Vwr°ngL = 1 _= 0.745 ,

2 1 pseudoR = 1 1 + 2(ln L1 ln L0)/

n

= 1 1 = 0.4548,

1 + 2(-275.7686 + 692.9472)/1000

McFaddenR 2 = 1 - = 1 275 7686 = 0.6020 .

ln L0 692.9472

Логит-модель

R ^ = 1 -VVwroonngL = 1 - = 0.7470 ,

V wrong ,0 0.490 2 1

pseudoR 2=1 = 1 + 2(lnL lnL0))n

=1 - 1 = 0.4550,

1 + 2(-275.4592 + 692.9472) /1000

ln L 275.4592

McFaddenR 2 = 1 -= 1 275.4592 = 0.6025 .

ln L0 692.9472

Гомпит -модель

R I.** = 1 -VVwroonngL = 1 ^l2! = 0.7531, V ■rong,0 0.490

2 1 pseudoR 2=1  

1 + 2(lnL1 lnL0 )/n

=1 - 1 = 0.4446,

1 + 2(-292.6808 + 692.9472)/1000

Отметим близость всех вариантов коэффициента R2 для пробити логит-моделей. Гомпит-модель дает несколько лучшее предсказание, в то время как логит-модель несколько лучше двух

других с точки зрения коэффициентов pseudoR 2 и McFaddenR2 .

Представим теперь, что в нашем примере вместо смоделированных значений yi наблюдались бы следующие значения:

у, = 0 для xt < 1100, yt = 1 для xt > 1100. Тогда 100\% точное предсказание этих значений дала бы модель г , [0, если x, < 1100 [1, если x, > 1100

Вместе с тем, в рамках пробит-, логити гомпит-моделей оценки максимального правдоподобия в такой ситуации не определены, т.к. максимум функции правдоподобия не достигается при конечных значениях параметров.

Если речь идет о сравнении нескольких альтернативных моделей бинарного выбора с разным количеством объясняющих переменных, то, как и в случае обычных линейных моделей, сравнивать качество альтернативных моделей можно, опираясь на значения информационных критериев Акаике (AIC) и Шварца (SC): AIC = -2lnLk /n + 2p/n ,

SC = -2lnLk /n + plnn/n , а также информационного критерия Хеннана-Куинна HQ = -2lnLk /n + 2pln(lnn)/n .

Здесь Lk максимальное значение функции правдоподобия для k -й из альтернативных моделей, а p количество объясняющих переменных в этой модели.

При этом среди нескольких альтернативных моделей выбирается та, которая минимизирует значение статистики критерия. Заметим, что эти три критерия различаются размерами "штрафа", который приходится платить за включение в модель большего количества объясняющих переменных.

В рассмотренном выше примере во всех трех моделях использовались одни и те же объясняющие переменные (константа и среднедушевой доход семьи), так что по каждому информационному критерию в качестве "наилучшей" будет выбрана модель, для которой максимум функции правдоподобия наибольший. Приведем полученные при оценивании значения информационных критериев:

По всем трем критериям наилучшей признается логит-модель. Эта модель имеет наибольший среди трех моделей максимум функции правдоподобия. Вместе с тем отметим, что преимущество логит-модели над пробит-моделью весьма мало.

Для проверки адекватности подобранной модели имеющимся данным имеется ряд статистических критериев согласия; одним из них является критерий Хосмера-Лемешоу2. Мы не будем давать его детальное описание, а воспользуемся тем, что этот критерий реализован в некоторых пакетах статистического анализа, в том числе и в пакете ECONOMETRIC VIEWS. Отметим только, что этот критерий основан на сравнении предсказываемых моделью и действительно наблюдаемых количеств случаев с yi = 1 в

нескольких группах, на которые разбивается множество наблюдений.

Сопоставим результаты применения критерия Хосмера-Лемешоу к подобранным выше моделям бинарного выбора. В следующей таблице приведены P-значения, соответствующие статистике Хосмера-Лемешоу (рассчитанные по асимптотическому распределению хи-квадрат с соответствующим числом степеней свободы) при разбиении множества наблюдений на 10 групп.

Если ориентироваться на эти P-значения, то гомпит-модель следует признать неудовлетворительной.

2 Подробнее об этом критерии см., например, в [Hosmer, Lemeshow (1989)]

В заключение рассмотрим пример подбора модели бинарного выбора с несколькими объясняющими переменными. В этом примере мы имеем дело со следующими финансовыми показателями 66 фирм на конец одного и того же года: оборотный капитал 1 общая сумма имущества

_ нераспределенная прибыль

X 2 = г ,

рыночная стоимость активов за вычетом задолженности балансовая стоимость общей суммы обязательств X = объем продаж 5 общая сумма имущества

В течение последующих двух лет половина из этих фирм обанкротилась. Фирмы занумерованы числами от 1 до 66 так, что первые 33 фирмы в этом списке обанкротились. Введем в рассмотрение индикаторную переменную yi , полагая

= J0 для i = 1,...,33, ' [1 для i = 34,... 66 т.е. у' = 1, если фирма выжила в течение двух лет.

Попробуем сначала подобрать к указанным данным пробит-модель

y, = Ф(а + вА1 + ••• + Д )+є, , i = 1,^,66.

При попытке оценить параметры такой модели мы наталкивается на упоминавшееся ранее затруднение, связанное с расходимостью итерационного процесса. Поэтому приходится отказаться от желания включить в правую часть модели сразу все имеющиеся в распоряжении показатели и перейти к рассмотрению редуцированных моделей.

При оценивании большинства моделей, в которых используется только 4 из 5 финансовых показателей, мы наталкиваемся на ту же самую проблему. Итерационный процесс сходится только для двух таких моделей включающих в качестве объясняющих переменных (помимо константы) наборы показателей (X1, X2 , X4 , X5 ) и ( X1, X3 , X4 , X5 ), соответственно. Однако каждый из оцененных

общая сумма имущества

X = доходы до вычета процентов и налогов

3 общая сумма имущества

коэффициентов этих моделей имеет /"-значение, превышающее 0.10, что указывает на необходимость дальнейшей редукции моделей.

Среди моделей, использующих только 3 финансовых показателя, лучшей по McFaddenR2 (LRI) является модель с набором объясняющих переменных (1, X2, X4, X5), но и в ней все оцененные коэффициенты имеют /-значения, превышающие 0.184.

Вообще, множество моделей, в которых оценки коэффициентов при всех включенных в их правые части финансовых показателях статистически значимы (при 5\% пороге), исчерпывается 6 моделями, включающими в качестве объясняющих переменных наборы

(1, X1), (1, X 2), (1, X3), (1, X 4).

Приведем результаты, характеризующие сравнительное качество этих моделей. В первом столбце указаны финансовые показатели, включенные в модель.

Критерий Хосмера-Лемешоу признает неадекватной последнюю модель и близкой к неадекватной предпоследнюю модель. Среди остальных 4 моделей по всем показателям лучшей оказывается модель, использующая единственный финансовый показатель X2 . Она дает следующую оценку вероятности выживания фирмы: P= 1 Х' }= Ф(0.6625 + 0.0987xi2).

Оцененная модель правильно предсказывает банкротство 31 из 33 обанкротившихся и выживание 32 из 33 выживших фирм. Это соответствует 95.45\% правильных предсказаний, тогда как тривиальная модель дает в рассматриваемом случае только 50\% правильных предсказаний.

Таким образом, согласно полученным результатам, вероятность выживания фирмы определяется в основном отношением размера нераспределенной прибыли к общей стоимости имущества фирмы и возрастает с ростом этого отношения.