Приложение з

Приложение з

Методика сравнительного анализа родственных эконометрических

моделей

В методике введено понятие родственных эконометрических моделей. Выделены теоретические и эмпирические единичные показатели качества эконометрических моделей с целью сравнения родственных моделей. Рассмотрены методы получения ранжировок родственных математических моделей по тем или иным показателям их качества и указаны методы согласования таких ранжировок. Рассмотрены методы проверки согласованности, кластеризации и усреднения ранжировок. Разобран пример сравнения родственных математических моделей на основе эмпирических единичных показателей качества. Приведены математические основы методов согласования ранжировок и классификаций, включая соответствующие теоремы с доказательствами. Дан обзор теоретических основ методов проверки согласованности, кластеризации и усреднения ранжировок.

ПЗ-1. Общие положения

Методика имеет целью:

по единой схеме оценивать качество эконометрических моделей;

проводить сравнение однотипных эконометрических моделей;

- осуществлять выбор эконометрических моделей среди однотипных с целью практического использования или углубленной доработки.

Методика основана на выделении теоретических и эмпирических единичных показателей качества эконометрической модели, построении на их основе групповых и обобщенных показателей качества, их согласования и использовании для решения задач, указанных в п. 1.1

Методика предусматривает использование как методов, основанных на анализе результатов наблюдений или специально поставленных экспериментов, так и методов, использующих экспертные оценки специалистов.

ПЗ-2. Родственные эконометрические модели

Под эконометрической моделью в настоящей методике понимается функция, отображающая набор входных переменных в набор выходных переменных. Входные и выходные переменные могут иметь как числовую, так и нечисловую природу, быть измеренными в различных шкалах, сами быть функциями. Модель может задаваться уравнением, системой уравнений, алгоритмом, таблицей, графиком, словесно (при использовании нечисловых переменных).

Входные переменные делятся на:

экономические переменные (цены, стоимости, предпочтения потребителей и т.п.);

переменные управления (менеджмента);

социальные переменные (состав персонала, демографический профиль);

технические переменные, описывающие технологические процессы и характеристики изделий;

физические переменные (пространственные координаты, время, температура,..., например, высота источника загрязнения, диаметр пролива, скорость ветра), описывающие условия воздействия;

химические переменные, описывающие свойства воздействующих химических веществ;

переменные, описывающие объекты воздействия (реципиентов);

переменные, описывающие окружающую среду;

эмпирические и иные константы, рассчитанные авторами моделей по результатам экспериментов или теоретически,

иные виды переменных.

Входные переменные, например, цены или скорость ветра, могут зависеть от времени.

Под выходными переменными понимают те, которые используются при формировании окончательных суждений об объектах и процессах или являются входными в смежных моделях. Они так же, как входные переменные, могут быть функциями.

Эконометрические модели называются родственными по выходу, если наборы их выходных переменных совпадают. Модели называются частично родственными по выходу, если наборы их выходных переменных частично совпадают. Эконометрические модели называются родственными, если наборы их входных и выходных переменных совпадают. Частично родственные по выходу модели становятся родственным по выходу, если отказываемся от рассмотрения всех выходных переменных, кроме совпадающих. При формальном расширении множества входных переменных путем объединения таковых для нескольких родственных по выходу моделей получаем родственные модели.

Поэтому без ограничения общности можно считать, что на множестве эконометрических моделей задано отношение толерантности "быть родственными моделями". Пара моделей входит в это отношение тогда и только тогда, когда пересечение множеств их выходных переменных не пусто. В таком случае их можно преобразовать в пару родственных моделей (в смысле определения, данного в предыдущем абзаце).

Для сравнения родственных моделей используются как объективные (теоретические и экспериментальные) методы, так и субъективные экспертные оценки. Для сравнения и оценки моделей строится иерархическая система показателей качества: на основе единичных показателей формируются групповые, а с их помощью обобщенные. Теоретические единичные показатели качества рассматриваются в пункте ПЗ-3. Основанные на обработке результатов экспериментов единичные показатели качества рассматриваются в ПЗ-4.

Результаты оценивания показателей качества, полученные экспертным или объективным путем, в литературе выражаются различными способами. Согласно методологии настоящей методики их рекомендуется выражать, как правило, в виде ранжировок или упорядоченных классификаций (нестрогих линейных порядков). Допускается использование метода парных сравнений, нечетких и интервальных оценок или иного способа получения информации от экспертов (главу 12 выше).

Для получения агрегированных (групповых или обобщенных) оценок применяют согласование ранжировок. При этом выявляются противоречия между различными ранжировками и привлекается дополнительная информация для упорядочения пар объектов, являющихся противоречивыми (которые по-разному упорядочены в исходных ранжировках). Методы согласования ранжировок рассмотрены в пункте ПЗ-5.

При невозможности согласования ранжировок (из-за большого числа противоречий) проводится усреднение ранжировок в соответствии с правила расчета эмпирических средних в статистике объектов нечисловой природы (см. главу 8). При этом предварительно проводится проверка согласованности экспертов или методов оценки и при необходимости разбиение их на кластеры, т.е. группы экспертов, имеющих сходные между собой мнения, резко отличные от мнений иных групп. Итоговые ранжировки рассчитываются отдельно для каждого кластера и передаются лицу, принимающему решения. Методы проверки согласованности экспертов и в случае необходимости -разбиения их на группы-кластеры, а также усреднения ранжировок рассматриваются в пункте ПЗ-6.

ПЗ-3. Теоретические единичные показатели качества

К теоретическим единичным показателям качества эконометрической модели относятся показатели, не связанные с непосредственным использованием при оценивании и сравнении моделей данных реальных наблюдений, а именно, группы показателей:

адекватности (обоснованности);

внутренней согласованности;

устойчивости;

полноты;

эффективности использования.

К показателям адекватности (обоснованности) относятся показатели:

соответствия модели экономической (управленческой, технической, физической, химической, биологической, экологической и др.) сути явления, ее связи с научными результатами соответствующих областей;

наличия надежной информации об экспериментальном подтверждении модели, о точности и практическом применении сделанных с ее помощью выводов и прогнозов.

К показателям внутренней согласованности относятся показатели:

логической непротиворечивости модели;

соблюдения различных законов сохранения (в частности, балансовых соотношений);

соблюдения соотношений теории размерностей;

наличия или отсутствия произвольных (не обоснованных научными методами) предположений;

выполнения естественных граничных и предельных соотношений.

К показателям устойчивости относятся показатели:

непрерывности расчетных величин эконометрической модели в случае непрерывности входных переменных;

устойчивости выводов относительно допустимых преобразований шкал измерения;

малой вариабельности выходных переменных при незначительных изменениях входных переменных (включая эмпирические константы);

устойчивости к аномальным значениям отдельных экспериментальных результатов (в случае, если применение модели предполагает проведение экспериментов);

устойчивости к вычислительным погрешностям.

К показателям полноты относятся показатели, показывающие:

насколько исчерпывающе набор выходных переменных отражает потребности конечного пользователя;

насколько исчерпывающе набор выходных переменных отражает потребности смежных моделей;

насколько исчерпывающе отражены в модели главные черты описываемого объекта (с точки зрения имеющейся в объектной области теории).

К показателям эффективности использования относятся показатели:

простоты и наглядности модели;

удобства пользования моделью;

доступности информации, необходимой для применения модели;

стоимости получения информации, необходимой для применения модели.

Перечень теоретических единичных показателей качества родственных моделей может быть дополнен в соответствии со спецификой моделируемого явления или процесса.

3.8. Оценивание теоретических единичных показателей качества родственных

моделей проводится экспертным путем. Допускается использование одного или нескольких

экспертов в случае доступности исходной информации и отсутствии причин для

возможного расхождения мнений экспертов. В противном случае необходимо проведение

экспертного опроса в полном объеме.

ПЗ 4. Эмпирические единичные показатели качества

Эмпирические единичные показатели качества применяются, когда имеются надежные результаты экспериментов, позволяющие сравнивать результаты измерений, наблюдений, анализов, проб с расчетными значениями, полученными на основе родственных моделей.

Для проведения такого сравнения на основе того или иного эмпирического единичного показателя качества могут быть использованы различные методы эконометрики, прикладной статистики и планирования экспериментов.

В случае одной числовой выходной переменной в соответствии с принятым в настоящей методике подходом используют два основных метода ранжировки родственных математических моделей (использующих два основных эмпирических единичных показателя качества):

по сумме относительных отклонений результатов измерений от расчетных значений

(п.4.4);

по сумме рангов, присвоенных моделям в каждой экспериментальной точке в зависимости от близости к измеренным значениям (п.4.5);

а также дополнительные по числу экспериментальных точек, в которых модель оказалась наилучшей (п.4.6).

При использовании метода ранжировки по сумме относительных отклонений для каждой модели подсчитывают относительную погрешность в каждой экспериментальной точке (относительно наблюденного значения), складывают эти относительные погрешности (без учета знаков) и ранжируют модели в порядке возрастания указанных сумм.

4.5. При использовании метода ранжировки по сумме рангов в каждой

экспериментальной точке строят ранжировку (упорядочение) моделей по степени близости

соответствующих расчетных значений к результату наблюдений (без учета знака

отклонения) самая точная модель получает ранг 1, вторая по точности ранг 2, и т.д. Затем

ранги складываются по всем экспериментальным точкам и модели ранжируются в порядке

возрастания суммы рангов.

Вариантом метода ранжировки по числу экспериментальных точек, в которых модель оказалась наилучшей (без учета знака отклонения), является метод разбиения рассматриваемой совокупности родственных моделей на два класса тех, которые оказались наилучшими хотя бы для одной экспериментальной точки (т.е. оптимальных по Парето), и остальных, никогда не бывших наилучшими.

Другой вариант предполагается учет числа точек, в которых та или иная из рассматриваемой совокупности родственных моделей оказалась наилучшей (наиболее точной). Чем в большем числе точек модель оказалась точнее, тем выше она оценивается. Число классов в этом варианте не фиксировано, оно может меняться от 1 (когда каждая модель оптимальна ровно в одной точке) до общего числа экспериментальных точек.

При наличии достаточной эмпирической информации целесообразно построить формально-статистические модели, например, линейного регрессионного анализа, примененного к входным переменным или функциям от них (например, логарифмам, если исходные модели описываются степенными функциями), рассчитать оценки параметров по экспериментальным данным (т.е. идентифицировать модели), добавить вновь построенные модели в перечень родственных моделей и сравнить их с остальными согласно настоящей методике.

4.8. Перечень эмпирических единичных показателей качества родственных

математических моделей может быть дополнен в соответствии со спецификой

моделируемого явления или процесса. В частности, могут быть использованы такие

показатели, как:

сумма квадратов отклонений расчетных значений от результатов измерений, наблюдений, анализов, проб;

сумма модулей таких отклонений;

сумма квадратов относительных погрешностей;

величина максимально возможного отклонения (с учетом или без учета знака);

расстояние (показатель близости) иного вида между вектором экспериментальных значений и вектором расчетных значений, соответствующих определенной модели, например, расстояние Махаланобиса при той или иной корреляционной (или весовой) матрице;

в случае нескольких выходных параметров различные характеристики качества планов эксперимента, разработанные в теории планирования эксперимента (в соответствии с перечнем, приведенным в монографии [1], глава II).

4.9. Пример сравнения (ранжировки) родственных математических моделей на основе эмпирических единичных показателей качества дан в пункте ПЗ-7 ниже.

ПЗ-5. Методы согласования ранжировок

Методы раздела 5 применяются в соответствии с п.2.6 для согласования ранжировок родственных моделей, полученных с помощью теоретических или эмпирических единичных показателей качества моделей, а также ранжировок, построенных на основе групповых показателей качества, в частности, показателей, рассмотренных в пп.3.2 -3.6.

При согласовании ранжировок исходят из двух или нескольких ранжировок, вообще говоря, со связями (нестрогих линейных порядков). В каждой ранжировке модели располагаются в порядке понижения качества, причем некоторые модели могут признаваться эквивалентными (по рассматриваемому показателю качества). Ранжировки моделей могут быть получены как при их объективном сравнении по различным показателям качества, так и от экспертов, сравнивающих модели по тому или иному показателю или их набору.

На первом этапе согласования ранжировок выделяются противоречивые пары моделей. Пара моделей А и В признается противоречивой, если в одной из рассматриваемых ранжировок модель А строго лучше модели В, а в какой-то другой модель В строго лучше модели А. Тем самым определяется симметричное бинарное отношение (квазитолерантность) на множестве моделей.

В соответствии с правилами теории бинарных отношений проводится транзитивное замыкание квазитолерантности, построенной в соответствии с п. 5.3. Устанавливается порядок между классами эквивалентности, соответствующий порядкам во всех исходных ранжировках. Полученная ранжировка называется согласующей для множества исходных ранжировок. При сравнении согласующей ранжировки с любой из исходных не существует ни одной противоречивой пары (это вытекает из теорем, приведенных в пункте ПЗ-8 ниже).

При необходимости упорядочения по качеству моделей, входящих в один класс согласующей ранжировки (т.е. эквивалентных в соответствии с ней), привлекается дополнительная информация. Эта информация может опираться на дополнительные показатели качества, на результаты дополнительных исследований, как экспериментальных, так и теоретических, в частности, проведенных методами статистики объектов нечисловой природы (см. главу 8 выше).

ПЗ-6. Методы проверки согласованности, кластеризации и усреднения ранжировок

При необходимости упорядочения по качеству моделей, входящих в один класс согласующей ранжировки (п.5.5), применяют методы проверки (статистической) согласованности, при необходимости кластерного анализа, а затем усреднения ранжировок, разработанные в статистике объектов нечисловой природы.

Методы, указанные в п.6.1, предполагают использование того или иного расстояния (меры различия) в пространстве ранжировок (со связями). В соответствии с методологией настоящей методики используется расстояние Кемени-Снелла, связанное с коэффициентом ранговой корреляции Кендалла, при проверке (статистической) согласованности и при необходимости проведении кластерного анализа. При усреднении ранжировок используется мера различия, основанная на коэффициенте ранговой корреляции Спирмена. Допускается использование иных расстояний и мер близости (различия) в том числе:

расстояния, основанного на понятии ближайшего соседа;

иных расстояний и мер близости, разработанных в статистике объектов нечисловой природы.

При использовании одновременно нескольких расстояний (мер различия или близости) в пространстве ранжировок (со связями) в соответствии с методологией настоящей методики необходимо использовать выводы, устойчивые относительно выбора того или иного расстояния (меры различия) в пространстве ранжировок (со связями).

В соответствии с методологией настоящей методики сначала проверяется согласованность набора ранжировок с помощью коэффициента ранговой конкордации Кендалла и Бебингтона Смита (при небольшом числе связей) или теории люсианов (если ранжировки построены на основе парных сравнений моделей), а также согласованность оценивается экспертно.

В случае недостаточной согласованности набора ранжировок проводится их разбиение на группы схожих между собой тем или иным методом кластерного анализа. Результат разбиения должен быть достаточно устойчив относительно выбора метода кластер-анализа. Деление показателей качества на группы, по которым модели оцениваются схожим образом, или экспертов на группы с близкими мнениями используется неформально при дальнейшем сравнении родственных математических моделей.

При положительном ответе на вопрос о согласованности ранжировок результирующая (итоговая) ранжировка находится как эмпирическое среднее (медиана Кемени) согласно статистике объектов нечисловой природы (с учетом сказанного в пп. 6.2, 6.3). При отрицательном ответе на вопрос о согласованности ранжировок результирующие (итоговые) ранжировки находятся отдельно для каждого кластера.

Информация о расчетных формулах по методам раздела 6 и их теоретических основах приведены в пункте ПЗ-9 ниже.

ПЗ-7. Пример сравнения родственных эконометрических моделей на основе эмпирических единичных показателей качества

При решении задач экологического страхования необходимо проанализировать последствия возможных аварий на химических производствах. Другими словами, в экологическом страховании экономические проблемы переплетаются с проблемами химической безопасности биосферы. Поэтому нет ничего удивительного в том, что в качестве примера рассматриваются 8 родственных эконометрических (если угодно -математических) моделей стационарных процессов испарения жидкости с открытых поверхностей. Модели будем различать по фамилиям предложивших и изучавших их специалистов. Это модели Лебузера (в дальнейшем кратко Л), Мак-Кея (М-К), Гусева-Баранаева (Г-Б), Клячко (К), Стефана (Стеф), Братсерта (Б), Дикона (Д), Соломона (Сол). Имеются данные о 12 конкретных экспериментах. Для соответствующих 12 наборов входных переменных получены расчетные значения по упомянутым 8 моделям. В табл.1 приведены значения относительных погрешностей (в процентах и без учета знака) расчетных значений относительно реальных.

В последней строке табл.1 в соответствии с п.4.4 методики приведены суммы относительных отклонений результатов измерений от расчетных значений. Упорядочение (ранжировка) по сумме относительных погрешностей (отклонений) имеет вид:

Б < М-К < Л < Сол < Д < Стеф < К < Г-Б . (1)

В табл.2 приведены ранги 8 моделей по точности приближения в отдельных экспериментальных точках (ранг 1 самая точная модель, ранг 2 вторая по точности,..., ранг 8 самая далекая от истинного экспериментального значения модель). Они получены путем сравнения относительных погрешностей из табл.1.

В соответствии с п.4.5 ранги складываются по всем экспериментальным точкам (суммы приведены в предпоследней строке табл.2) и модели ранжируются в порядке возрастания суммы рангов. Итоговый ранг приведен в последней строке табл.2. Ранжировка по суммам рангов (или, что то же, по средним арифметическим рангов) имеет вид:

Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К . (2) Поскольку модели Л и Сол получили одинаковую сумму баллов, то по этому показателю они эквивалентны, а потому объединены в группу (кластер), т.е. ранжировка (2) имеет одну связь.

Сравнивая ранжировки (1) и (2), видим, что они весьма похожи. Они отличаются только по двум позициям:

стоящие рядом в ранжировке (1) модели Л и Сол в ранжировке (2) объединены в один кластер;

модели К и Г-Б расположены в ранжировках (1) и (2) в противоположном порядке.

В соответствии с п.5.3. на первом этапе согласования ранжировок следует выделить противоречивые пары моделей. При сравнении ранжировок (1) и (2) только пара моделей К и Г-Б признается противоречивой. Следовательно, для ранжировок (1) и (2) согласующей является кластеризованная ранжировка

Б<М-К<Л<Сол<Д<Стеф< {К, Г-Б}, (3) в которой модели упорядочены от лучшей к худшей.

Рассмотрим теперь дополнительные методы ранжирования, предусмотренные п. 4.6 настоящей методики. Вариантом метода ранжировки по числу экспериментальных точек, в которых модель оказалась наилучшей (без учета знака отклонения), является метод разбиения рассматриваемой совокупности родственных моделей на два класса тех, которые оказались наилучшими хотя бы для одной экспериментальной точки (т.е. оптимальных по Парето), и остальных, никогда не бывших наилучшими. В первое множество входят модели Б, М-К, Л, Сол, Д, являющиеся оптимальными по Парето на рассматриваемом множестве экспериментальных точек, во второе остальные модели, т.е. Стеф, К, Г-Б, и соответствующая ранжировка со связями имеет вид

{Б, М-К, Л, Сол, Д} < {Стеф, К, Г-Б} . (4) Ранжировка (4) не имеет противоречивых пар с ранжировкой (3), поэтому можно считать, что ранжировка (3) является согласующей для всех трех ранжировок (1), (2), (4).

Другой вариант, предусмотренный п.4.6, предполагается учет числа точек, в которых та или иная из рассматриваемой совокупности родственных моделей оказалась наилучшей (наиболее точной). Чем в большем числе точек модель оказалась точнее, тем выше она оценивается. Модель Л является наилучшей в 5 экспериментах (№№ 5, 7, 8, 9, 11), модель Б -в 2 экспериментах (№№ 2, 10), как и модели Д (эксперименты №№ 3, 12) и Сол (эксперименты №№ 4, 6), модель М-К в одном (№ 1), остальные ни разу. Ранжировка имеет вид:

Л < {Б, Д, Сол} < М-К < {Стеф, К, Г-Б} . (5)

Сопоставим ранжировки (3) и (5). Имеем следующие четыре противоречивые пары: Л и Б, Л и М-К, Д и М-К, Сол и М-К. Значит, в один кластер с М-К надо включить Л, Д и Сол, а раз модель Л связана противоречием в Б, то и Б надо включить в этот кластер, состоящий в итоге из 5 моделей Л, Б, Д, Сол, М-К. Итоговая ранжировка имеет вид:

{Л, Б, Д, Сол, М-К }< Стеф < {К, Г-Б} . (6) Она является согласующей для четырех ранжировок (1), (2), (4), (5). (Напомним, что кластер {К, Г-Б} появился как следствие противоречия в упорядочении моделей К и Г-Б в ранжировках (1) и (2).)

Выше приведены результаты формального анализа семейства 8 родственных моделей по 4 критериям. Общее заключение должно быть сделано экспертным путем.

В данной ситуации по мнению экспертов итогом сравнения моделей должна быть признана ранжировка (3), являющаяся согласующей для 3 из 4 критериев:

Б < М-К < Л < Сол < Д < Стеф < {К, Г-Б}. Ранжировка (6), согласующая для всех четырех критериев, объявляет эквивалентными 5 наиболее интересных моделей, поскольку оставшиеся 3 модели по результатам анализа экспериментальных данных можно вообще исключить из дальнейшего рассмотрения. Согласно п. 5.5 в случае необходимости упорядочения моделей, попавших в один кластер, привлекается дополнительная информация. В рассматриваемом случае дополнительная информация дает основания исключить один из четырех критериев.

В главе 12 процедура согласования ранжировок использовалась при анализе мнений экспертов. Однако в настоящем приложении 3 речь идет не о мнениях экспертов, а о сравнении эконометрических моделей. Исходные данные табл. 1 результаты измерений, а не субъективные оценки.