Пз-8. теоретические основы методов проверки согласованности, кластеризации и усреднения ранжировок

Пз-8. теоретические основы методов проверки согласованности, кластеризации и усреднения ранжировок

Как указано в п.6.1 настоящей методики, при необходимости упорядочения по качеству моделей, входящих в один класс согласующей кластеризованной ранжировки, применяют методы проверки (статистической) согласованности, при необходимости -кластерного анализа, а затем усреднения ранжировок, разработанные в статистике объектов нечисловой природы. Эти методы предполагают использование того или иного расстояния (меры различия) в пространстве ранжировок (со связями). В соответствии с методологией настоящей методики используется расстояние Кемени-Снелла (см. главу 8, а также монографию [3]), связанное с коэффициентом ранговой корреляции Кендалла (см. справочник [4]), при проверке (статистической) согласованности и при необходимости -проведении кластерного анализа. При усреднения ранжировок часто используется мера различия, основанная на коэффициенте ранговой корреляции Спирмена (см. [4]). Допускается использование иных расстояний и мер близости (различия) в том числе:

расстояния, основанного на понятии ближайшего соседа;

иных расстояний и мер близости, разработанных в статистике объектов нечисловой природы (см. главу 8 и монографии [5-6]).

При использовании одновременно нескольких расстояний (мер различия или близости) в пространстве ранжировок (со связями) в соответствии с методологией теории устойчивости (глава 10) необходимо использовать выводы, устойчивые относительно выбора того или иного расстояния (меры различия) в пространстве ранжировок (со связями).

Сначала проверяется согласованность набора ранжировок с помощью коэффициента ранговой конкордации Кендалла и Бебингтона Смита (при небольшом числе связей) согласно [4, табл. 6.10]. Если ранжировки построены на основе парных сравнений моделей, то используются методы теории люсианов (см., например, [7,8]; пример алгоритмов из теории люсианов описан выше в главе 13). Согласованность экспертов может также оцениваться с помощью другой группы экспертов.

В случае недостаточной согласованности набора ранжировок, т.е. отклонения гипотезы согласованности на уровне значимости 5 \% или более низком, проводится их разбиение на группы схожих между собой тем или иным методом кластерного анализа (см. главу 5). Согласно методологии устойчивости (глава 10) результат разбиения должен быть достаточно устойчив относительно выбора метода кластер-анализа. Рекомендуется одновременно использовать метод ближнего соседа и метод дальнего соседа, используя в дальнейшем устойчивые ядра кластеров, выделяющиеся при одновременном применении указанных двух методов.

Деление показателей качества на группы, по которым модели оцениваются схожим образом, или экспертов на группы с близкими мнениями используется участниками проекта и пользователями банка эконометрических моделей. Это деление учитывается также и неформально при дальнейшем применении или сравнении родственных эконометрических моделей.

При положительном ответе на вопрос о согласованности ранжировок результирующая (итоговая) ранжировка находится как эмпирическое среднее, т.е. медиана Кемени, согласно методам и алгоритмам статистики объектов нечисловой природы. При отрицательном ответе на вопрос о согласованности ранжировок результирующие (итоговые) ранжировки находятся отдельно для каждого кластера. При этом, например, констатируется принципиальное различие научных школ, к которым принадлежат эксперты.