7.1 сущность и содержание метода экспертных оценок

7.1 сущность и содержание метода экспертных оценок

¨ сущность метода экспертных оценок

¨ подготовка экспертизы

¨ проведение опроса экспертов

Сущность метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Метод экспертных оценок используется для решения различных сложных неформализуемых проблем. Все множество плохо формализуемых проблем можно условно разделить на два класса.

К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании "хорошего измерителя". Это означает, что выполняются следующие условия:

¨ эксперт располагает большим объемом рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода "информационный измеритель с небольшими погрешностями");

¨ групповое мнение экспертов близко к истинному решению проблемы.

Если эти условия выполняются, то для построения процедур опроса и алгоритмов обработки можно использовать теорию измерений и математическую статистику.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для выполнения указанных условий. При решении проблем этого класса экспертов уже нельзя рассматривать как "хороших измерителей". Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для "хороших измерителей", в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнения остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок обширна и охватывает неформализуемые проблемы первого и второго классов. Перечислим типовые задачи, решаемые методом экспертных оценок:

¨ составление перечня возможных событий в различных областях за определенный промежуток времени;

¨ определение наиболее вероятных интервалов времени наступления совокупности событий;

¨ определение целей и задач управления, с упорядочением их по степени важности;

¨ определение альтернативных вариантов решения задачи, с оценкой их предпочтения;

¨ альтернативное распределение ресурсов для решения задач, с оценкой их предпочтительности;

¨ альтернативные варианты принятия решений в определенной ситуации, с оценкой их предпочтительности.

Можно ориентировочно наметить следующие основные этапы проведения экспертизы, последовательность и содержание которых будут изменяться в зависимости от реальных условий и ограничений:

формулирование цели экспертизы;

формирование группы специалистов-аналитиков;

отбор и формирование группы экспертов;

проведение опроса;

анализ и обработка информации экспертов;

синтез объективной (статистической) информации и информа

ции, полученной в результате экспертизы, с целью приведения их в фор

му, удобную для принятия решения.

Объединим некоторые этапы и более подробно остановимся на подготовке, подборе и опросе экспертов, а также на анализе и обработке информации, полученной от экспертов.

Подготовка экспертизы

К подготовке экспертизы относятся первые три этапа проведения экспертизы. Большое значение имеет четкое определение цели (целей) экспертизы. Основой для выбора целей экспертизы является описание предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в значительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения цели (целей) экспертизы формируется группа специалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требуют включения в ее состав высококвалифицированных специалистов, как в области анализируемой проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам -математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает перечень (множество) оцениваемых событий и устанавливает совокупность устойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и целей экспертизы и может быть выполнено на разном уровне детализации. Можно наметить следующие уровни:

¨ качественное описание всего множества оцениваемых событий;

¨ перечень событий;

¨ описание устойчивых факторов для каждого из событий;

¨ выделение числа различимых уровней для каждого события;

¨ выделение числа различимых уровней для каждого фактора;

¨ описание набора устойчивых значений факторов для каждого уровня событий и т.д.

От уровня детализации в существенной степени зависит достоверность результатов экспертизы, причем с увеличением степени детализации согласованность экспертных оценок, как правило, увеличивается.

Сложной проблемой процедуры отбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность и широта мышления, самокритичность и др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность — это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является Методика ГКНТ [7.7], в которой компетентность экспертов оценивается коэффициентом компетентности k. Он вычисляется на основе суждения эксперта о степени своей информированности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетентности вычисляется по формуле

где ku коэффициент информированности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1;

ka — коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл. 7.1).

Таблица 7.1.

Эталонная таблица коэффициентов аргументации

Эксперту дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если ka = 1,0, то степень влияния всех источников высокая; если ka = 0,8, то средняя и, если ka = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 £ k £ l.

Существуют подходы к оценке компетентности, основанные на учете апостериорных данных, т.е. на учете результатов экспертного оценивания.

Например, в работе П.Л. Борисовского и др. [7.2] предложен способ оценки компетентности экспертов, базирующийся на вычислении среднего расстояния в пространстве между признаками товаров, которые оценивались экспертами. Считается, что если это расстояние мало, то эксперт подходит к оценке товара в целом, не различая отдельных сторон товара, и, следовательно, такой эксперт недостаточно компетентен.

Креативность — это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта.

Конформизм -это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения.

Аналитичность и широта мышления — это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетентности, а также при принятии решения по рассматриваемой проблеме.

К характеристикам группы экспертов можно отнести: достоверность экспертизы и затраты на нее.

Достоверность экспертизы зависит от количества экспертов в группе и качества экспертов. На рис. 7.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

Достоверность экспертизы существенно зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

На рис. 7.2 приведен график экспериментальных данных, подтверждающих монотонно возрастающую зависимость между достоверностью экспертизы и уровнем групповой самооценки компетентности. На графике по оси абсцисс отмечены три уровня групповой компетентности: высокая (В), средняя (С), низкая (Н).

Проведение опроса экспертов

Проведение опроса экспертов (анкетирование) является наиболее эффективным и самым распространенным видом опроса. Анкетирование заключается в заполнении экспертами опросных листов-анкет.

Серьезного внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три вида вопросов, по которым дается экспертная оценка:

¨ вопросы, ответы на которые содержат количественную оценку;

¨ вопросы, требующие содержательного ответа в сжатой форме;

¨ вопросы, требующие содержательного ответа в развернутой форме.

Пример такой группировки вопросов, используемых в прогнозировании, приведен в табл. 7.2.

Таблица 7.2.

Виды и типы вопросов

Чтобы уточнить содержание анкеты, формулировки вопросов, их последовательность, выяснить, не утомляет ли анкета опрашиваемых, не нужно ли включить дополнительные и исключить "неработающие" вопросы, заменить вопросы, допускающие двойное толкование, проводится ее проверка. Для этого подбираются "разноплановые7' эксперты (по стажу работы, по специализации и т.п.). Проверка осуществляется в форме личного интервью.

Анкетирование может быть очным и заочным. Недостаток очного анкетирования -возможность влияния анкетирующего руководителя (члена группы управления) на ответы эксперта. Недостаток заочного анкетирования -в возможности неправильного истолкования вопросов экспертом, затяжки в ответах и т.п. Достоинство заочного анкетирования -простота его организации, возможность привлекать без больших затрат экспертов, живущих в разных городах, и т.п.

Кроме анкет-вопросников, экспертам должна быть дана пояснительная записка, имеющая целью предопросную ориентировку экспертов и содержащая информацию о целях экспертизы, задачах опроса, объектах экспертизы, необходимые организационные сведения и инструкцию по заполнению анкет, в которой приводятся примеры порядка и способа заполнения.