Страница 66

Дж. Норкини, Дж. Сиа, Л. Кроссо (John Norcini, Judy Shea, Louis Grosso 1991) исследовали влияние числа экспертов и числа оцениваемых параметров на точность оценок. Важным в их исследовании был вопрос о необходимом множестве единиц наблюдения для получения надежных экспертных оценок при сочетании, изменении этих двух переменных. Для эксперимента было создано несколько форм теста. При работе экспертов варьировались количество экспертов и число параметров, которые они оценивали. Уменьшение ошибки достигалось как увеличением количества экспертов, так и увеличением количества параметров в тестах, по которым оценивается тот или иной объект.

При пяти экспертах и 25-ти оцениваемых параметрах ошибка оценки составляла 1 единицу на 100, т. е. была на уровне 1%.

Дальнейшее увеличение количества экспертов и параметров оцениваемого объекта к статистически значимым уменьшениям ошибки оценивания не вело. Однако эти эксперименты проведены с экспертами, которые хорошо знали свою область оценивания.

Выявлена зависимость: уменьшить ошибку экспертных оценок можно за счет увеличения оцениваемых параметров при сокращении количества экспертов и наоборот.

На точность экспертных оценок влияют и способы, разновидности экспертных методов, которые используются. Существуют методики акмеологических экспертиз, построенные на организации общения между экспертами, а также построенные не на изоляции каждого эксперта от мнения своих коллег при оценке.

Так, достаточно эффективной оказались акмеологическая экспертиза учебника с использованием метода размышления вслух. В этой экспертизе принимали участие эксперты и редакторы учебников. В результате экспертизы все участники эксперимента пришли к общему мнению. В результате было сформулировано гораздо больше рекомендаций, нежели просто при формализованной оценке учебника или же при оценке учебника без обсуждения вслух.

Способы повышения точности акмеологических экспертиз в каждом конкретном случае могут быть различными. И эти способы надо искать.

Высокая степень несогласованности мнения экспертов выступает признаком того, что они пользуются несколько различными критериями при оценке объекта, процесса, явления. Это настораживающий признак. Но не менее тревожным признаком, ставящим под сомнение точность экспертных оценок, является тот, что мнение экспертов, ранее противоречивое, постепенно становится единым.

Причины этого могут заключаться в том, что мы имеем случай, когда эксперты стали использовать более единообразные критерии при оценке, стали что они формальнее подходить к оценкам. Это признак того, что эксперты стали как бы "сговариваться" между собой.

Поэтому состав экспертов желательно обновлять, менять по мере того, как начинает проявляться эффект чрезмерной технологической сработанности.

Как отмечалось, акмеологическая экспертиза достаточно трудоемка. Она требует специалистов высокого уровня, поэтому обострился вопрос о том, чтобы иметь какие-то стандартизированные методики, желательно автоматизированные, для оценки личностно-профессионального потенциала работников, для оценки учреждения.

Метод экспертных оценок имеет много общего с экспертными системами, но не сводим к ним. Экспертные системы отражают окружающий мир с помощью знаний, правил пользования знаниями, которые заложены экспертами и поддаются алгоритмизации, автоматизации. Эти системы позволяют делать достаточно обоснованные, разумные логические выводы, манипулировать базами знаний, которые представлены в символьной форме и отражают мнение высококвалифицированных специалистов (экспертов).

Экспертная система отражает в конечном счете мнение экспертов. Причем это мнение не фиксируется на данной ситуации, на данном моменте времени, а является достаточно прогностичным, достаточно общим, разветвленным для того, чтобы его использовать и за рамками конкретной ситуации, но в поле имеющейся базы знаний.

Таким путем можно создавать и экспертные системы, предназначенные для акмеологической экспертизы.

В современной акмеологии уже предложен метод экспертных оценок роста профессионального мастерства курсантов, готовящихся стать летчиками с широким использованием формализации и квантификации (В.Г.Зазыкин, А.П.Чернышев, 1993; А.А.Деркач, В.Г.Зазыкин, 1998).

При оценке динамики и качества обучения курсантов летному мастерству остро стоит вопрос контроля, мониторинга, отслеживания роста мастерства будущих летчиков.

Авторы исходят из того, что уровень летного мастерства инструктора-аса можно оценить некой функцией:

Zi = Z (m, t, ...n),

где m — точность выполнения фигур высшего пилотажа; t — качество выполнения основных элементов пилотирования; n -стабильность качества пилотирования и т. д.

Каждый ас-инструктор в силу индивидуального стиля профессиональной деятельности имеет сугубо индивидуальное содержание своего летного мастерства. Для совокупности инструкторов — это Zl, Z2, Z3,..., Zn... Эти значения будут находиться в определенной области значений. Теперь при оценке экспертами уровня профессионализма курсантов можно видеть степень приближения этих значений к уровню "акме".

Авторы выделили несколько путей использования полученных результатов при построении модели роста профессионализма курсантов.

По сути дела, авторы предложили путь резкого повышения продуктивности экспертных оценок в акмеологической процедуре оценивания. Ее можно назвать и акмеологической экспертизой.

Данный вариант акмеологической экспертизы поддается автоматизации.

Автоматизированный вариант акмеологической экспертизы не является самоцелью, ее роль ограничена. Данные ограничения следующие:

1. Оценку учреждения, работников проводит не компьютер, а высококвалифицированные эксперты с помощью компьютера. Эксперты заложили знания, алгоритмы, правила их обработки, обосновали критерии и способы их оценки при проведении акмеологической экспертизы.

2. Автоматизация при проведении акмеологической экспертизы чаще сводится к экономии времени и количества экспертов, людских ресурсов как при проведении исследования, так и при обработке полученных результатов. При этом может автоматизироваться обработка не всех оценок, а только достаточно объективных.

При всей важности и достаточно высокой надежности автоматизации процедур акмеологической экспертизы она находится под контролем самих экспертов.