Интеграция экспертных оценок

Интеграция экспертных оценок

Очень часто в задачах экспертной оценки мы имеем дело с необходимостью построить суммарную оценку объекта, то есть подсчитать так называемый «ИНТЕГРАЛЬНЫЙ РЕЙТИНГ» по оценкам, которые эксперты дают различным признакам (параметрам, показателям) объекта. Вспомним опять же всем известный пример с фигурным катанием. Общая оценка фигуриста суммируется из независимых оценок по двум показателям: «за технику исполнения» и «за артистизм».

Так и в школьном обучении. Например, интегральная успеваемость («рейтинг успеваемости») подсчитывается путем суммирования (или усреднения) оценок учеников по всем предметам. Но правильно ли, что ведущие предметы (математика, родной язык) вносят в интегральный рейтинг такой же вклад, как относительно второстепенные предметы (хотя бы по числу учебных часов в неделю), как пение, рисование и физкультура? Можно, например, учесть более важное значение главных предметов путем суммирования оценок по этим предметом с более весомым коэффициентом. Такой весовой коэффициент может, например, отражать число учебных часов в неделю. Тогда обобщенная формула рейтинга R получит следующий вид:

R = P1 · A1 + P2 · A2 + …Pk · Ak,

где А1— оценка объекта (ученика) по 1-му показателю,

Ak — оценка объекта (ученика) по k-му показателю,

P1 — значимость (вес) 1-го показателя,

Pk — значимость (вес) k-го показателя.

В упомянутой выше программе EXPAN такой показатель рассчитывается для всех учеников по всем признакам и по всем экспертам (в программе, естественно, реализована более сложная и универсальная формула, позволяющая привести рейтинг к единой шкале от 1 до 1000 с учетом разного количества показателей, разного количества экспертов и, возможно, разных оценок значимости Pi для k критериев, которую дают разные эксперты).

Конечно, пример с оценками по учебным предметам есть только пример, призванный пояснить студентам смысл формулы «интегрального рейтинга». Сам по себе этот пример не имеет по сути никакого психодиагностического значения.

Более серьезный содержательный эффект подобный подход может иметь тогда, когда оценке подвергаются относительно элементарные составляющие такого, например, интегрального свойства, как «уровень сформированное™ учебной деятельности». Оценки по предметам не всегда точно отражают этот наиважнейший параметр, предопределяющий перспективы ученика на многие годы вперед, включая поступление и обучение в вузе, где важно иметь развитые навыки самообучения. Вот примерный и далеко не полный перечень возможных показателей для экспертной оценки (к ней, очевидно, должны быть привлечены учителя по всем главным предметам, имеющие дело с данным классом):

1) умение «активно слушать», воспринимать и усваивать новый материал со слуха, во время объяснений учителя на уроке;

2) умение самостоятельно читать и усваивать новый материал по учебнику и другой учебной литературе;

3) высокий темп и точность действий по выполнению письменных заданий (самостоятельных, практических и контрольных работ) на уроке,

4) аккуратное выполнение домашних заданий, наличие своевременной и полной отчетности по письменным домашним заданиям и другим домашним работам;

5) умение удачно отвечать с места;

6) умение удачно отвечать у доски, объяснять и рассказывать усвоенный материал;

7) умение творчески применить усвоенный ранее материал к решению нового задания (умение сравнить новый и старый материал, сделать правильные выводы на основе этого сравнения), умение самостоятельно обобщать, интегрировать приобретенные знания; и т. п.

Уже этот далеко не полный и довольно поверхностный список так называемых обобщенных «учебных умений» позволяет построить весьма полезный для педагогической работы «сквозной профиль» ученика. При этом выясняется (и это легко будет видеть на графической модели профиля), что, к примеру у данного ученика Сидорова практически по всем предметам неплохо обстоит дело с «усвоением», но плохо с «применением» знаний, а у ученика Семенова — неплохо с работой в классе, но совсем плохо — с работой дома. Кстати, программа ЭКСПАН суммирует все экспертные оценки и строит такой профиль автоматически.

Таким образом, кроме интегрального рейтинга весьма информативен именно диагностический профиль. Он несет в себе более ценную структурную, качественную, а не только количественную информацию. По форме профиля (по наличию пиков и впадин на профиле) можно судить в данном случае о стиле учебной деятельности, устойчиво проявляющимся в работе ученика по разным предметам и с разными учителями. Последующий анализ причин, почему, например, Семенов не может работать дома, позволяет вскрыть важные факторы, воздействующие на данного ребенка (как такие простейшие внешние факторы, как отсутствие подходящих квартирных условий, так и менее очевидные факторы, как сверхвключенность в дворовую компанию или «телевизионный фанатизм» в развитой стадии). Вполне вероятно, что еще не исчерпаны элементарные возможности по внешней коррекции и устранению этих факторов (выполнение домашних заданий в школе, например), которые могут принципиально улучшить общие показатели, общую успеваемость и интегральное самочувствие ребенка в школе.

В этом разделе мы, конечно, уделили больше внимания общей формально-логической схеме применения методов наблюдения и экспертной оценки. Огромное разнообразие всевозможных вариантов применения этих методов здесь перечислить было просто невозможно. Творческое овладение педагогическим коллективом шкоды (под методическим руководством школьного психолога) подобными на самом деле очень доступными и практичными методами позволит школе очень гибко и быстро решать самые разнообразные задачи.

Ключевые термины: поисковое наблюдение, стандартизированное наблюдение, аналитическое наблюдение, кодификация признаков, протокол наблюдения, согласованность экспертных оценок, надежность-валидность экспертных оценок, интегральный экспертный рейтинг.