Согласованность экспертных оценок

Согласованность экспертных оценок

Как обеспечиваются надежность и валидность наблюдения? То есть как установить, что данные наблюдения лишены случайных ошибок (надежность) и отражают заданное психическое свойство (валидность)? Для этого необходимо привлечь к стандартизированному наблюдению за одними и теми же объектами и событиями не менее двух независимых наблюдателей-кодировщиков. При этом либо все наблюдатели одновременно производят «живое» наблюдение, либо они имеют дело с видеозаписью.

После получения независимых протоколов между протоколами рассчитываются хорошо известные психологам с университетским образованием коэффициенты сопряженности (аналог коэффициентов корреляции для качественных признаков — Рунион, 1982). Значение вычисленного коэффициента сопряженности указывает на сводный показатель «надежность+валидность». Чем ближе к единице этот коэффициент, тем более надежным и валидным считается методика наблюдения в исполнении данного коллектива наблюдателей. Степень отличия коэффициента от 1 указывает на одновременное наличие случайных (ненадежность) и систематических (невалидность) ошибок наблюдения. Огрубление можно сказать, что относительная доля правильных кодировок в отношении к общему числу кодировок и есть мера «НАДЕЖНОСТИ-ВАЛИДНОСТИ» наблюдения. Таком образом, в любом методе экспертной оценки в качестве меры «надежности-валидности» выступает СОГЛАСОВАННОСТЬ оценок независимых экспертов.

Очевидно, что подобный эксперимент по измерению надежности и валидности наблюдения не есть удел и задача практиков. Этим должны заниматься те, кто разрабатывает методику стандартизированного наблюдения. Но... Но в отличие от психометрической стандартизации теста (см. следующий раздел 2.3), важно апробировать не только качество методики и однозначность инструкции, но и проверить то, насколько квалифицированными исполнителями оказались данные конкретные наблюдатели-кодировщики.

Отступление для пояснения. Как учатся измерять артериальное давление медики? Им дают прослушивать записанный на аудиокассеты стандартный набор шумов. Они учатся различать систолические и диастолические тоны сердца. Они проходят так называемую «стандартизацию». Только добившись определенного уровня точности (надежности), медик получает соответствующее аттестационное удостоверение, в котором фиксируется его право производить измерение артериального давления.

В идеале подобную стандартизацию на эталонном материале должны проходить все наблюдатели-кодировщики для исполнения любой методики стандартизированного наблюдения. То есть после того, как состоялась проверка самой методики на эталонном наборе наблюдателей, и методика признается разработанной, каждый новый наблюдатель-исполнитель проходит стандартизацию по отношению к тому материалу, на котором добились успеха (то есть дали согласованные протоколы) первые наблюдатели. Такова общая логика в разработке любой методики экспертной оценки. Вначале первичный материал для оценки и инструкция по оценке считаются нестандартизированными, а в качестве своего рода эталона выступают те первые эксперты, которые с ним знакомятся и первыми добиваются согласованности (нередко путем многократного внесения уточнений и модификаций в инструкцию, кодифицирующую признаки). Но после этого данный проинтерпретированный (запротоколированный) материал уже в свою очередь считается эталонным, а новые эксперты проходят стандартизацию по отношению к этому материалу. Понятно, что чем больше независимых экспертов привлечено к этапу первичной отработки кодифицированной системы признаков и чем больше кодировщиков участвует в практическом наблюдении, тем надежнее оказываются результаты этого наблюдения. Это происходит из-за того, что и случайные ошибки (вследствие колебаний внимания), и систематические ошибки (в силу неправильного толкования инструкции по какому-то признаку), допущенные одним экспертом, погашаются при суммировании с результатами других экспертов. Эти другие эксперты также допускают ошибки, но это — разные ошибки. Если вероятность единичной ошибки у среднего эксперта равна, допустим, 0.2, то вероятность того, что одну и ту же ошибку совершат 3 (или больше) экспертов из 5, равна всего лишь порядка 0.05. То есть коллектив, как видим, работает гораздо надежнее, чем одиночка. При ощутимой вероятности ошибки одиночного эксперта вероятность ошибки коллектива оказывается уже близкой к пренебрежимо малой вероятности. (Напомним, что 5 процентный уровень ошибки считается признанным стандартным допустимым уровнем вероятности ошибки в гуманитарных отраслях знания).

Принцип суммирования независимых экспертных оценок широко используется в такой общеизвестной сфере, как спорт. Напомним, к примеру, о практике фигурного катания. Минимальное число судей присуждает победу в боксе — пять. И даже если двое из них ошиблись и присудили победу слабейшему боксеру, то победа все равно присуждается сильнейшему — достаточным оказывается мнение трех других.

Массовое распространение компьютерной техники, в том числе в школе, придает новый импульс методам стандартизированного наблюдения. Дело в том, что провести корректное согласование экспертных оценок и измерить их надежность-валидность вручную, конечно, довольно трудно. Другое дело, когда вы вооружены специализированной компьютерной программой, облегчающей и сбор, и анализ таких экспертных оценок. Образец подобной программы под названием ЭКСПАН (ЭКСПертный АНализ) распространяется в России фирмой «Гуманитарные технологии», работающей на базе факультета психологии МГУ (разработчик — А. Г. Шмелев, 1990,1995). С помощью этой программы вы можете оценить у целого класса учеников (до 50 человек) широкий набор до 50 признаков с помощью весьма представительной группы экспертов (до 50 человек). ЭКСПАН быстро подсчитает как суммарную согласованность между экспертами (после этого можно удалить экспертов, которые совершенно не поняли смысла задания и сильно разошлись с оценками остальных), а также согласованность по отдельным признакам, что позволяет быстро определить, какие уточнения в инструкцию для данного признака нужно внести, чтобы добиться согласованности.