8. исследование возможностей человека в задачах классификации многомерных объектов

8. исследование возможностей человека в задачах классификации многомерных объектов

В ряде экспериментов была показана непосредственная связь человеческого поведения с организацией человеческой системы переработки информации [16, 17]. Объектом исследования являлись широко распространенные на практике задачи классификации многомерных ситуаций. Например, с такими задачами сталкивается руководитель программы проведения научных исследований и разработок, принимая решения о включении в программу тех или иных проектов.

С этими же задачами сталкиваются и инженер, устанавливающий характер неисправности в сложной технической системе, и покупатель в магазине, разделяя интересующие его товары на два класса — заслуживающие или не заслуживающие дальнейшего рассмотрения. Во всех этих примерах человек решает задачу отнесения объекта, имеющего совокупность характеристик (оценки по многим критериям), к одному из нескольких классов решений. Иначе говоря, человек осуществляет многомерную классификацию.

8.1. Схема экспериментов

При проведении экспериментов с различными группами людей (студентами, старшеклассниками, сотрудниками НИИ) предполагалось, что сложность задачи экспертной классификации зависит от следующих параметров задач: числа критериев, числа оценок на их шкалах, числа классов решений. Была выдвинута гипотеза, что поведение людей может измениться при определенном увеличении того или иного параметра задачи. Сложность задачи классификации в каждом из экспериментов определялась тремя следующими параметрами: числом критериев (признаков, характеристик) N, описывающих оцениваемые объекты; числом оценок Wi (I = 1, ..., n) на порядковых шкалах этих критериев (оценки упорядочены от лучшей к худшей); числом классов решений Р, к которым следует отнести рассматриваемые объекты. Все возможные сочетания оценок по разным критериям определяют полное множество возможных описаний объектов. В каждом из экспериментов испытуемому предлагалось оценить все возможные объекты, отнеся каждый'из них к одному из заданных классов решений.

Как пример рассмотрим одну из задач, решавшихся студентами. В качестве объектов классификации выступали описания арендуемых квартир — объектов, хорошо знакомых испытуемым. В качестве критериев оценки объектов предлагались:

1) размеры подсобных помещений и кухни;

2) расположение комнат;

3) район, где находится квартира;

4) экологическая обстановка в районе;

5) стоимость.

Для каждого из критериев была разработана шкала из трех словесных оценок, упорядоченных по качеству от первой к третьей. Так, для первого критерия использовалась следующая шкала оценок:

1) подсобные помещения и кухня большой площади;

2) подсобные помещения и кухня малой площади;

3) кухня малой площади, подсобные помещения отсутствуют. Итак, в данном случае N = 5 и Wi = 3. Нетрудно убедиться, что сочетания различных оценок по критериям задают полное множество возможных объектов. В данном случае количество этих объектов Q = 35 = 243. Описание 243 гипотетических квартир в случайном порядке предъявлялось испытуемому. Его задача состояла в отнесении каждого сочетания к одному из следующих классов решений:

1) квартира хорошая и полностью вас удовлетворяет;

2) квартира удовлетворительная, хотя и имеет ряд недостатков;

3) квартира вам не подходит.

8.2. Параметры, используемые для оценки

поведения испытуемых в задачах

классификации

Отнесение какого-либо объекта к некоторому классу в условиях упорядоченности классов решений (первый класс лучше второго и т.д.) и порядковых шкал оценок критериев накладывает определенные ограничения на отношения между объектами. Так, объекты, доминирующие по критериальным оценкам над данным объектом, не могут быть отнесены к классу, худшему, чем класс данного объекта. С другой стороны, объекты, над которыми он доминирует, не могут быть отнесены к классу, лучшему, чем класс данного объекта. Нарушение этих ограничений считалось ошибкой, допускаемой испытуемым при классификации.

Поведение испытуемых оценивалось по трем параметрам, смысл которых следует объяснить более подробно.

1. Число противоречий. Задача испытуемых состояла в разделении объектов (сочетаний оценок по критериям) на упорядоченные классы. На рис. 7.1,а приведен крайне простой вариант этой задачи — разделение на два класса (первый класс лучше второго) сочетаний оценок по двум критериям: А и В (первые оценки лучшие; оценки на шкалах упорядочены по качеству). На рис. 7.1,а представлено гипотетическое разделение на два класса (пустые клетки — первый класс, заштрихованные — второй класс). Очевидно, что оценка клетки А2B2 противоречит оценкам клеток А2B3, А3B2, А4B2 и А3B3. Следовательно, в данной классификации на рис. 7.1,а имеются четыре противоречия.

2. Число замен (ошибок). Наряду с числом противоречий информативным является и другой показатель — число изменений в ответах испытуемого, которые делают классификацию непротиворечивой. Так, в классификации, представленной на рис. 7.1,а, нужно только одно изменение — назначение другого (первого) класса для сочетания А2B2. Эта замена делает классификацию непротиворечивой. Число замен характеризует число ошибок, совершенных испытуемыми при классификации.

Рис.7.1. Сложное (в) и простое (б) разделение на два класса

сочетаний оценок по двум критериям: А и В

3. Сложность границ между классами. Этот критерий, предложенный нами ранее [19], оценивает сложность правил, используемых при классификации. Так, граница между классами на рис. 7.1, б очень проста, поскольку испытуемый фактически заменил критерии на ограничения. Его решающее правило в данном случае очень просто: к первому классу относятся сочетания, имеющие оценки лучшие, чем A5 и лучше, чем B4 .

Граница между классами на рис. 7.1,а значительно сложнее. Легко убедиться, что она описывается пятью сочетаниями оценок по двум критериям. Замена критерия на ограничения может происходить по двум причинам.

Во-первых, среди испытуемых могут быть люди, которые рассматривают исходную задачу не как многокритериальную, а как более простую — однокритериальную с ограничениями по другим критериям (недаром А. Тверский [8] и Д. Рассо [11] предварительно отбирали испытуемых, использующих все критерии).

Во-вторых, как мы увидим далее, один и тот же человек может перейти к использованию ограничений вместо критериев при усложнении задачи. Известно, что стратегия последовательного введения ограничений вместо критериев («исключение по аспектам») в когнитивном отношении крайне проста.

В соответствии с вышеописанными критериями был установлен уровень требований к качеству выполнения задания, в соответствии с которым выносилось суждение о том, справился ли испытуемый с задачей классификации. Известно, что, выполняя те или иные операции по переработке информации, человек может ошибаться. Однако ошибка ошибке рознь. Как показано на рис. 7.1,а, ошибки, совершаемые вдали от границ, влекут за собой большое число противоречий. Эти ошибки, как правило, очевидны. Они не мешают установить границы между классами решений. Иначе обстоит дело с ошибками, совершаемыми у самой границы. Так, если испытуемый отнес ко второму классу клетку А2В3 на рис. 7.1,а, то имеется лишь одно противоречие (принадлежность клетки АзВз к первому классу), и вопрос ставится следующим образом: отнести клетку А2Вз к первому классу или клетку АзВз ко второму классу. Следовательно, ошибки около границы и на самой границе особенно опасны тем, что они меняют границу между классами, и при большом числе таких ошибок невозможно установить четкие границы между классами решений.

В связи с этим в качестве значения первого критерия, определяющего, справился ли испытуемый с задачей, было принято число ошибок, совершаемое около границы — на единичном расстоянии от границы (изменение на одну оценку по любому критерию переводит сочетание в элемент границы). Было принято, что испытуемый справляется с задачей лишь в том случае, когда число таких ошибок у границ между классами не превышает двух. В качестве второго критерия, определяющего, справился ли испытуемый с задачей классификации, была выбрана сложность границы, отражающая сложность решающих правил, используемых испытуемыми. А именно: требовалось, чтобы среди граничных элементов между классами были хотя бы один — два элемента, представляющих сочетания оценок критериев. Иначе говоря, считалось, что если испытуемый перевел все критерии в ограничения и превратил задачу в «исключение по аспектам», то он не справился с задачей. Действительно, в последнем случае задача многокритериальной классификации просто исчезает.

8.3. Описание экспериментов

Следует разделить эксперименты на две группы: 1) эксперименты, проводимые с людьми, не имевшими большой практики в принятии решений (студенты, школьники первая серия экспериментов), 2) эксперименты, где в качестве испытуемых выступали профессионалы, решающие реальные практические задачи (вторая серия экспериментов).

Для первой группы испытуемых имелись широкие возможности варьировать параметры задачи классификации и условия эксперимента. Студенты (эксперименты с 1-го по 12-й) классифицировали арендуемые квартиры, решая, насколько предлагаемые варианты удовлетворяют их, а школьники (эксперименты 13 и 14) высшие учебные заведения, определяя насколько они подходят им для поступления после окончания школы. Для второй группы испытуемых возможности варьирования параметров задачи почти отсутствовали, и схема эксперимента соответствовала реальной задаче. В экспериментах второй серии участвовали члены редакционного совета научно-исследовательского института, оценивая качество предлагаемых к опубликованию препринтов (эксперименты 15 и 16).

8.4. Результаты экспериментов

Данные о среднем количестве ошибок, допускаемых испытуемыми при выполнении 100 классификаций в каждом из экспериментов, представлены в табл. 7.1.

Таблица 7.1

Результаты экспериментов по решению задачи классификации

 многомерных объектов

Как видно из таблицы, среднее число ошибок зависит от сложности задачи классификации. Можно определить зависимость количества ошибок от параметров Р, N и W. Это позволило получить следующий результат: число ошибок (число замен) при фиксированных N и W существенно зависит от числа классов решений Р.

Среднее время, затрачиваемое испытуемыми на вынесение одного суждения о принадлежности объекта к тому или иному классу, составляло 14 с. Дополнительный анализ качества выполнения классификации, проведенный для каждого испытуемого в соответствии с критериями, позволил вынести суждение, справился ли испытуемый с заданием. Например, в эксперименте 9, при N = 4 (число критериев), Wi = 4, I = l,...,4 (число оценок на порядковых шкалах), Р = 2 (число классов решений), 67\% испытуемых справились с задачей (среднее число ошибок равнялось 3). В эксперименте 7, при тех же N = 4 и W = 4, но уже при Р=4, не справились с задачей 90\% испытуемых, причем наблюдалось резкое увеличение числа противоречий и ошибок (среднее число замен равнялось 8,8).

Были найдены такие значения N, W, Р, что при увеличении одного из этих параметров значительная часть испытуемых переставала справляться с задачей. Было условно определено, что если как минимум треть испытуемых из группы, состоявшей обычно из 10-15 человек, успешно справляется с задачей, то задача классификации данной сложности находится в пределах возможностей человека.

8.5. Обсуждение результатов первой серии

экспериментов

Результаты экспериментов подтвердили гипотезу о существовании пределов возможностей испытуемых в задачах многокритериальной классификации. Полученные результаты показывают, что при определенных значениях параметров происходит резкое увеличение числа противоречий и замен. Испытуемые перестают справляться с задачей, и по их ответам невозможно установить границы между классами.

В чем же причина такого явления? Для ответа на этот вопрос был проведен специальный анализ. Как уже отмечалось, результаты работы испытуемых могут быть представлены в виде элементов границ между классами. Эти элементы показывают, что все альтернативы, доминирующие над ними, относятся к более высоким классам, а доминируемые ими к более низким. После приведения ответов испытуемых к непротиворечивому виду по алгоритмам, предложенным в [17], можно легко определить границы между классами. Эти границы характеризуются как количеством элементов границы, так и их сложностью. Проведенный содержательный анализ элементов границ, а также сопоставление его результатов с результатами анализа письменных протоколов показали, что элементы границы не являются независимыми. Обычно совокупность нескольких элементов границ отражает более общее правило, которое имеет для испытуемых четкое смысловое содержание. Такие правила могут быть определены путем группировки элементов границ по их близости (по содержанию одинаковых оценок). Эти правила достаточно просты для запоминания. Для примера приведем одно из правил, использовавшихся студентами: если квартира расположена в промышленном районе и одновременно дорогая, то она не подходит (третий класс) независимо от планировки.

Совокупность такого рода правил отражается в элементах границ между классами, объединяя их в структурные единицы информации. Стратегии, использовавшиеся испытуемыми, можно представить как совокупность таких правил. Для двух экспериментов (эксперименты 4 и 13), в которых испытуемые не справились с задачей классификации, и для двух экспериментов (эксперименты 6 и 14), в которых испытуемые справились с нею, для каждого испытуемого были выделены правила, используемые ими при классификации в виде структурных единиц информации, объединяющих элементы границ между классами. При анализе оказалось, что в случаях, когда испытуемые справлялись с задачей, количество используемых испытуемыми правил не превышало восьми. В случаях, когда испытуемые не справлялись с задачей, анализ позволил выявить существование большего числа правил. Усредненное для групп испытуемых количество правил, используемых для классификации в экспериментах 4 и 13, составляло 12, а в экспериментах 6 и 14 равнялось 5. Наиболее вероятное объяснение этих данных состоит в следующем. При решении очередной задачи отнесения альтернативы к тому или иному классу испытуемый вынужден помещать в кратковременную память все правила, представляющие собой как бы структурные единицы информации, которыми он оперирует. Как известно, объем кратковременной памяти ограничен.

В случае, когда испытуемые использовали при классификации не более девяти правил (структурных единиц информации), они справлялись с задачей. При попытке воспользоваться большим числом структурных единиц информации оказалось, что часть из них отсутствовала в кратковременной памяти в моменты принятия решений, что и приводило к резкому увеличению числа ошибок и противоречий.

Полученные в работе данные о среднем времени, затрачиваемом на вынесение суждения о принадлежности объекта к какому-либо классу, косвенным образом подтверждают это предположение. Среднее время на выполнение одной классификации в первой серии экспериментов составляет 14 с. А поскольку время, требуемое для фиксации информации в долговременной памяти, согласно данным [12], составляет порядка 5 с, то можно сделать вывод, что в процессе классификации нет активного обмена информацией между структурами долговременной и кратковременной памяти. Данные работы [2] свидетельствуют о том, что время выполнения одной операции в КП занимает около 100 мс. Несопоставимость этого времени с временем, требуемым для обращения к долговременной памяти, вынуждает систему переработки информации в КП минимизировать связи с долговременной памятью, замедляющие на два — три порядка скорость переработки информации.

8.6. Анализ и обсуждение результатов второй

серии экспериментов

Основная цель этой серии экспериментов заключалась в оценке того, как профессионалы справляются с задачами классификации и в какой мере выводы, полученные при работе с группами студентов и школьников, могут быть перенесены на реальные практические задачи классификации. Было проведено два эксперимента, в которых задача многокритериальной классификации была совмещена с профессиональными задачами испытуемых. В эксперименте 15 испытуемые классифицировали предлагаемые к публикации препринты (N = 5, W = 3, Р = 2); при этом Е = 3,3 (см. табл. 7.1). Проведенный анализ свидетельствовал, что все испытуемые (члены редакционно-издательского совета), кроме одного, справились с задачей классификации при двух классах решений. Анализ границ между классами свидетельствовал, что никто из испытуемых не использовал в процессе классификации более пяти правил, объединяющих элементы границ в структурные единицы информации.

Мы ожидали, что с усложнением задачи (эксперимент 16, 4 класса решений) увеличится, как и ранее, количество ошибок. Однако число ошибок оказалось даже меньшим (см. табл. 7.1). В связи с этим особенный интерес представлял анализ стратегий испытуемых. Результаты анализа границ между классами свидетельствовали, что испытуемые резко упростили свои стратегии при возрастании сложности задачи. Поэтому двое из четырех испытуемых (в соответствии с критерием «сложность решающего правила») не справились с задачей классификации, несмотря на незначительное количество допущенных ошибок.

Число используемых при классификации правил не превышало объема КП. Следует отметить: несмотря на то что предметное содержание задачи классификации было близким для испытуемого по его профессиональной ориентации, сама задача классификации препринтов, представленных посредством описания их критериальных оценок, была для них новой.

Итак, можно сделать вывод, что поведение опытных специалистов, принимающих решение, при усложнении задач классификации отличается от поведения обычных людей. При решении новых, не повторяющихся в их практике задач классификации, сложность которых превышает границы их возможностей, они стремятся прежде всего быть последовательными, непротиворечивыми. Для этого они упрощают свою задачу, отбрасывая часть критериев из рассмотрения, переводя их в ограничения. Существенно упрощая при этом задачу, они практически решают вместо исходной задачи другую, приспособленную к реальным возможностям человеческой системы переработки информации.

8.7. Общее обсуждение

Что же показывают полученные результаты? Прежде всего мы имеем доказательства существования поразительно четких границ возможностей человека в задачах многомерной классификации. Эти границы замаскированы у опытных ЛПР их умением явно упрощать задачу и переходить, по сути дела, к стратегии «последовательного исключения по аспектам», при которой нагрузка на кратковременную память минимальна, хотя сама задача искажается. Применительно к новым задачам многокритериальной классификации полученные в работе результаты позволили сделать заключение о возможностях человека при решении 90 разных по сложности задач классификации. Так, данные эксперимента 3, которые свидетельствовали, что решение задачи классификации объектов по трем классам, характеризуемых семью критериями и двумя градациями на шкалах их оценок, находится в пределах возможностей человека, позволили сделать выводы, что еще 12 заведомо более легких задач также находятся в пределах возможностей человека.

Результаты оценки возможностей человека в задачах разной сложности сведены в табл. 7.2, где в клетках указано предельное число критериев, при которых испытуемые еще справляются с задачей многокритериальной классификации [17]. Невозможность решения задач, более сложных, чем указаны в табл. 7.2, выражается в многочисленных противоречиях, в допускаемых ошибках или в упрощении задачи в ущерб ее содержательной стороне.

Таблица 7.2

Число критериев, при котором возможна классификация

Обратимся к табл. 7.2. При решении любой задачи классификации испытуемый должен учитывать все три основных параметра задачи: критерии, оценки на шкалах, классы решений. Если мы перемножим наибольшие значения этих параметров, приведенные в табл. 7.2, то получим значения в пределах 30—42. Как и Дж. Миллер, мы можем сделать вывод, что «разрешающие возможности» человека в задачах многомерной классификации не превышают шести двоичных единиц информации.

Возникает вопрос: насколько непреодолимы для человека очерченные выше границы? Есть ли возможности фактически расширить способности человека решать сложные многокритериальные задачи?

На наш взгляд, такие возможности имеются. Одна из них состоит в попытке заменить параллельные задачи с большой нагрузкой на кратковременную память последовательными задачами. Прежде всего следует упомянуть об иерархических решающих правилах, когда можно использовать иерархию классификаций. Необходимым условием для этого является содержательность для эксперта понятий, используемых на каждом уровне иерархии. Конечно, этот подход не универсален и в каждом случае должен применяться творчески. В специальных экспериментах нами проверялась эффективность различных стратегий выборочной классификации, при которой классификация осуществляется как бы последовательно (сначала выбираются все объекты, относящиеся к первому классу, затем — ко второму классу, и т. д.), что позволило уменьшить число допущенных ошибок в 1,5 раза по сравнению с условиями обычной классификации, когда испытуемый, последовательно рассматривая каждый объект, относит его к тому или иному классу.

Результаты экспериментов свидетельствуют о том, что существуют ограничения возможностей человека в широком круге интеллектуальных задач. Эти ограничения объективны и определяются особенностями человеческой системы переработки информации. Такие же пределы и ограничения можно установить и в других задачах принятия решений — нужны лишь новые критерии оценки поведения и новые эксперименты.

Выводы

1. Поведение человека в задачах принятия решений имеет специфические особенности, которые определяются характеристиками человеческой системы переработки информации. Эти особенности проявляются как в лабораторных экспериментах, так и в практических ситуациях. Многочисленные исследования поведения людей в реальной жизни (принятие политических решений, игра на скачках, игры на деньги) показывают, что здесь (хотя, возможно, и в другом виде) проявляются типичные черты поведения человека, определяемые характеристиками человеческой системы переработки информации.

2. Наиболее проверенной является модель системы переработки информации человеком, включающая три блока: сенсорную память, кратковременную память, долговременную память. Принятие решений осуществляется при активном использовании КП.

3. Человеческая система переработки информации прекрасно приспособлена к решению многих задач, с которыми человек сталкивается в своей жизни. В определенных пределах человек способен решать и многофакторные задачи при небольшом числе факторов. Кроме того, человек обладает набором эвристик, позволяющих ему решать задачи любой сложности, предварительно упрощая их и приспосабливая к своим ограниченным возможностям. Но есть задачи, которые сложны для человека. В самом факте существования таких задач нет ничего удивительного. В конце концов, человек биологическое существо, и его возможности ограничены физиологией. Человек не может прыгнуть на 5 м (с места, конечно), обходиться без воды 5 суток и т.д. Точно так же человек не может непосредственно учитывать много факторов без использования эвристик. А все эвристики обладают следующим свойством: они хороши для большинства случаев, но в некоторых ведут к логическим ошибкам, противоречиям. Простой прием пренебрежение малыми различиями в оценках двух альтернатив по критериям вызывает нетранзитивность, как это убедительно показал А. Тверский [8].

4. Особенно трудны для человека появившиеся в последние десятилетия многокритериальные задачи, они часто и приводят к ошибкам и противоречиям в принятии решений.

5. На поведение человека большое влияние оказывает его умение преобразовывать исходную информацию, творчески формировать структурные единицы информации из исходного материала, использовать чанки, ранее запасенные в долговременной памяти. Именно эти способности наряду с характеристиками задачи существенно определяют человеческое поведение. При всем этом на поведение человека в задачах принятия решений оказывают сильное влияние объективные характеристики его системы переработки информации и прежде всего ограниченная емкость кратковременной памяти.

Библиографический список

1. Аткинсон Р. Человеческая память" и процесс обучения. М.: Прогресс, 1980.

2. Simon Н.А. Information-processing models of cognition // J. Amer. Soc. Information Science. Sept. 1981.

3. Солсо Р.Л. Когнитивная психология. М.: Тривола, 1996.

4. Миллер Дж. А. Магическое число семь плюс или минус два. О некоторых пределах нашей способности перерабатывать информацию // Инженерная психология. М.: Прогресс, 1964.

5. Солтхауз Г.А. Психологические аспекты машинописи // В мире науки. 1984. № 7.

6. Simon Н.А. How big is a chunk // Science. 1974. № 183.

7. Виноградова О.С. Гиппокамп и п