4. социальный эксперимент как метод проверки научной гипотезы

4. социальный эксперимент как метод проверки научной гипотезы

Социальный эксперимент выполняет две основные функции: достижение эффекта в практически-преобразовательной деятельности и проверка научной гипотезы. В последнем случае процедура экспериментирования целиком сосредоточена на познавательном результате. Эксперимент выступает в качестве самого сильного способа проверки объяснительной гипотезы. В первом же случае эксперимент нацелен на получение практического эффекта управления некоторыми процессами. Познавательные результаты представляют здесь побочный продукт управленческого эффекта.

Экспериментальный поиск эффективных приемов управления опасно смешивать с тем, что мы обычно называем передовым опытом. Нововведения вообще не относятся к сфере научного экспериментирования, а к области практического применения нововведений. Здесь возникают многообразные социально-экономические, политические, социально-психологические, организационно-хозяйственные проблемы, часто далекие от логики осуществления эксперимента с научно-познавательными целями.

В дальнейшем мы будем иметь в виду только научно-познавательную сторону социального эксперимента как средства или метода проверки гипотез.

Логика экспериментального анализа была предложена Дж. Стюартом Миллем еще в XIX в. По так называемому правилу согласия Милля устанавливают связь между двумя (или больше) рядами событий, которые рассматриваются как гипотетические причины, и, с другой стороны, событием как возможным следствием причинных факторов.

Если в одном ряду фиксируются события А, В, С, D и как следствие — P, а в другом ряду М, С, К, L и как следствие — снова Р, то причиной события Р является, видимо, С. Все остальные встречаются в одном ряду, но не встречаются в другом. Правило различия Милля используется для проверки гипотезы в обратном порядке: "не-С" должно повлечь за собой событие "не-Р", что логически очевидно. Рассмотрим это на примере.

Гипотеза "Сокращение числа кинопосещений на каждую 1000 жителей Петербурга за последние годы (Р)" может объясняться: h1 — распространением телевидения (С1); h2 — снижением художественных достоинств фильмов (С2); h3 — ростом запросов кинозрителей (С3); h4 — расширением строительства жилищ по периферии города, где недостаточно кинотеатров (N4)... Каковы операции по проверке гипотезы h1?

(а) Возможно, что Р имеет место (число кинопосещений падает), но С1 отсутствует (не растет число владельцев телевизоров). Тогда по методу согласия Милля гипотеза отвергается.

(б) С1 имеет место (растет число владельцев телевизоров), а Р иногда имеет место (в некоторые годы сокращается число кинопосещений), иногда не имеет (в другие годы не уменьшается число кинопосещений). Тогда по методу различия следует, что С1 не может быть причиной Р. Гипотеза отвергается.

(в) Р имеет разные вариации (растет или сокращается число кинопосещений), но они не согласуются с вариациями С1 (число владельцев телевизоров тоже колеблется, но не ассоциируется с колебаниями Р). Гипотеза отвергается.

(г) Р имеет место, и С1 имеет место (сокращается число кинопосещений, и растет число телевладельцев). Гипотеза принимается, но возникают следующие сомнения: возможно, здесь — сопутствующие изменения, т. е. какая-то третья переменная ведет к росту численности телевладельцев и вместе с тем — к падению числа кинопосещений. Например, расширение рынка видеоаппаратуры и видеофильмов для домашнего просмотра (h5).

Таким образом, гипотеза h1 не является альтернативой гипотезы h4, так как последняя объясняет события более полно.

Проверяем гипотезу h4 . Согласно ей, ожидаем, что процент владельцев телевизоров в новых районах города выше, чем в центральных, и одновременно численность кинотеатров в новых районах в пропорции к числу жителей меньше, чем в центральных. Если по той же логике, что и в случае с гипотезой h1, гипотеза h4 подтверждается, остаются непроверенными другие объяснения, изложенные в гипотезах h2, h3, .... h5.

Такова общая логика экспериментального анализа. Она реализуется в натурном и мысленном экспериментах.

Натурный эксперимент предполагает вмешательство экспериментатора в естественный, ход событий. Мысленный эксперимент — это манипулирование с информацией о реальных объектах без вмешательства в действительный ход событий. Пример мысленного экспериментирования как раз и был рассмотрен выше.

При одинаковой логике поиска причинно-следственных связей процедуры натурного и мысленного экспериментов различны.

Натурный эксперимент может быть контролируемым и неконтролируемым. Мы ожидаем, например, что изменение в системе оплаты труда (С) повысит его производительность (Р). В натурном эксперименте вводится новая система организации труда и оплаты, скажем, бригадный подряд (С) в двух бригадах. Во всех прочих отношениях бригады различаются (по составу рабочих, по характеру труда и т. п.). Если после введения новой системы организации и оплаты труда в обеих бригадах повышается производительность, мы относим это изменение за счет влияния общего для обеих бригад изучаемого фактора (С), так как другие факторы не согласуются с повышением производительности: в одной бригаде они имели место, в другой — нет (правило согласия).

Проверка такого заключения возможна на третьей (контрольной) бригаде. В ней новая система организации и оплаты не вводится. По правилу различия мы ожидаем, что производительность труда останется здесь на прежнем уровне, т. е. не-С влечет как следствие не-P.

В данном рассуждении мы пренебрегаем прочими условиями, которые различны для обеих бригад. Между тем они могут оказать существенное влияние на итог эксперимента. Например, в первой бригаде случился простой из-за неполадок в электроснабжении, но зато был опытный бригадир, прекрасно организующий работу в течение всего периода эксперимента. Во второй бригаде простоев не было, но бригадир — неопытный организатор. Здесь положительное влияние опытного бригадира в одном случае и отсутствие простоев во втором уравновесились отрицательным влиянием простоя в первой бригаде и неопытности руководителя во второй. Но могло оказаться и по-другому: в экспериментальной бригаде прочие факторы мешали повышению производительности, а в контрольной — содействовали. Получается, что изменение системы организации труда и оплаты не дает эффекта. Однако мы не можем сделать такое заключение, так как в данном эксперименте было много неконтролируемых факторов.

В неконтролируемых экспериментах познавательный результат достигается путем достаточно большого числа повторных опытов так, чтобы по теории вероятности неконтролируемые факторы при взаимном наложении погашались и не оказывали бы влияния на воздействие экспериментального фактора. Число повторных попыток определяется статистически, например, при помощи критерия Стъюдента — χ2, который должен быть незначим, т. е. фиксирует близость взаимосвязей причинных факторов и следствий.

Более строгие данные могут быть получены в контролируемом натурном эксперименте.

Контролируемый (валидный) эксперимент, представляет попытку получить относительно чистый эффект воздействия экспериментальной переменной. С этой целью предпринимается тщательное выравнивание прочих условий, которые могут исказить результат влияния экспериментального фактора.

Выравнивание условий относится ко всем объектам, участвующим в опытах: экспериментальным и контрольным. Возможны (как мы далее увидим) эксперименты без контрольного объекта, повторяющиеся несколько раз. Тогда выравниванию подлежат условия экспериментальных объектов в каждой серии опытов.

Прежде чем приступить к выравниванию условий, надо выделить характеристики, предположительно влияющие на ожидаемое следствие. Это требует тщательного предварительного анализа проблемы при разработке программы исследования. Если выявлено, что возможные "возмутители" чистого эффекта суть А, В, С, D, Е..., то все они потенциально представляют собой экспериментальные переменные. Но в каждом отдельном опыте проверяется воздействие одного из выделенных факторов, и тогда все остальные подлежат выравниванию.

Именно так мы и действовали выше (табл. 11, 12) при мысленном экспериментировании с телезрителями. Чтобы проверить влияние интереса к передачам типа П на интерес к передачам типа Р, мы выравнивали группы обследованных по уровню образования, выделяя в одну подвыборку лиц с высоким образованием (О+), а в другую — с низким (О-).

Точно так же поступают и в натурных контролируемых экспериментах. В первую очередь выравнивают (сопоставляют) основные параметры общей социальной ситуации, такие, как тип поселения, область производства, этническая и культурная среда, временной интервал и другие характерные особенности, равноприложимые ко всем объектам изучаемого процесса. (Это особенно важно при организации широкомасштабных социальных экспериментов.)

Основные приемы, выравнивания индивидуальных характеристик в случае, когда единицы наблюдения — индивиды, следующие.

(1) Точечное выравнивание применяют в опытах с малыми группами (например, рабочие бригады или школьные классы). Процедура сводится к подбору индивидов в подлежащих выравниванию группах по единым признакам, выделенным как существенные. В примере на испытание эффекта новой системы оплаты труда существенны (при условии одинаковости общей экономической ситуации, формы собственности и т. п.): (а) профессия рабочего, (б) квалификация, (в) стаж работы по профессии, (г) возраст, (д) семейное положение, (е) пол... Тогда при выравнивании в основной и контрольной сериях каждому рабочему в первой серии должен быть найден аналог во второй, третьей сериях и т.д. Иванову — токарю III разряда, с трехлетним стажем, 28 лет, женатому и имеющему ребенка, должен соответствовать Петров — токарь с аналогичными данными.

Очевидно, что такой прием очень сложен. Он используется в лабораторном эксперименте и крайне редко — в полевых исследованиях.

(2) Частотное выравнивание предполагает сопоставление существенных признаков в пропорциях, средних величинах, суммарных индексах и т. п. на группу в целом. В нашем примере это выглядит так, как показано в табл. 15.

Таблица 15

Частотное выравнивание индивидуальных характеристик в контролируемом эксперименте (в \%)

Существенный недостаток частотного выравнивания — опасность контрастных сочетаний выделенных в пропорциях характеристик, что может значительно исказить эффект выравнивания. Представим себе, что в первой группе токари имеют преимущественно IV разряд, а слесари — II разряд, тогда как во второй, наоборот, токари II разряда, но слесари — IV. К тому же в одной группе большинство наладчиков — молодежь, а во второй — рабочие среднего возраста, хотя пропорции молодых и старших рабочих в целом по каждой группе выдержаны строго.

(3) Выравнивание по квоте, применимое и в больших выборках, помогает устранить недостатки предыдущего приема. В этом случае сопоставляют группы по пропорциональному представительству признаков, взятых, однако, в жестких сочетаниях (квота), как показано в табл. 16.

(4) Случайно-механическое выравнивание используется при массовых экспериментах, на крупных объектах, когда отбор индивидов производится по правилам случайной бесповоротной выборки. Данный прием, однако, не годится для небольших групп.

Таблица 16

Выравнивание индивидуальных характеристик в контролируемом эксперименте методом квоты (в \%)

Разновидности контролируемых натурных экспериментов — рандомизация. Введем следующие условные обозначения основных параметров экспериментальной процедуры: х — экспериментальная переменная (испытываемый фактор, который также обозначают как "независимую" переменную); К — неконтролируемые переменные (ни в одном эксперименте не удается полностью контролировать все условия, поэтому остается влияние неучтенных факторов);Р — состояние объекта до введения экспериментальной переменной, измеренное по какой-то процедуре;Р2 — состояние объекта в конце эксперимента, после введения переменной х, d — наблюдаемое в итоге эксперимента изменение.

Схема 28

Логика эксперимента "до—после" с одним контрольным объектом

Примечание: (+) имеется; (—) отсутствует

Рассмотрим простейший вариант экспериментирования с контрольным объектом.

(1) Эксперимент типа "до—после" с одним контрольным объектом — обычный вариант социального экспериментирования (схема 28).

d=( Р1— Р2)—( P'2— P'1), и тогда изменение представляет функцию экспериментального фактора плюс влияние неконтролируемых условий, т.е. d = f(x + К—К'). Если же неконтролируемые условия в обеих группах выровнены (перестали быть неконтролируемыми),

т. е. К= K'1 тогда d=f(x+K-K')=f(x)

Практически ни в одной серии не удается целиком устранить воздействие К. Поэтому следует повторять экспериментирование до тех пор, пока не будет получен статистически устойчивый результат. Иными словами, К и К' будут выравнены на основе закона больших чисел.

В примере с испытанием эффективности новой системы оплаты труда следует поступить так: (1) в опытной и контрольной бригадах выравнять общие и специфические характеристики, предусмотренные программой; (2) осуществить эксперимент (первая серия) и замерить итоги; (3) повторить опыт на двух других бригадах, выравненных по тем же процедурам, и сопоставить данные с итогами первой серии;

(4) продолжать испытания на новых группах парных бригад до тех пор, пока не зафиксируем: (а) устойчивое показание для (Р2— Р1) и для (Р2'— Р1')а также (б), несущественные отклонения в величинах итогового сравнения по каждой серии (d). Понятно, что чем больше будет осуществлено испытаний, тем надежнее результат эксперимента.

(2) Эксперимент типа "до—после" без контрольного объекта. В этом эксперименте логика анализа упрощается следующим образом:

d=(Р2— Р1) , т. е. d=f(x+ К)

Повторные опыты покажут, насколько полученный результат устойчив.

Все другие варианты построения натурного социального эксперимента связаны с попытками устранить возмущающее влияние "эффекта первого замера". Такой эффект имеет место в том случае, когда используются опросные методы или наблюдение. Это способно вызвать реакцию людей, связанную с вмешательством исследователей в естественный ход событий.

Представим, что мы хотим изучить влияние новой системы подрядной организации труда не только на его производительность (объективные показатели), но и на состояние удовлетворенности работой или уяснить, как изменится структура мотивов трудовой деятельности. В таком случае надо воспользоваться опросным методом до и после введения новой системы организации.

В результате первого опроса по шкале удовлетворенности существующей системой организации труда у рабочих возникает психологическая установка, позитивная или негативная в отношении к последующему ходу событий. Одни из желания "помочь" экспериментатору при повторном опросе—теперь уже об отношении к

подрядной организации—покажут завышенные оценки удовлетворенности; другие из чувства противоречия могут занизить их.

В таком случае при эксперименте "до — после" с контрольной группой (тип 1) итог опыта выглядит как функция первичных замеров неконтролируемых факторов и, наконец, собственно экспериментальной переменной, т. е.

d=f(Р1+ Р'2 +K K' +x)

Способы минимизации влияния К мы уже знаем. Будем пытаться устранить возмущающее воздействие первых замеров (Р1 и Р'1).

(3) Эксперимент типа "только после" с контрольным объектом (схема 28).

Схема 29

Логика эксперимента "только после" с контрольным объектом

Схема 30

Логика эксперимента "якобы до — после'' с контрольным объектом

Очевидно, что, поскольку мы избежали первого замера, реактивное воздействие, связанное с вмешательством экспериментатора (исследователя), упразднено. При этом, конечно, сохраняются все требования к выравниванию условий и к повторным сериям для получения устойчивого результата.

(4) Эксперимент типа "якобы до—после" с контрольной группой (схема 30).

В этом эксперименте, хотя первый замер на контрольной группе осуществлялся, он не влияет на результат, так как не было вторичного замера.

Разница между экспериментами типа (3) и (4) в том, что в последнем нам не потребуется искать объект (бригаду), на котором не вводится новая система организации труда, так как в контрольной группе испытуемая переменная может быть или не быть — она не влияет на итог. Практически это важно, так как экспериментирование с людьми всегда имеет моральный аспект. Так, введение новых условий труда на всем предприятии, за исключением одного цеха, может быть воспринято как дискриминация.

Далее возможны такие эксперименты с двумя и тремя контрольными группами, в одних из которых вводятся экспериментальные условия, в других — нет. Эти весьма сложные построения позволяют получить более чистый эффект, благодаря многократным контрольным операциям в каждой серии, и, следовательно, дают возможность сократить число самих серий.

Рандомизация с использованием значительного числа экспериментальных и контрольных объектов (групп, организаций) позволит "гасить" влияние неконтролируемых (фоновых) воздействий, если они не являются систематическими. Тогда экспериментальный эффект оценивается обычным исчислением значимости различий средних по критериям состояния "до — после" на экспериментальных и контрольных объектах.

Трудности натурного эксперимента многообразны, и затрагивают они не только процедурные, но и моральные аспекты. Правда, и первых проблем более чем достаточно для объяснения, почему натурное социальное экспериментирование именно в научных целях (не ради практического эффекта) предпринимается весьма редко.

Основное требование любого научного эксперимента — устранение неконтролируемых факторов. Дж. Милль вовсе отрицал возможности научного экспериментирования в социальной сфере из-за трудностей выравнивания многочисленных переменных.

Своеобразным полигоном социальных экспериментов стали малые группы. Но экспериментирование на таких объектах вряд ли можно назвать социологическим в строгом смысле слова. Это психологические и социально-психологические эксперименты [52, 134]. Сравнительная легкость и доступность научного экспериментирования на микрообъектах породила в американской эмпирической социологии тенденцию к необоснованной экстраполяции полученных выводов на большие социальные системы.

Более близко к социологическому эксперименту экономическое и управленческое экспериментирование. Это так называемые созидательные эксперименты [228. С. 46—48] или эксперименты оценки эффективности нововведений [254]. В научном отношении такое экспериментирование может дать существенное прибавление знания. Однако здесь возникают моральные проблемы, ибо оправдан лишь опыт, который не повлечет отрицательных последствий для людей. Но разве все эксперименты предполагают заведомо благоприятный исход?

Современная наука располагает достаточно большими возможностями мысленного экспериментирования, которые следует широко использовать для научно-познавательных целей и на основе которых можно переходить к натуральным экспериментам без отягчающих социальных последствий.

Мысленный, или квазиэксперимент. Логика анализа здесь та же, что и в натурном. Своеобразие же в том, что вместо манипуляции с реальными объектами мы оперируем с информацией о совершившихся событиях.

Натурные эксперименты, о которых говорилось выше, относятся к классу проектирующих: исследователь проектирует предполагаемые следствия, вводит в игру их гипотетические причины. В мысленном же анализе возможен и обратный ход умозаключений: от наличных следствий к возможным причинам. Такой экспериментальный ход называют ретроспективным анализом или экспериментом "ex-post-facto". Очевидно, что этот способ в натурном эксперименте невозможен, коль скоро время необратимо.

Вместе с тем и проектирующий эксперимент не всегда возможен по реальным условиям, и тогда мы мысленно произведем анализ событий по логике такого эксперимента, непосредственно не вмешиваясь в течение жизни.

Например, нас интересует, насколько чтение газет и просмотр телепередач влияют на общую информированность людей в отличие от пользования только газетами или только телевизором. В натурном эксперименте типа "до—после" с контрольной группой следует поступать так. Подобрав две группы и выравняв их по существенным условиям, в экспериментальной группе обеспечим всех участников радиои газетной информацией, замерим их информированность. В контрольной группе сделаем то же самое. Затем лишим экспериментальную группу газет и через некоторое время замерим ее информированность. В контрольной группе условия сохранились прежними. Если обнаружим различие в пользу большей осведомленности контрольной группы, заключаем: газеты суть важное дополнение к телеинформации. Если разницы не найдем, заключим, что газеты не добавляют существенного к информации, получаемой по телевидению. После этого проведем эксперимент на изъятие телевизоров и повторим опыт на других выравненных группах, пока не добьемся устойчивого результата. Очевидно, что такое экспериментирование в реальной практике предпринимать невозможно по нравственным и правовым соображениям (здесь будут нарушены права человека на доступ к источникам информации и право собственности).

Поэтому из общей массы населения некоего города отберем лиц, выписывающих газеты и имеющих телевизор, а затем — аналогичную группу жителей, которые газет не выписывают. Выравняв группы (методом случайно-механического отбора), станем обращаться с ними как с двумя реальными объектами и получим вывод по той же логике, что для эксперимента типа (1).

Мысленное экспериментирование есть в данном случае не что иное, как анализ связей между многими переменными, рассмотренный в предыдущем параграфе.

Большой объем статистики — одно из непременных требований мысленного экспериментирования. Так, В.Н.Шубкин и Д. Л. Константиновский, прогнозируя шансы молодежи на выбор профессии по интересам, пользовались данными массовых обследований за 7 лет (1963—1969 гг.). Способ прогноза — мысленное экспериментирование. Авторы как бы экстраполировали тенденцию ближайших трех лет на основе данных за несколько предшествующих. Однако в действительности они располагали не только сведениями о предшествующем, но также имели информацию о реальном распределении статистики на период "прогнозируемых" трех лет. Остается проверить, насколько теоретический прогноз совпал с реальной тенденцией, а затем вывести закономерность для действительного прогнозирования на "неизведанное" будущее [296, 125].

Этим примером проектирующего квазиэксперимента, каковой ничуть не уступает по своей научно-познавательной ценности реальному экспериментированию, мы хотели бы подчеркнуть и изящество, и гуманность мысленного экспериментального анализа.

Имеется множество технических средств, позволяющих осуществлять самые различные модели мысленного экспериментирования. Один из таких приемов — регрессионный анализ (в случае использования метрированных данных). С его помощью устанавливают детерминационные отношения, т. е. исчисляют, насколько изменения одной (зависимой) переменной объясняются соответствующими изменениями других (независимых) переменных [199. С. 149—153]. Один из вариантов квазиэксперимента — исследование трендов, о чем — в следующем разделе.

Также возможны приемы поиска каузальных связей многопеременной плеяды с использованием регрессионного анализа и элементов теории графов. Эта техника позволяет фиксировать тенденцию причинных зависимостей среди множества включенных в процесс факторов.

В действительности исследователь выявляет предполагаемые причины, строит различные модели последовательности взаимосвязей многих переменных и находит такую структуру этих взаимосвязей, которая обнаруживает наибольшее суммарное влияние на ожидаемый эффект.

С помощью этих приемов мы можем предлагать и объяснение, и интерпретацию, и уточнения причинных связей.

Натурный квазиэксперимент — особый случай. Здесь исследователь руководствуется логикой эксперимента "до — после", но, во-первых, не жестко контролирует фоновые воздействия и, во-вторых, создает экспериментальную ситуацию своими действиями в качестве участника "жизненной ситуации". Будучи исследователем, он вместе с тем выполняет функцию "экспериментальной переменной". Подобное экспериментирование имеет место в "провоцирующих" полевых исследованиях.

Рассмотрим пример. Петербургский социолог А. Н. Алексеев (в то время — ленинградец) предпринял провоцирующий эксперимент на заводе Полиграфмаш. Будучи научным сотрудником, он поступил на завод слесарем-расточником, причем о его академическом статусе первоначально никто, кроме руководства, осведомлен не был (позже он этого уже не скрывал). Исследователь имел цель изучить реальные нормы, регулирующие производственные отношения в рабочем коллективе. Будучи рядовым рабочим, активно общаясь в этой среде, он столкнулся с непонятным фактом. Все нарушают хорошо известные инструкции: и рабочие, и мастера, и инженеры, и администраторы. Но мастер "накапливает" материал на рабочих, скажем, прогульщиков. И предъявляет этот материал лишь тогда, когда по каким-то, не обязательно деловым, соображениям хочет освободиться от нарушителя дисциплины, "разгильдяя" Петрова. Высказанные в официальной обстановке, эти аргументы не вызывают возражений. Мастер добивается увольнения.

Алексеев начинает искать теоретические объяснения этого феномена в социопсихологических и социологических подходах. Он приходит к выводу, что следует различать "демонстрируемые" социальные установки и ценности, официально поддерживаемые в данной системе отношений, а с другой стороны — ценности и установки, реально "управляющие" поведением. Идя дальше, он ставит вопросы, выдвигает гипотезы, которые проверяет наблюдением, в беседах и (это ключевой момент) провоцирующими действиями. Вопрос, например, такой:

насколько среди рабочих приняты ценности инициативы и добросовестности?

Алексеев проверяет научную гипотезу собственными "экспериментальными поступками": новый расточный станок не работает, так как не соблюдены нормативы эксплуатации и приходится изобретать "рационализаторские приемы". Когда он обращался со своими рационализаторскими предложениями к руководству, то слышал ответ: "Тебе что, больше всех надо?" А если он маскировал свое предложение под вынужденное действие, оно принималось. Надо было сказать: "Если мы этого не сделаем, нам попадет". Таким путем Алексеев проверил гипотезу о регулятивных и демонстрируемых нормах производственных взаимоотношений.

В массовых обследованиях 70-х гг. инициативность и творчество часто лидировали в ряду ценностных ориентации, а в действительности, по наблюдениям Алексеева, они не выполняли регулирующую функцию,

Между прочим, его проверка статуса ценности "добросовестной работы" показала тогда, что эта ценность сохраняет положение "реально регулирующей поведение", но... при условии достаточной свободы самоорганизации работника и справедливости оплаты его труда.

Натурный квазиэксперимент А. Н. Алексеева нельзя отнести к строгому контролируему эксперименту. Это демонстрация экспериментальной логики социологического анализа. Данные для изучения ситуации извлекаются не количественными (статистическими) процедурами, но путем использования качественных методов.