Открытые вопросы в массовых исследованиях

Для определения доли сохраняемой на конспективном переходе информации рассчитывается коэффициент устойчивости kt:

,

где:

Wt - количество записанных интервьюером тем,

St - количество тем в артикулированном ответе.

В среднем на стадии конспективного перехода сохраняется 69% ( =0,31) выделенных ранее тем. Если респондент дает экспертный ответ, то коэффициент устойчивости равен 0,45 ( =0,24), реактивный - 0,65 ( =0,32), нормативный - 0,69 ( =0,31). В то же время уход от ответа практически не сопровождается потерей информации (kt средн.=0,92;  =0,19). Такая ситуация объясняется тем, что уход от ответа в 85% случаев выражается однозначными репликами, регистрация которых проходит без потери информации21 (табл. 13).

Таблица 13

Когнитивная сложность ответа

Увеличение когнитивной сложности лишь на переходе от однозначного ответа к краткому приводит к значительной потере информации: коэффициент устойчивости однозначного ответа равен единице, а краткого - 0,6 ( =0,26). Дальнейший рост когнитивной сложности уже не так заметно сказывается на соотношении тем артикулированного и записанного ответов: коэффициент устойчивости развернутого ответа - 0,47 ( =0,26), рассуждений - 0,34 ( =0,2) (рис. 6). Следовательно, более продолжительные ответы не приводят к обязательному снижению адекватности их регистрации на бумаге. Напротив, сообщение, насыщенное примерами или подтверждающими суждениями, позволяет интервьюеру не только зафиксировать услышанный текст, но и подтвердить его адекватность заданному вопросу.

Рис. 6. Средние значения коэффициента устойчивости по отношению к когнитивной сложности ответа

Следует заметить, что с ростом когнитивной сложности величина стандартного отклонения начинает приближаться к среднему значению. Увеличение разброса отдельных значений относительно среднего показывает, что восприятие продолжительных ответов становится более дифференцированным и не может сводиться к простым моделям. С одной стороны, ответ, переходящий в рассуждения, сопровождается более интенсивной коммуникацией, что позволяет интервьюеру проверять адекватность собственного восприятия и отсекать не относящиеся к вопросу реплики. С другой - такая ситуация предъявляет дополнительные требования к квалификации интервьюера как профессионального собеседника, умеющего поддерживать интерес к разговору на заданную тему и выделять темы, адекватные вопросу.

В коммуникации любого вида, будь то разговор на остановке или выступление перед аудиторией, А. Уолвин и К. Кокли [74], а также Ф. Уолф с соавторами [73] выделяют четыре типа восприятия: фактологический, оценочный, эстетический и эмпатический. Фактологический тип определяется желанием получить какие-либо неизвестные ранее сведения. Структурирование информации - основной элемент такого восприятия. Для этого недостаточна простая фиксация услышанного, поскольку слушатель должен выделить основные идеи. Оценочный тип зачастую задается говорящим, речь которого направлена на то, чтобы повлиять на установки и представления слушающего. Оценка может определяться следующими различениями: хорошо - плохо, правильно - неправильно, адекватно - неадекватно, разумно - неразумно и т. д. Эстетический тип связан с получением удовольствия, эмоциональной компонентой, поэтому с трудом подвергается осмысленной интерпретации и последующему объяснению. Эмпатический осуществляется при сопереживании и включении в текстовый ряд говорящего. Необходимость следовать структуре вопросника и регистрировать ответы принуждает интервьюера придерживаться фактологического типа, а любые отклонения от него приводят к смещениям и потере информации. Однако этот тип восприятия не однороден - в ситуации опроса интервьюеры ведут себя по-разному. Различия в поведении можно зафиксировать с помощью стратегий проведения опроса, наиболее часто применяемых тем или иным интервьюером (χ2=135,598; p<0,000). Если разместить интервьюеров на плоскости, задающей стратегии проведения опроса, то можно выделить четыре группы, характеризующие определенный стиль22 (рис. 7).

В первую группу попали четыре интервьюера, в основном придерживающиеся нейтральной стратегии, которые чуть менее чем в половине случаев использовали определенные приемы давления. Такой стиль поведения будем называть нейтральным. В последующих группах интервьюеры разбились на пары. Вторая группа характеризуется высоким уровнем поддержки и минимальным использованием приемов давления, поэтому здесь можно говорить об эмпатическом стиле. Третья группа почти в равной степени оказывает давление и поддержку. Отметим лишь небольшое смещение поведения интервьюеров этой группы в сторону поддержки. Их стиль проведения опроса назовем центристским. Четвертую группу представляют интервьюеры, наиболее активно использующие приемы давления при достаточно высоком уровне поддержки. Такой стиль будем называть активным23. Если рассчитать средние значения коэффициента устойчивости в соответствии со стилями проведения опроса (F=5,089; p<0,002), то можно увидеть, что на конспективном переходе интервьюеры, придерживающиеся активного стиля, теряли почти половину услышанной информации (табл. 14).

Таблица 14

Зависимость коэффициента устойчивости от стиля проведения опроса

В то же время стиль проведения опроса, выбранный каждым интервьюером, не влияет на адекватность восприятия ответа (χ2=3,957; p<0,266)24. Следовательно, темы, которые интервьюеры не включали в анкетный ответ, в основном были нерелевантны поставленному вопросу, на чем и настаивает Г. Иган, пропагандируя активное восприятие в любом виде коммуникации [17]. Эмпатический стиль ведет к наиболее точной записи ответа (см. табл. 14). Во многих исследованиях доказывается, что он также способствует более полному раскрытию собеседника и доставляет ему удовольствие от общения [6, 33, 39, 66].

Хотя связь между вопросами и дословной записью ответов на них существует, ее уровень значимости не слишком высок (F=2,751; p<0,006). Тем более, что 21-й и 49-й вопросы, по которым среднее значение коэффициента устойчивости выше (табл. 15), как правило, сопровождались либо короткими ответами, либо отказами отвечать. Это говорит о том, что интервьюеры одинаково подходят к процедуре регистрации всех открытых вопросов.

Таблица 15

Зависимость коэффициента устойчивости от анкетного вопроса

Поскольку точная запись открытых ответов встречается нечасто, аналитику приходится рассматривать их более или менее адекватные интерпретации интервьюерами. Отсутствие дополнительных инструкций и рекомендаций приводит к тому, что интервьюеры самостоятельно решают, соответствует ответ вопросу или нет. Хуже обстоит дело тогда, когда интервьюер подходит к делу формально и считает любые реплики респондента ответом, что приводит к нагромождению бессмысленных, с точки зрения исследовательского вопроса, высказываний. Д. Фрей считает, что пассивный слушатель не может корректно фиксировать высказывания собеседника, поэтому он предлагает интервьюерам активно использовать методы стимулирования или ограничения ответов [24 p. 74]. Незначительная доля содержательных ответов на открытые вопросы, отмечаемая во многих методических экспериментах [15, 24, 62, 63], вызвана не особенностями открытой формы, а недостаточной подготовкой интервьюеров и несовершенством процедуры предъявления и регистрации таких вопросов. Аналитику нет необходимости видеть весь репертуар ответа, полученного в стандартизованном интервью. Ему нужно выделить лишь значимые переменные в открытом вопросе, поэтому надо заранее думать не только над его формулировкой, но и над его закрытием, на чем настаивает и А. Оппенгейм: "Пилотаж открытых вопросов включает не только пилотаж формулировки, но и вероятного кодификатора" [56, p. 49]. А отсюда следует, что в исследовательскую программу должен быть посвящен не только аналитик, делающий расчеты, но также интервьюер, собирающий первичную информацию.

* * *

Необходимо регулярно проводить тренинги и аттестацию интервьюеров с последующей их дифференциацией по уровню квалификации.

Следует избегать полевого кодирования открытых вопросов, поскольку это приводит к дополнительным ошибкам уже на стадии регистрации ответа.

Требование точного воспроизведения ответа, с точки зрения эквивалентности его записи, приводит к снижению адекватности восприятия, поскольку интервьюер затрачивает усилия не на тематическое восприятие ответа, а на удержание в памяти его отдельных лексических единиц.

Включая открытые вопросы в анкету, надо позаботиться не только об их корректной формулировке, но и о возможном закрытии, не забыв проинформировать об этом интервьюеров.

Количество уходов от ответа и нерелевантных открытому вопросу ответов может быть критерием для определения качества вопроса.

Изменение записанного ответа

Изменение записанного (анкетного) ответа происходит в процессе кодирования, когда ответу присваивается один или несколько кодов из заданного списка. Каждый код формулируется исследователем в словоформах, пригодных для анализа собранных ответов. Поскольку коды представляют собой тексты, нам ничто не мешает провести их тематическое членение. Коды, поставленные в соответствие записанным ответам, содержат от одной до четырех тем: одна тема - "попытки сместить Кучму", "события вокруг НТВ" и "советы Путину в отношении стиля управления"; две - "нет ответа, ответ не на тему", "встречи, поездки", "выплаты, цены"; три - "навести порядок в органах власти, сформулировать эффективную управленческую команду", "вор, мафиози, бандит", "развлекательные передачи, казусы, погода"; четыре - "непорядочный, неискренний, хитрый, лживый". С одной стороны, кодификатор составлен из кодов, которые могут включать более одной темы, с другой - одному ответу может соответствовать несколько кодов, поэтому возможны три варианта соотношения количества тем анкетного ответа и кода: (1) Na=Nc, (2) Na>Nc ,(3) Na<Nc , где Na - количество тем анкетного ответа, Nc - количество тем присвоенного ответу кода или кодов. Кроме этого, представленные в коде темы могут полностью или частично соответствовать ответу: (1) Nс=Ne и (2) Nс.>Ne, где Ne - количество тем в коде или кодах25, соответствующих ответу.

Способы кодирования. Сопоставляя количество тем анкетного вопроса, кода и совпадающих с анкетным вопросом тем, рассмотрим пять возможных способов кодирования (табл. 16).

Таблица 16

Способы кодирования

В эксперименте представлены практически все способы кодирования. Исключение составляет лишь развернутая классификация (табл. 17). Это обусловлено тем, что кодировщики в большей степени заняты ситуационным кодированием, то есть составляют или изменяют кодификатор (добавляют и уточняют коды) в процессе обработки ответов.

Таблица 17

Распределение способов кодирования

Однозначное кодирование - количество тем в ответе и коде совпадают, и все темы кода соответствуют темам ответа. Однозначное кодирование возможно только для коротких анкетных ответов (одна или две темы). Возможны два варианта кодирования: (1) ответ и код находятся на одном уровне обобщения, (2) код представляет собой более общее понятие. Первый вариант - это копирование анкетного ответа или его сопоставление с аналогичным высказыванием. Вопрос о доходах кодируется интервьюером, а кодировщику (скорее в этом случае, его надо называть набивщиком ответов) остается лишь перенести ответ из анкеты в массив, поэтому все ответы точно соответствуют записи в анкете. Другим примером служит код "борьба за власть" (вопрос о событиях на Украине), который в двух случаях совпадал с анкетным ответом. Когда совпадающие с кодом ответы закончатся, кодировщик начинает подыскивать аналогичные высказывания. Кодирование в этом случае основано на допущении, что код и выбранный ответ взаимозаменяемы или семантически эквивалентны. Так кодировщик посчитал, что высказывания "дележ власти" и "передел власти" эквивалентны коду "борьба за власть", что может показаться вполне очевидным. Если же он выбирает второй вариант кодирования и пытается обобщить ответы, то адекватность выбранных кодов вызывает большие сомнения: анкетные ответы "НТВ", "события, скандал вокруг НТВ", "скандал с НТВ" закодированы как "нападки на СМИ". Ответ, содержащий аббревиатуру НТВ, наделялся кодировщиком совершенно четким смыслом, усвоенным им из средств массовой информации. Поскольку синонимы в речи определяются лишь контекстуально, кодировщик вынужден реконструировать контекст высказывания или, другими словами, выдвигать предположения о том, "что же в действительности имел в виду респондент"27. Поэтому кодирование однозначных и коротких ответов будет всегда приводить к смещениям. Фактически, короткий или однозначный анкетный ответ представляет собой код высказывания респондента, поэтому последующую трансформацию кода просто не корректно называть кодированием. Д. Лейдер утверждает, что кодированием можно называть только процесс классификации ответа в значимые для исследователя категории [45, p. 322]. Второй вариант однозначного кодирования заключается скорее в интерпретации или наделении смыслом увиденного текста.

Простая классификация - все темы кода соответствуют ответу, количество тем в коде меньше количества тем в записанном ответе. К. Бейли дает общее определение классификации как упорядочивания объектов в группы или классы на основании их однородности, статистическим критерием которой выступает минимальная внутригрупповая дисперсия при максимальной межгрупповой [2, p. 1]. А. Коксон понимает ее в более узком смысле, который как раз соответствует простой классификации: "классификация - это размещение определенного числа объектов в меньшее количество групп таким образом, чтобы можно было определить правила этого размещения" [14, p. 1]. Уменьшая на классификационном переходе тематическую размерность ответа, кодировщик вынужден сравнивать темы и принимать решение - однородны они или нет. Если несколько тем признаются однородными и сопоставляются с одной темой кода, то тем самым он ситуационно классифицирует ответ. Например, ответ "повысить зарплату медикам, учителям и остальным рабочим" классифицируется как "увеличить выплаты". По аналогии с устойчивым термином "полевое кодирование" будем называть такую классификацию полевой.

Полевая классификация дает первичное представление о распространенной проблеме интерпретации открытых вопросов - невозможности распознать ответы, стоящие за кодом. Г. Шуман и С. Прессер предупреждают, что следует очень осторожно анализировать категории открытых вопросов, поскольку за ними могут скрываться разные ответы [63, p. 90]. Если из нескольких тем ответа кодируется лишь одна, кодировщик маркирует ее как релевантную заданному коду, а остальные рассматривает как темы, либо определяющие контекст высказывания, либо не соответствующие заданным критериям. Например, ответ "власть делят, почувствовали слабость Кучмы, не знают к кому прислониться - может, к НАТО, промышленность развалили" кодируется как "борьба за власть". Будем называть такую классификацию отложенной28, поскольку в этом случае кодировщик лишь подготавливает поле для дальнейшего анализа29. Не следует смешивать отложенную классификацию с однозначным кодированием. Последнее сразу задает структуру или типологию ответов, а отложенная классификация лишь определяет пространство признаков, поэтому разница между этими типами кодирования особенно заметна в процессе обработки данных. Методику работы с отложенной классификацией П. Лазарсфельд разбивает на два этапа: конструирование и редукцию. На первом этапе из всех переменных строится развернутая типология ответа30, на втором - в зависимости от наполнения клеток, расположенных на пересечении нескольких переменных (функциональная редукция) или представлений исследователя (прагматическая редукция), количество типов уменьшается. Кроме этого, возможен третий тип "типологических операций" - создание вторичных переменных, который Лазарсфельд называет трансформацией [48]. Нетрудно выделить преимущества отложенной классификации: (1) точные и хорошо контролируемые критерии объединения переменных в типы; (2) возможность построения множества типологий и, соответственно, проверки большого числа гипотез; (3) простота кодирования.

Развернутая классификация - количество тем в коде превышает количество тем в ответе, и все темы кода соответствуют ответу. Если выбран только один код и количество тем в нем превышает количество тем ответа, значит, исследователь не смог четко обозначить концепт, который характеризует код, и вынужден задать его с помощью перечня примеров. Во многом это связано с проблемой наименования, и после ее решения код формулируется одной темой. Таким образом, описанный случай представляет собой псевдоразвернутую классификацию, которая в конечном счете сводится к простой. Другое дело, если исследователь кодирует ответ по нескольким критериям. Например, кроме тематического кодирования, которое обычно применяется в исследованиях, может быть применено кодирование контекстуальное, учитывающее наличие обоснований, эмоциональность речи респондента, персонализацию им ответа и т. д. В этом случае возможности интерпретации существенно увеличиваются.

Страницы: 1, 2, 3, 4, 5