Отказы респондентов

Profile

butaev^©

Постов: 2114
Дата регистрации: 01.09.2005

Цитата, автор IgorRudy:

Цитата, автор Айра:Но, поскольку уровень образования - это статусная вещь, частично еще и с тем, что люди с невысоким уровнем образования склонны завышать свой уровень образования.
то есть у него среднее техническое, а при опросах он сообщает о высшем.

Это так же важный вопрос - как откорректировать заведомо ложную информацию ...

Доброй ночи.
Откорректировать заведомо ложную информацию можно. Мой коллега социальный психолог с большим стажем опросов, например, подставлял в опросник или анкету всякие "дурацкие" закрытые вопросы с лесенкой закрытий и по соотношению ответов выявлял "завышение должности на 2 порядка".
Встречались мне коллеги, применяющие при опросах для выявления "вранья в ответах" другие "домашние заготовки". Практически такие есть у каждого бывалого исследователя.
Но в маркетинговых задачах при самой постановке задачи обычно учитывают, что при ответах на такие-то вопросы люди чаше пытаются отмолчаться или исказить в свою пользу истинное положение дел. На память, не копаясь в архиве, про это есть в работах Александра Юрьевича Мягкова, например, в работе "ОЦЕНКА ДОСТОВЕРНОСТИ САМООТЧЕТОВ РЕСПОНДЕНТОВ", да есть и у других авторов.
Действуют путем обдумывания на этот счет и подбора формулировок вопросов, путем вставления тестов и последующего отбрасывания анкет с явно завиральными ответами, и путем выявления взаимосвязи через параметры, где процент достоверных ответов большой.
Может чего-то еще, о чем я не знаю или забыл упомянуть.

20.11.2007 00:28

Profile

IR^©

Маркетолог - международник
Постов: 5658
Дата регистрации: 27.01.2007

для: butaev©
Здравствуйте Эдуард Измаилович!
Лесенка закрытий - не плохой подход. Огромное спасибо за ссылку на работы Александра Юрьевича Мягкова - обязательно посмотрю.
Мне кажется, проблема отбрасывания анкет с "явно завиральными ответами", состоит в том, что таким же образом отбрасываются почти все аутлаеры (например все ассенизаторы с реальным высшим образованием, число которых может достигать 5-10% от всех ассенизаторов, если не выше, в зависимости от страны). Для некоторых важных респондентов то что мы считаем явно ложными ответами, может оказаться правдой. Поэтому мне казалось, что проблема ложной информации сложнее, чем на первый взгляд.

--------
marketer marketiri lupus est ...

20.11.2007 18:30

Profile

butaev^©

Постов: 2114
Дата регистрации: 01.09.2005

Цитата, автор IgorRudy:

для: Лess©

Цитата, автор Лess:Принимается ли при расчетах погрешностей опросов этот факт?

Обязательно применяется - как же иначе определить - скошенность.
Пример: случайная выборка повторяет демографические пропорции по возрасту и полу для ЦА: 30% потребителей - мужчины 55+, 20% - женщины 55+, 15+ - мужчины 35-55 и т.д.
После опроса, из-за отказников демографика изменилась: 25% - опрошенных - мужчины 55+, 15% - женщины 55+, 20+ - мужчины 35-55 и т.д.
Обычно в этом случае восстанавливают изначальныю демографику среди опрошенных (конечно же случайно).

Игорь доброе утро.

Давно хотел полить бальзам на ваши раны, да вот как-то время не было залезть в архив и выкопать этот примерчик.

На 100% ситуация совпадающая с описанной Вами, но на российской почве.

Айвазян С.А. "Типология потребления и дифференциация доходов населения в российском обществе переходного периода" http://www.cemi.rssi.ru/rus/index0.htm
Явно неудачная по моей оценке, попытка разложить кривую распределения доходов россиян на несколько колоколообразных кривых нормального закона распределений, виднейшего российского специалиста по применению методов математической статистики к решению экономических задач. http://www.cemi.rssi.ru/rus/index2.htm
Преувеличение всеобщности нормального распределения в жизни привели автора к ошибке и в итоге к неверному по сути толкованию законов распределения в российской «экономике неплатежей» конца прошлоговека.

Эту же самую кривую и законность существования мало связанных друг с другом пиков на ней (область каждого пика экономически надо рассматривать отдельно) обосновывали: ваш покорный слуга, Михаил Дымшиц и Игорь Березин (перечисляю в порядке роста числа пиков признаваемых как закономерность (отдельная область) закона распределения). В этом разница маркетингового подхода к прочим.
Для нас часто очень важны крупные детали. Общие закономерности все-таки сфера изучения фундаментальной социологии и экономики.

21.11.2007 11:53

Profile

butaev^©

Постов: 2114
Дата регистрации: 01.09.2005

Цитата, автор IgorRudy:

для: Лess©

Цитата, автор Лess:Принимается ли при расчетах погрешностей опросов этот факт?

21.11.2007 11:53

Profile

butaev^©

Постов: 2114
Дата регистрации: 01.09.2005

Цитата, автор IgorRudy:

для: Лess©

Цитата, автор Лess:Принимается ли при расчетах погрешностей опросов этот факт?

21.11.2007 11:54

Profile

Проходящий Мимо^©

just smoking
Постов: 1455
Дата регистрации: 25.10.2006

Цитата, автор butaev: при ответах на такие-то вопросы люди чаше пытаются отмолчаться или исказить в свою пользу истинное положение дел.

Добрый день.
Маленькая ремарка о том, что респонденты часто искажают информацию "в свою не-пользу". Например, занижая размер реальных доходов и сбережений в массовых опросах при постановке вопроса "в лоб".

--------
Я не хочу быть крутым. Я не хочу громко петь.
Всё это - дым, только дым. А я боюсь угореть... (с)

21.11.2007 13:24

Profile

Лess^©

Информация должна быть легкой и быстроперевариваемой
Постов: 64
Дата регистрации: 30.10.2007

Цитата, автор Проходящий Мимо:

Добрый день.
Маленькая ремарка о том, что респонденты часто искажают информацию "в свою не-пользу". Например, занижая размер реальных доходов и сбережений в массовых опросах при постановке вопроса "в лоб".

Цитата, автор Айра:

В целом систематическое смещение наблюдалось в сторону менее доходных и менее образованных слоев населения. То есть чем более неуверенным чувствовал себя респондент, тем чаще он отказывал.

Если рассмотреть два этих поста, в верности которых я не сомневаюсь, то получается два разнонаправленных движения при проведениии опросов: участвующие респонденты имеют желание снизить уровень своих доходов и в итогах исследования доходы получаются ниже, чем есть на самом деле; а отказники способствуют увеличению уровня доходов населения и в итогах цифры получаются выше.
По моему интересная теоретическая штучка.

--------
... типа мысли вслух

21.11.2007 14:48

Profile

Проходящий Мимо^©

just smoking
Постов: 1455
Дата регистрации: 25.10.2006

для: Лess©
Но эти грабли, о которых мы говорим, исследователям известны.

Насчёт второго помогает, как уже говорилось, перевзвешивание выборки, квотирование выборки, направление выборки и т.д.
Насчёт первого используются возможности субъективной оценки уровня (а не суммы) доходов респондента, анализ имущественной обеспеченности, планирования покупок и т.п.

Всё же зависит - как всегда - от целей исследования. По ним и строятся полевые документы и исследовательские методы, позволяющие получить не всю максимально объективную и репрезентативную для всего на свете информацию, а релевантную информацию, позволяющую цели исследования "закрыть".
А грабли - они всегда и во всём есть. Но если смотреть под ноги и думать головой, то можно ходить прямо и не получать по лбу.
:)

--------
Я не хочу быть крутым. Я не хочу громко петь.
Всё это - дым, только дым. А я боюсь угореть... (с)

21.11.2007 15:18

Profile

Айра^©

Постов: 20
Дата регистрации: 23.09.2003

по занижению доходов участников исследований: там две разнонаправленные тенденции.
Те респонденты, доходы которых выше среднего, при опросах их, как правило, занижают. Те же, у кого доходы ниже среднего - завышают.
Именно поэтому исследователи прямой вопрос о доходах стараются не ставить. Ну или по крайней мере, обязательно сопровождают его дополнительными косвенными

21.11.2007 15:38

Profile

Лess^©

Информация должна быть легкой и быстроперевариваемой
Постов: 64
Дата регистрации: 30.10.2007

Цитата, автор Айра:

по занижению доходов участников исследований: там две разнонаправленные тенденции.
Те респонденты, доходы которых выше среднего, при опросах их, как правило, занижают. Те же, у кого доходы ниже среднего - завышают.

Здесь не соглашусь. По моему, респонденты никогда не станут завышать уровень дохода.
У кого выше среднего - занижают, согласен, у кого ниже среднего - будут говорить какой есть, чтобы все знали, как плохо им живется. Ведь часто для респондентов интервьюер - уши правительства и президента и все свои проблемы они ему доносят с наказом передайте как есть.

--------
... типа мысли вслух

21.11.2007 16:29

Profile

Айра^©

Постов: 20
Дата регистрации: 23.09.2003

можете, конечно не соглашаться, но мы проверяли по нескольким независимым вещам: 1. оценка интервьюера 2. косвенные вопросы о доходах. 3. количество эл.лампочек в квартире.
такая же ситуация с местом на социальной лестнице. Это уже не наши исследования, это RLMS. все ставят себя на средний уровень. Особенно хорошо посчитать взаимосвязь с доходами.

21.11.2007 16:43

Profile

ДАК^©

Постов: 52
Дата регистрации: 01.12.2003

Цитата, автор Айра:... но мы проверяли по нескольким независимым вещам

Какие-то они у Вас слишком косвенные
:)

[Тупой прямой вопрос] о доходах работает.
Иногда его можно задать в вопроса (в телефонке), иногда в один (на личке)
Занижение есть. Если считать средний, то по результатам телефонки расчетной средний ниже фактического на 25-35%%
по результатам опросов "в местах продаж" - на 10-20%%...
Про смещения по результатам квартирников ничего не знаю, т.к. "это не наш метод"

"Прелесть" [тупого прямого вопроса] в том, что смещения прогнозируемы (для меня в СПб, т.к. есть чистых лет 14 обращения к этой проблеме), а что делать с [мутными косвенными вопросами], как их интерпретировать = ???

21.11.2007 17:31

Profile

ДАК^©

Постов: 52
Дата регистрации: 01.12.2003

Цитата, автор Айра:... но мы проверяли по нескольким независимым вещам

21.11.2007 17:31

Profile

butaev^©

Постов: 2114
Дата регистрации: 01.09.2005

для: Лess©
Добрый день.
Проходящий мимо абсолютно точно описал проблему со смещением оценок о доходах респондентов. Ни убавить, ни прибавить (и словосочетание «при постановке вопроса "в лоб"», тоже правильно отражает проблему).
После выхода книги Садмена и Бредберна "Как правильно задавать вопросы" (ФОМ, 2002), на одном из форумов у нас с одной очень известной специалисткой (фамилию дамы указывать не хочу) состоялся обмен мнениями, как в готовящейся анкете российского журнала для опроса своих читателей сформулировать вопрос о доходах этих читателей.
Она считала, что можно использовать блок вопросов предлагаемых на этот счет Садменом и Бредберном (переведенных и адаптированных), я считал, что верное представление о доходах можно получить только из вопросов-тестов и блока вопросов о разных покупках последнего года. Используя специальную таблицу пересчета.
На самом деле в любом случае мы можем говорить только попадании респондента в ту или иную доходную группу.
Затем в прошлом году в журнале "Социальная реальность" вышла статья Дмитрия Михайловича Рогозина о смещениях при задании вопросов о доходе и заработках (я ставил ее здесь на обсуждение), из которой видно, что в самых простых случаях, когда респонденту и скрывать-то нечего, смещение все равно будет.

21.11.2007 17:42

Profile

Проходящий Мимо^©

just smoking
Постов: 1455
Дата регистрации: 25.10.2006

для: ДАК©
Я об этом и говорю, что всё работает.
Но всё работает по-разному. В этом и возможности исследовательского успеха - понимая, что и как работает, дополнять одно другим для максимизации эффективности.

Прелесть "лобного" вопроса - в возможности "лобного" анализа.
Прелесть "нелобного" - в возможности корректировки "лобных" и "нелобном анализе".

Я не понимаю, почему "нелобные" вопросоответы кажутся Вам "мутными". Да, проблемы интерпритации есть всегда. И в случае "лобовых", и в случае "нелобовых" методик.
Но на то мы и исследователи, чтобы эти проблемы решать, расширяя себе поле анализа и Заказчику - достоверность и используемость данных.

--------
Я не хочу быть крутым. Я не хочу громко петь.
Всё это - дым, только дым. А я боюсь угореть... (с)

21.11.2007 18:06

just smoking
Постов: 1455
Дата регистрации: 25.10.2006

Цитата, автор Лess: По моему, респонденты никогда не станут завышать уровень дохода.

Самый "лобовой" пример - желание респондента успешно "отскринериться" на фокус-группу, в которую он не проходит по доходу.

Кроме того, проблема "признания в бедности" действительно существует. Да, она не столь актуальна для нас, как "проблема признания в богатстве", но это не значит, что её нет.

ЗЫ: Да, возвращаясь к моему предыдущему постингу.
Дело в том, что если анализировать всё время какие-то социальные группы города С-Петербург, то можно - предположу - "набить руку" и понимать, какие социальные группы при каких видах исследования на сколько (в рублепроцентах) занижают свои доходы при "лобовом" вопросе.
Но как только сфера иссследовательских интересов чуть-чуть расширяется и "поле" делается даже на три региона с двумя типами поселений в каждом, надеяться на то, что самостоятельно кабинетно удастся грамотно понять что и как где с доходом, беря его только "лобовым способом", - нерационально самонадеянная затея.

--------
Я не хочу быть крутым. Я не хочу громко петь.
Всё это - дым, только дым. А я боюсь угореть... (с)

21.11.2007 18:15

Постов: 2114
Дата регистрации: 01.09.2005

Дорый вечер уважаемый DAK

Цитата, автор ДАК:

Цитата, автор Айра:... но мы проверяли по нескольким независимым вещам

Четырнадцать лет и все "просто"!

За такой же или меньший срок нарабатываем коэффициенты в смысле подхода (концепции, работы, диссертации и т. д.) Кобленца-Мишке и тоже все "просто".

(Подход описано им в , диссертации "Моделирование зависимости потребления предметов длительного пользования от динамики распределения доходов" Москва, ЦЭМИ, 1994 г.)

А на самом деле я не помню за последнее время фундаментальных российских работ, в которых мы увидели, что кто-то взялся и серьезно проверил: какие в каком случае мы получаем смещения. Фрагменты встречал, но не более.

Предлагаю подождать ответ «Проходящего мимо», т. к. с точки зрения науки - это их тема.

21.11.2007 18:18

Постов: 20
Дата регистрации: 23.09.2003

2ДАК
все же продолжаю не соглашаться с тем, что занижение одинаково по всему массиву.
Да, зависит от метода, но зависит и от статуса и дохода респондента.
в лоб задавать и анализировать просто, тем не менее считаю методически верным всегда при постановке прямых вопросов дополнять их косвенными - а потом сопоставлять их анализировать результаты.
В этом случае разнонаправленность тенденция становится очень хорошо видной.

21.11.2007 18:19

just smoking
Постов: 1455
Дата регистрации: 25.10.2006

для: butaev©
Эдуард Измаилович, мой ответ оказался чуть выше.
:)

Вроде я и ответил, что за 14 лет понять один город можно даже с разбивкой по сегментам. На уровне исследовательского чутья, к которому я отношусь с большим уважением.
Но не все исследователи локализуются на узкорегиональных рынках и отдельных социальных группах.

Кроме того, точные цифры доходов не всегда нужны. То есть, их - точных цифр доходов - крайне недостаточно для того, чтобы понять достаточно про, скажем, потребительское поведение. Про возможность отнесения к среднему классу ("классу" неравно "слою", подчёркиваю). Да про много чего ещё.
И если исследователь не понимает, как анализировать "сложные" вопросы по материальной обеспеченности респондентов, то никакой трагедии в этом нет. Но его личное исследовательское поле при этом сильно сужается.

Вы понимаете, что провести фундаментальную работу по проверке смещений можно. Но стОит это очень дорого. Потому что нужны классные полевики и классный менеджмент. Без этого можно получить только "плюс-минус три крокодила", применительно к такой задаче.
Бизнесу такие работы не нужны - ему гораздо рациональнее профинансировать исследования, которые эту проблему (в данном частном конкретном случае) решат. Дороже-дешевле, более-менее эффективно - это вопрос другой, но решат - не такая уж критичная это проблема применительно к большинству бизнес-задач.
Поэтому такие вещи можно найти только фрагментарно. И доверять полученным результатам только в той степени, в которой конкретный читатель доверяет конкретному исследователю Васе Иванову, это дело делающему.

--------
Я не хочу быть крутым. Я не хочу громко петь.
Всё это - дым, только дым. А я боюсь угореть... (с)

21.11.2007 18:31

just smoking
Постов: 1455
Дата регистрации: 25.10.2006

Цитата, автор Айра:все же продолжаю не соглашаться с тем, что занижение одинаково по всему массиву.

Я понял уважаемого ДАК© так, что он привёл средние, которые есть, в его примере, 10-20% на уличнике.
При этом он владеет информацией про то, что средние слои занижают, скажем, на 18-20%, нижние - на 5-6%, а выше среднего - на 17-19%.
В противном случае, все обсуждения такого подхода к корректировке не имеют смысла вообще.

--------
Я не хочу быть крутым. Я не хочу громко петь.
Всё это - дым, только дым. А я боюсь угореть... (с)

21.11.2007 18:50