 |
|
|
 |
|
|
|
| Погрешность опросов из-за отказов респондентов. |
|
Постов: 826
Дата регистрации: 05.09.2007 |
Цитата, автор butaev:
Добрый день уважаемые коллеги.
для: ДАК©
Добрый день.
К вопросу о базовом образовании.
Сразу после того, как коллега Less опубликовал здесь свой первый пост, я решил поискать у себя в библиотеке и сослаться на какую-нибудь книжку или статью, где разобран этот случай. Какую-нибудь пригодную для учебных целей. Но к стыду своему не нашел я такого материала, такого, где этот вопрос подробно и просто изложен. Правда на поиски было всего пару часов. Но все равно это вызвало у меня удивление. В этом вопросе нет белых пятен, а ни один учебник его подробно не разбирает.
Если у Вас такой учебник под рукой дайте пожалуйста ссылку
|
Вы это имели ввиду
Преимущества и недостатки бутстрепа как статистического метода обсуждаются в [43]. Там же и в [18] приводится информация о ряде аналогичных методов. Необходимо подчеркнуть, что бутстреп по Эфрону [39-42] - лишь один из вариантов методов "размножения выборки" (resampling), и, на наш взгляд, не самый удачный. Метод "складного ножа" представляется более полезным. На его основе можно сформулировать следующую простую практическую рекомендацию.
Предположим, что Вы по выборке делаете какие-либо статистические выводы. Вы хотите узнать также, насколько эти выводы устойчивы. Если у Вас есть другие (контрольные) выборки, описывающие то же явление, то Вы можете применить к ним ту же статистическую процедуру и сравнить результаты. А если таких выборок нет? Тогда Вы можете их построить искусственно. Берете исходную выборку и исключаете один элемент. Получаете похожую выборку. Затем возвращаете этот элемент и исключаете другой. Получаете вторую похожую выборку. Поступив так со всеми элементами исходной выборки, получаете столько выборок, похожих на исходную, каков ее объем. Остается обработать их тем же способом, что и исходную, и изучить устойчивость получаемых выводов - разброс оценок параметров, частоты принятия или отклонения гипотез и т.д.
http://www.newtech.ru/~orlov/sovrstat.htm
|
|
 |
0 |
 |
0 |
| Комментарий понравился? |
|
0 |
|
0 |
   14.11.2007 17:27 |  |
|
|
|
Маркетолог - международник
Постов: 5658
Дата регистрации: 27.01.2007 |
для: ДАК©
Цитата, автор ДАК:
Цитата, автор IgorRudy:
... у вас изначальное распределение с 4-5-ю "пиками" |
У Вас есть на этот счет внятные числовые аргументы? Обобщения и систематизация фактов?
Вот это было бы интересно рассмотреть...
| ... погрешности выборок из книг не имеют ничего общего с реальными ошибками ... |
Опять. Сказать-то сказали, но фактов нет.
Хотя тут еще большой вопрос, что считать "реальной ошибкой" и как ее отловить. |
Использовались электронные данные на 80-90% потребителей.
Раньше с ошибками выборок таких проблем не было, т.к. не было информации о 90% потребителей - теперь, когда они появились, можно сравнивать результаты выборок и сравнивать их с электронными данными по всем потребителям - приведу реальный пример:
1. делали случайную выборку 1 100 врачей - 95% +/- 3%. Провели опрос по числу пациентов/рецептов. Оказалось, что нет разницы между врачами в таргет списке и не в таргет списке (по числу пациентов/рецептов на врача, р>>0.05).
2. Сравнили те же результаты из IMS Health и Волтер Клюверс Health электронных баз данных по всем пациентам/рецептам всех врачей в США. Оказалось, что разница рецептов врачей в таргет списке и не в таргет списке - более 50% (т.е. врачи в таргет списке лечат на 50% больше пациентов, чем не в таргет, р<<0.05).
Т.е. сравнивая с полными данными, оакзалось, что ошибка выборки гораздо выше, чем статистическая. |
|
--------
marketer marketiri lupus est ... |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
14.11.2007 19:12 | |
|
|
|
Постов: 2114
Дата регистрации: 01.09.2005 |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.11.2007 09:42 | |
|
|
|
Постов: 2114
Дата регистрации: 01.09.2005 |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.11.2007 09:47 | |
|
|
|
Постов: 2114
Дата регистрации: 01.09.2005 |
Доброе утро уважаемые коллеги.
Доброе утро Игорь.
Цитата, автор Лess:
Как известно, основа любого опроса - случайность отбора респондента...
Надеюсь на конструктивное обсуждение. :) |
И так, благодаря Вашему примеру мы вернулись в начальную точку этой дискуссии, и важнейшему вопросу в МИ.
Как при построении опроса/исследования используется та информация о рынке/сегменте/потребителях, которой в любом "старом" отделе маркетинга по своему профилю много. Но она разрознена, неорганизованна, «растворена»?
Мы много раз говорили здесь про репрезентативность выборки. Так вот первое и главное требование - это совпадение по структуре генеральной совокупности (ГС) и выборки (структура ГС, конечно, в разных задачах должна пониматься по-разному в зависимости от того что мы измеряем).
Откуда мы в МИ знаем о структуре ГС?
Мы собираем все сведения известные до исследования и пытаемся понять структуру.
Объектом исследования в МИ никогда не бывает все Общество. Мы имеем дело с объектами, имеющими свою структуру (не могу из-за отсутствия времени останавливаться на этом подробно).
На форумах маркетологов я встречал споры по структуре даже небольших рынков. Значит, при обобщении имеющейся информации для представления о структуре есть большие сложности.
Действуя так, и анализируя имеющуюся у нас от прежних работ информацию, наконец мы доходим до вопроса, а что нам известно о таком-то элементе изучаемой структуры?
И мы отвечаем себе ничего. Вот тогда мы для изучения этого элемента включается принцип обязательной и полной случайности выбора представителей этого элемента структуры.
Мы опять пришли к банальности.
Принцип соблюдения структур ГС и выборки и равновероятного попадания должны быть соблюдены в исследовании, и эту фразу нельзя разделить на части. Будут ошибки, о которых Вы и пишите.
Написал не очень... Просто тороплюсь. Простите великодушно за некоторую туманность.
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.11.2007 10:59 | |
|
|
|
Постов: 52
Дата регистрации: 01.12.2003 |
Цитата, автор butaev:
....Если у Вас такой учебник под рукой дайте пожалуйста ссылку |
По вопросу влияния отказов на результат - не помню.
Смутно припоминаю, что в "Малхотре" было, как минимим, про долю отказов...
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
 15.11.2007 13:24 | |
|
|
|
Постов: 52
Дата регистрации: 01.12.2003 |
Цитата, автор IgorRudy:
1. делали случайную выборку 1 100 врачей. Провели опрос по числу пациентов/рецептов. Оказалось, что нет разницы между врачами в таргет списке и не в таргет списке (по числу пациентов/рецептов на врача, р>>0.05). |
Не понял термина "таргет список".
Расчетное число пациентов по результатам опроса получилось одинаковым с чем?
И это "расчетное что-то" (по результатам опроса) не соответствовало чему-то из баз сплошного учета.
На основании представленной информации нельзя утверждать, что причина расхождения собственно в отказах от участия в опросе.
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.11.2007 13:35 | |
|
|
|
Постов: 2114
Дата регистрации: 01.09.2005 |
для: ДАК©
Добрый вечер.
Спасибо за ответ.
Посмотрю еще раз обязательно.
Если позволите пару мыслей по поднятому вопросу. А то и Вы, и я так бодро стали убеждать коллегу Less-а, что проблемы нет никакой.
Она конечно больше проблема социологии, чем наша. Но мы стоим на "плечах социологов", и поэтому тоже вынуждены задуматься, хотя бы просто для себя, над взаимосвязью качества исследования и процентом отказавшихся отвечать на вопросы интервьюеров. Ведь данные МИ обычно менеджеры используют для прогнозирования поведения покупателей.
Интуитивно понятно, что отказавшиеся отвечать "послали" наши опросы, наш маркетинг и т. д. И стали для нас какой-то группой вне поля нашего наблюдения.
Как они себя будут вести нам не ясно.
Как учесть в оценках это возрастание неопределенности я в литературе не встречал, на уровне моего знания, этот вопрос обойден стороной.
Те люди, у который я учился, обычно смотря результаты, всегда спрашивали о проценте отказавшихся отвечать. Им нужно было составить себе полное представление о тех кого мы изучили и доле тех, кто обособился. Я обычно не спрашиваю, я не понимаю что мне с этим процентом отказавшихся отвечать делать? |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.11.2007 18:38 | |
|
|
|
Маркетолог - международник
Постов: 5658
Дата регистрации: 27.01.2007 |
для: butaev©
Цитата, автор butaev: Принцип соблюдения структур ГС и выборки и равновероятного попадания должны быть соблюдены в исследовании, и эту фразу нельзя разделить на части. Будут ошибки, о которых Вы и пишите.
|
Здтавствуйте Эдуард Измаилович!
Очень хорошо сказано! Именно надо сохранять структуру! И так же для вычисления ошибок выборки, использовать не стандартный статистический подход с гаусом, а с распределением из ГС структуры. |
|
--------
marketer marketiri lupus est ... |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.11.2007 19:16 | |
|
|
|
Маркетолог - международник
Постов: 5658
Дата регистрации: 27.01.2007 |
для: ДАК©
Цитата, автор ДАК:Не понял термина "таргет список".
Расчетное число пациентов по результатам опроса получилось одинаковым с чем?
И это "расчетное что-то" (по результатам опроса) не соответствовало чему-то из баз сплошного учета.
На основании представленной информации нельзя утверждать, что причина расхождения собственно в отказах от участия в опросе.
|
"Таргет список" - список врачей для таргетинга (т.е. посещаемых сейлс представителем).
Среднее число пациентов у таргет врача оказалось в выборке равным среднему числу пациентов y не-таргет врача.
Основная причина расхождения не в отказах, а в формировании случайной выборки и расчёте ошибки иcxодя из гауссового распределения, что не соответствует реальности.
+ отказы часто приходят от врачей, которые принимают больше всего пациентов (занятость) - поэтому другие опросы чаще всего скошены ... |
|
--------
marketer marketiri lupus est ... |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.11.2007 19:31 | |
|
|
|
Постов: 52
Дата регистрации: 01.12.2003 |
Цитата, автор butaev:
А то и Вы, и я так бодро стали убеждать коллегу Less-а, что проблемы нет никакой. |
Не совсем так.
Говорил, что для "больших" выборок (по населению) проблем не очень значим, но для В2В-работ с точностью до наоборот.
| Она конечно больше проблема социологии, чем наша. Но мы стоим на "плечах социологов", и поэтому тоже вынуждены задуматься, хотя бы просто для себя, над взаимосвязью качества исследования и процентом отказавшихся отвечать на вопросы интервьюеров. Ведь данные МИ обычно менеджеры используют для прогнозирования поведения покупателей. |
Проблему воспринимаю как исследовательскую, т.к. Клиенту в значительной части случаев вообще все равно, что мы ворожим в процессе. Ему важен АДЕКВАТНЫЙ результат.
| Интуитивно понятно, что отказавшиеся отвечать "послали" наши опросы, наш маркетинг и т. д. |
Отказы неоднородны. Будет время, сделаю подборку классифицированных отказов (недостижимости) для различных исследований.
| ... всегда спрашивали о проценте отказавшихся отвечать. |
Сам по себе этот показатель занимателен но не более, т.к. завсит от
- кого опрашиваем
- темы опроса (уровня интереса респа к теме)
- содержания "вступительной речи" интервьюера
- "исполнительского мастерства" интервьюера
- времени проведения опроса
- и некоторых иных факторов
| Как учесть в оценках это возрастание неопределенности... |
Очень точно - "возрастание неопределенности"... и это надо принимать.
Далее безотносительно конкретной работы вопрос, скорее всего, единого решения не имеет, но для конкретного мониторингового проекта его очень даже можно порешать.
На досуге (в новогодние каникулы) попробую просмотреть отказ/результат по опросам представителей строительных организаций.
Для этих работ уровнь достижимости или отношение полных интервью к начальному списку 0.2-0.3.
Пример для опроса промышленных предприятий
Начальный список 100%
Ошибки списка 9%
Ошибки доступа 9%
Опрошено 22%
Отказы 60%
в отказах т.ч.
отказ, т.к. не относятся к теме опроса 21%
отказ от интервью с неизвестным мотивом 38%
прерванные интервью 1%
Если смотеть на достижимость в "чистом" списке (выборке)
"Чистый" список 100%
опрошено 36%
Отказы от интервью с неизвестным мотивом 64%
Ну и как тут можно говорить, что броблемы нет?
:)
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
16.11.2007 12:22 | |
|
|
|
Маркетолог - международник
Постов: 5658
Дата регистрации: 27.01.2007 |
для: ДАК©
Цитата, автор ДАК:Пример для опроса промышленных предприятий
Начальный список 100%
Ошибки списка 9%
Ошибки доступа 9%
Опрошено 22%
Отказы 60%
в отказах т.ч.
отказ, т.к. не относятся к теме опроса 21%
отказ от интервью с неизвестным мотивом 38%
прерванные интервью 1%
Если смотеть на достижимость в "чистом" списке (выборке)
"Чистый" список 100%
опрошено 36%
Отказы от интервью с неизвестным мотивом 64%
|
А какова разница в характеристиках отказавшихся и согласившихся? |
|
--------
marketer marketiri lupus est ... |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
16.11.2007 18:46 | |
|
|
|
Постов: 52
Дата регистрации: 01.12.2003 |
Цитата, автор IgorRudy:
А какова разница в характеристиках отказавшихся и согласившихся? |
Хороший вопрос.
:)
Беда в том, что "отказавшиеся" формально "черный ящик".
Можно сравнивать "внешние" или "декларируемые в иных источниках" признаки (характеристики).
А нет разницы.... вроде бы как :)
Ответ не шибко серьезный, но как есть |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
19.11.2007 12:54 | |
|
|
|
Постов: 20
Дата регистрации: 23.09.2003 |
Были многочисленные методические эксперименты (преимущественно на западе, но и у нас проводили, например, ВЦИОМ при Леваде такие методические вещи делал) для определения величины и направленности систематического смещения выборки при отказах.
Каким образом они проводились?
Интервьюеры фиксировали домохозяйства, где получали отказы, затем по этим адресам с повторным/третьим посещением шли намного более опытные интервьюеры и психологи и проводили тот же опрос.
Затем сравнивались параметры «отказников» и тех, кто отвечали.
В целом систематическое смещение наблюдалось в сторону менее доходных и менее образованных слоев населения. То есть чем более неуверенным чувствовал себя респондент, тем чаще он отказывал.
Эта же тенденция прослеживалась мной на примере экспертных интервью. Чем более человек в теме, тем охотнее он идет на контакт. Если он в теме не разбирается, вот тут и начинаются все «коммерческие тайны» и «безумная занятость». Но это мое ИМХО, в данной страте методических экспериментов я не проводила.
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
19.11.2007 14:43 | |
|
|
|
Информация должна быть легкой и быстроперевариваемой
Постов: 64
Дата регистрации: 30.10.2007 |
для: Айра© Спасибо за сообщение.
Ура, наконец я дождался практических данных.
Может с этим связано, что при опросах сложно достичь квоты с респондентами, имеющими образование ниже среднего и начальное.
Вроде бы есть итоги переписи и данные Росстатистики о структуре населения, а интервьюеры плачутся, что очень много высшего образования и нельзя найти ниже среднего. |
|
--------
... типа мысли вслух |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
19.11.2007 15:16 | |
|
|
|
Постов: 20
Дата регистрации: 23.09.2003 |
частично с этим.
Но, поскольку уровень образования - это статусная вещь, частично еще и с тем, что люди с невысоким уровнем образования склонны завышать свой уровень образования.
то есть у него среднее техническое, а при опросах он сообщает о высшем. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
19.11.2007 16:17 | |
|
|
|
just smoking
Постов: 1455
Дата регистрации: 25.10.2006 |
для: Лess©
"Малообразованных" респондентов сложно найти в крупных городах и среди относительно маловозрастных групп. Т.н. "синдром всеобщего высшего образования" последних 15 лет приводит к особенному "вымыванию" начального и среднего специального образования в этих группах.
Кроме того, малообразованные группы чаще характеризуются асоциальным поведением, а, проще говоря, пьютЪ.
Они также заметно менее обязательны в выполнении договорённостей.
|
|
--------
Я не хочу быть крутым. Я не хочу громко петь.
Всё это - дым, только дым. А я боюсь угореть... (с) |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
19.11.2007 17:15 | |
|
|
|
Маркетолог - международник
Постов: 5658
Дата регистрации: 27.01.2007 |
для: ДАК©
Цитата, автор ДАК:Беда в том, что "отказавшиеся" формально "черный ящик".
Можно сравнивать "внешние" или "декларируемые в иных источниках" признаки (характеристики).
А нет разницы.... вроде бы как :)
Ответ не шибко серьезный, но как есть |
Совершенно согласен по "чёрному ящику".
Я несколько раз сравнивал электронку по отказникам - в 90% исследованиях у меня был перекос (т.е. отказники отличались от среднего). |
|
--------
marketer marketiri lupus est ... |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
19.11.2007 22:56 | |
|
|
|
Маркетолог - международник
Постов: 5658
Дата регистрации: 27.01.2007 |
Цитата, автор Айра:Но, поскольку уровень образования - это статусная вещь, частично еще и с тем, что люди с невысоким уровнем образования склонны завышать свой уровень образования.
то есть у него среднее техническое, а при опросах он сообщает о высшем. |
Это так же важный вопрос - как откорректировать заведомо ложную информацию ... |
|
--------
marketer marketiri lupus est ... |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
19.11.2007 22:58 | |
|
|
|
Маркетолог - международник
Постов: 5658
Дата регистрации: 27.01.2007 |
| Цитата, автор Проходящий Мимо:"Малообразованных" респондентов сложно найти в крупных городах и среди относительно маловозрастных групп. Т.н. "синдром всеобщего высшего образования" последних 15 лет приводит к особенному "вымыванию" начального и среднего специального образования в этих группах. |
Давно ещё показывали результаты опроса ассенизаторов - 90% имели высшее образование, и до 10% - доктора наук  |
|
--------
marketer marketiri lupus est ... |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
19.11.2007 23:00 | |
|
|
|
 | Только зарегистрированные пользователи могут оставлять сообщения в этом форуме |
|
|
|
|
|
© "ООО Состав.ру" 1998-2024
тел/факс: +7 495 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2
При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
|
|
|
|
