 |
|
|
 |
|
|
|
| Статистика, отражающая значимость разниц в результатах |
|
Постов: 4
Дата регистрации: 20.04.2005 |
Господа, маркетологи!
Ситуация следующая: мы провели исследование на выборке 300, в ходе которого сравнивали две величины. Результаты показали, что разница между двумя величинами порядка 2%. Возникает вопрос: 2% это значимая разница или нет?
Я пытаюсь найти какую-нибудь научную основу, которая объяснила бы мне каким образом я могу подтвердисть, что разница значима или наоборот незначительна. Подскажите, пожалуйста, как называется подобная статистика и где можно пронее поочитать и найти формулы.
Заранее большое сасибо!
Марина |
|
 |
0 |
 |
0 |
| Комментарий понравился? |
|
0 |
|
0 |
   11.01.2006 17:14 |  |
|
|
|
Постов: 2758
Дата регистрации: 31.08.2005 |
Нет, не значима эта разница. По формальным аспектам при выборке в 300 человек для "достоверных" различий см. http://www.statsoft.ru/home/textbook/ разделы по t-критерию. Учтите, что если вы сравниваете частоты в двух подгруппах, то выборки у вас будут другие.
В содержательном плане 2% при большом объеме выборки может быть "достоверной", но содержательно - в любом случае незначимой. |
|
--------
http://www.dnp.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
 11.01.2006 17:43 | |
|
|
|
Постов: 4
Дата регистрации: 20.04.2005 |
Уважаемый, Михаил!
Большое спасибо за ответ и ссылку - она очень полозна, но, к сожалению, не очень понятна.
Я не могу понят, каким именно способо можно определить предел значимости разницы между двумя сравниваемыми величинами (выборка на каждую величину 150). Все формулы, которые я нашла скорее из разряда теории, а не практики. Кроме того, я не очень поняла в чем различие между "достоверным" и "значимым"?
Главный момент, который я поняла, это чем выборка больше, тем более значимой считается маленькая разница и наоборот, на маленьких выборках маленькая разница незначительна. Но где проходит грань между большой и маленькой выборкой?
Не могли бы Вы объяснить это более доступным языком.
Заранее большое спасибо!
Марина |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.01.2006 12:13 | |
|
|
|
Просто маркетолог
Постов: 5216
Дата регистрации: 17.11.2003 |
| Хммм, не думал, что калькулятор выборки найду только на рекламном сайте - http://surin.marketolog.biz/calculator.htm Если посчитаете доверительный интервал для своей выборки, получите погрешность в районе 5%. Отсюда вывод - эта разница находится в пределах погрешности и ВООБЩЕ никакого значения не имеет. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.01.2006 12:47 | |
|
|
|
Постов: 2758
Дата регистрации: 31.08.2005 |
О...................................................
Почитайте все-таки учебник по статистике. Любой, это есть везде.
Для оценки достоверности различий исходите из того, что при выборках по 150 человек достоверными будет разница больше 16%. При выборках по 300 человек достоверные различия будут уже при разнице 11%. То есть, увеличение выборки в 4 раза даст уменьшение величины различия, при котором его можно считать достоверным, только в 2 раза.
"Достоверность" это статистический термин, а "значимость" это оценочный критерий. При сравнении в выборках по 2000 человек у вас достоверно будут различаться рейтинг, допустим, радиостанции в 3% и 5%, но содержательно для принятия решения об использовании данной радиостанции в рекламной кампании это не важно (использовать в любом случае бесполезно). |
|
--------
http://www.dnp.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.01.2006 13:12 | |
|
|
|
Постов: 2758
Дата регистрации: 31.08.2005 |
Арсений, сорри,
но для достоверности различий долей в двух выборках их доверительные интервалы не должны "пересекаться", т.е. различия (с 95%) возникают при не меньше, чем двух доверительных интервалах. |
|
--------
http://www.dnp.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.01.2006 13:19 | |
|
|
|
Просто маркетолог
Постов: 5216
Дата регистрации: 17.11.2003 |
Цитата, автор Михаил Дымшиц:
Арсений, сорри,
но для достоверности различий долей в двух выборках их доверительные интервалы не должны "пересекаться", т.е. различия (с 95%) возникают при не меньше, чем двух доверительных интервалах. |
Выборка-то, насколько я понимаю, одна, просто 150 дали один ответ, а 150 - другой. Впрочем, какая разница, если даже на 300 - 2% величина абсолютно незначимая, а чем меньше, тем хуже... |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.01.2006 14:11 | |
|
|
|
Постов: 2114
Дата регистрации: 01.09.2005 |
Добрый день коллеги. Добрый день Марина.
Вы можете прочесть на Gfk.ru материалы Физфака по теории физических измерений и ошибках их сопровождающих (есть отдельный файл). Это даст Вам возможность освоить терминологию и формулы. Но дело не в теории, она там для физических измерений (в физике и технике есть спец. отрасль метрология, а в социологии ее нет и, думаю, долго не будет; зато есть "обнаучка"), а в сути опроса, как средства измерения. Его результаты достоверны (повторяемы, с определенными оговорками) совсем не всегда. Чтобы убедиться в повторяемости характеристик ответов надо делать много подобных опросов. А на практике это встречается не так часто.
Давайте для аналогии от опроса перейдем к измерению температуры больного человека. Я не знаю, какие вопросы Вы задали, но опрос 300 человек один раз аналогичен по чувствительности к разнице температуры измерению ее прикладыванием ладони к его лбу. После прикосновения:
100 человек сказало, что она выше 39 градусов (у больного жар) и 102 человека сказали, что выше 37 (явно повышенная) и 10 человек что нормальная.
Градусника у нас нет. И, кроме того, что с большой долей вероятности у больного высокая температура сказать ничего нельзя. И мат. статистика в этом случае применять не следует. Глупо.
Другое дело если подобный опрос до Вас проводили не раз и не два. Тогда можно проверять значимость различий. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.01.2006 15:26 | |
|
|
|
SuperB<<
< |
| Господа, а если величина полученной оценки сопоставима с величиной ошибки, то что делать тогда. И есть ли тут какие либо нормы. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.01.2006 18:51 | |
|
|
|
Постов: 2758
Дата регистрации: 31.08.2005 |
Цитата, автор SuperB:
Господа, а если величина полученной оценки сопоставима с величиной ошибки, то что делать тогда. И есть ли тут какие либо нормы. |
Самое разумное - игнорировать величину на фиг. Но в практическом плане для клиентов это не очень убедительная позиция, особенно для новых товаров. Соответственно, очень сильно зависит от крепости нервов исследователя.
Определенную оговорку сделать можно, прежде всего для для малых долей при малых выборках (до 800 человек): в таблицах приводят доверительные интервалы, т.е. ошибка выборки с поправкой на t для доверительного интервала, т.е., как минимум с коэфффициентом 1,96. При увеличении выборки у вас, ясное дело, будет происходить регрессия к средней и если вы не наврали с формирования малой выборки, частота признака окажется где-то между [полученной средней - ошибка средней]. Т.е. не равновероятное колебание в большую или меньшую сторону в пределах доверительного интервала, а "всегда" есть склонность к уменьшению значения, полученного на малых выборках.
Тут опять же возникает вопрос, а о каком параметре мы говорим и о "достоверности" или "значимости": если измеряем, допустим, спонтанное знание - то там, сколько намерили, столько намерили. Это непосредственно замеряемый социальный факт. А вот при тестировании рекламных материалов или концептов новых товаров существует критерий отсечения непрошедших тест вариантов, который к статистике не имеет ни малейшего отношения: немного упрощая, если реклама понравилась меньше трети опрошенных (целевой группе), то это значит, что она тест не прошла. |
|
--------
http://www.dnp.ru |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
12.01.2006 21:04 | |
|
|
|
SuperB<<
< |
| То есть, насколько я понял, оптимальным вариантом будет констатация того,что есть. И если появится желание можно в примечании указать, что вот эти последние результаты могут быть и не верные так как ... |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.01.2006 11:07 | |
|
|
|
Постов: 60
Дата регистрации: 16.05.2005 |
рекомендую почитать форум на gfk.ru
а калькулятор можно найти на bma.ru
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.01.2006 15:19 | |
|
|
|
Просто маркетолог
Постов: 5216
Дата регистрации: 17.11.2003 |
| для: SuperB Вот это как раз любимый путь плохих исследователей, юристов и банкиров! Когда заказчику дается ВСЯ информация, в том числе и мелким шрифтом, а разобраться - уж дело заказчика :))) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
13.01.2006 20:22 | |
|
|
|
SuperB<<
< |
для: Arsenij© А разве хороший исследователь не ВСЕ говорит??? Главное правильно расставить акценты  |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
14.01.2006 15:39 | |
|
|
|
Просто маркетолог
Постов: 5216
Дата регистрации: 17.11.2003 |
для: SuperB Хороший исследователь говорит не ВСЕ, а только выдает ЗНАЧИМУЮ информацию. При желании заказчика может дать и все остальное, но уже "мелким шрифтом" :) Если более подробно - то отчет на 123 страницы заказчик никогда не прочтет. Значит, надо сделать 15 страниц но с реальными результатами. А дальше - по желанию.
Для данного случая, если задавался только один вопрос - нужно обязательно указать, что различия в знании ЗНАЧИМЫ только для таких-то значений, а остальное - в пределах погрешности. И мелким шрифтом график с значениями, которые различаются в пределах погрешности. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.01.2006 13:19 | |
|
|
|
Постов: 2114
Дата регистрации: 01.09.2005 |
Добрый день коллеги.
Добрый день Александро и SuperB. Я не даром посоветовал почитать этот материал http://forum.gfk.ru/texts/standards/errors.pdf . И только его.
А не ставить обсуждение на форум. И наш и еще три форума (включая форум Gfk), которые можно задействовать в этом случае, без детального обсуждения самих вопросов, как делалась выборка и всех полученных ответов бессильны за Марину научно обоснованно предположить (не то, чтобы решить), что будет, если повторить этот же опрос через 2 недели.
А вот умствований можно получить и советов на всю жизнь.
Одноразовый опрос в 300 человек, как метод, это ловля рыбы сетью с очень крупной ячейкой. Мелочь не ловится, не должна. Забудьте про нее. Начнете уменьшать ячейку сети, наберете полную сеть тины. И уж в этой тине, как в кофейной гуще, можно найти все, что угодно. Но маркетингу нужны честные ответы пусть даже "установить не удается", а не наукообразие.
Я по глупости, с настойчивостью достойной лучшего применения, объясняю, что одноразовый опрос, как способ измерения, подобен проверке дыхания водителя на содержание алкоголя инспектором ГПДД. (Там тоже за одно измерение измеряется процент определенных молекул в выдохе). Можно выяснить много пил водитель или не пил. А определить чего он больше пил водки или пива таким методом не удастся.
Формулы для идеального случая, при 1000 оговорок и дополнительных действиях при анализе, можно посмотреть в http://www.prorektor.ru/makarov/statistics4/1.html или http://forum.gfk.ru/texts/seminar/sampling.zip Они ближе всего к теме и написана уж совсем без сложностей для студентов. Только применять их в вашем случае нельзя.
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.01.2006 21:44 | |
|
|
|
Аналитик<<
< |
На самом деле все зависит от вопроса. На вопрос "употребляли ли вы водку хотя бы раз за последнюю неделю" ответ можно получить четкий и однозначный. То о чем говорит г-н. Бутаев относится к теории измерений. По ней можно почитать книжку Толстовой - все станет понятно. Тысяча оговорок - это скорее от незнания, на самом деле их намного меньше. Теперь о сравнении процентов по 2 непересекающимся выборкам. Для такого сравнения используется 2-х выборочный z-test. О нем достаточно подробно, со всеми формулами написано здесь: http://www.stat.ucla.edu/~cochran/stat10/winter/lectures/lect21.html правда на английском.
|
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.01.2006 11:34 | |
|
|
|
Постов: 2114
Дата регистрации: 01.09.2005 |
Добрый вечер коллеги. Добрый вечер Аналитик.
Конечно и в вопросах, и в том, как их задавать, и во многом, как организована выборка (в последнем рекомендованном мной материале, в последнем слайде, модератор форума Gfk Асхат Кутлалиев наглядно показывает всю сложность такой организации). Но это все не об этом случае и не об этом вопросе.
Перед тем как писать свой последний пост, я просмотрел текст книги Толстовой, она есть в рубрике «Тексты» форума Gfk. ru. И, ввиду сложностей моих личных отношений с некоторыми его завсегдатаями, я проверял: не упустил ли я чего-либо. Нет там никаких ответов на поставленный вопрос. Да и быть не может. Информации недостаточно.
Книга отличная и почитать ее не грех. Это без обсуждения.
Но так, как Марина поставила вопрос: "Ситуация следующая: мы провели исследование на выборке 300, в ходе которого сравнивали две величины. Результаты показали, что разница между двумя величинами порядка 2%. Возникает вопрос: 2% это значимая разница или нет?
Я пытаюсь найти какую-нибудь научную основу, которая объяснила бы мне каким образом я могу подтвердить, что разница значима или наоборот незначительна. Подскажите, пожалуйста, как называется подобная статистика и где можно про нее по читать и найти формулы.
Заранее большое спасибо! Марина"
Ответ один или давайте много, много дополнительной информации или пока обосновано сказать: "значима" нельзя.
"Незначима" тоже для обоснования требует доп. информации. Но я про это как-то меньше думал. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.01.2006 23:56 | |
|
|
|
Аналитик.<<
< |
Добрый вечер.
Указание на книжку по теории измерений, относилось к высказыванию по поводу "одноразового вопроса". Действительно, как Вы заметили, это не дает ответа о расчете значимости между двумя величинами. Я просто счел нужным прокомментировать это высказывание. А расчет значимости проводится достаточно просто - по уже указанной формуле. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
23.01.2006 17:36 | |
|
|
|
Постов: 2114
Дата регистрации: 01.09.2005 |
Добрый вечер уважаемый Аналитик.
1. Лирическое отступление. Исследователи начинают спорить, после того, как прочтут описание выборки. Оно в посте Марины отсутствует. Так что какие будут ошибки и из какой категории, нам неизвестно. 2. Судя по вашим постам, Вы человек с опытом, можете представить, как бы шло такого рода обсуждение на другом проф. форуме социологов, работающих в области маркетинговых исследований. Возьмите любой, который Вы посещали. Чего бы там Марина начиталась по поводу выборки и самой постановки вопроса. В конце концов, можно переправить этот пост Толстовой, просто не хочется отвлекать. Не тот повод.
3. Как и Вы, я допускаю возможность, что даже при анкетировании 200 человек можно достаточно определенно ответить на вопрос: есть различия или нет. Хотя 2% все-таки смущают. Но каждый такой случай - это исключение из правила. Что помогает сделать выводы о различности. Дополнительная информация, как из самого исследования, так и другая. Плюс опыт многих предыдущих исследований с использованием таких же вопросов и т. д. Из того, что нам написала Марина, применяя аппарат мат. статистики мы никаких выводов о различности сделать не можем. Да и не следует. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
24.01.2006 22:54 | |
|
|
|
 | Только зарегистрированные пользователи могут оставлять сообщения в этом форуме |
|
|
|
|
|
© "ООО Состав.ру" 1998-2024
тел/факс: +7 495 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2
При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
|
|
|
|
