 |
|
|
 |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор F3:
для: Мадам Грицацуева©
Я привел Ядова ровно потому, что его работу изучают все социологи России в обязательном порядке.
И привел не для того, чтобы делать выводы о репрезентативности на основании этой главы. А для того, чтобы показать Вам список типов экспериментов. Вы меня об этом просили. По крайней мере, мне так показалось.
Что касается моих соображений. Ваш пример с мостом 1 способ оценки не иллюстрирует. И предлагаю Вам это уже, наконец, признать, а не ходить кругами.
|
Зачем же кругами? Как насчет прямо - к Ядову?
Стр 7. (2) Эксперимент типа "до — после" без контрольного объекта. В этом эксперименте логика анализа упрощается следующим образом:
d = P2 - Pl, т.е. d = f (x+K).
Может, вам его перечитать стоит? |
|
 |
0 |
 |
0 |
| Комментарий понравился? |
|
0 |
|
0 |
   16.12.2009 19:24 |  |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: koska©
"URL - те, кто кликнули на вашу ссылку из емейла и купили товар."
По условиям задачи это 640 человек. 1200 это те кто купил и находится в базе как покупатель и ассоциирован с тестовой группой.
640 - это те, кто точно воспользовался письмом перейдя по ссылке и совершив покупку.
koska© утверждает, что из этих людей 400 человек и так купили бы продукцию (А почему кстати? Если урл 640, в контрольной 240, значит для 400 покупок рассылка письма явилась ключевым фактором). Но вот ведь засада. Не знаем мы, может да, может нет. А не знаем мы потому, что не знаем как совершалась покупка. (У меня - несколько адресов. И со всех стоят пересылки на один. На очков.нет я регестрировался несколько раз. Там же в базе у меня - жена). Естественно, я не могу достоверно сказать сколько таких как я. Но уверен, что достаточное количество что бы обособленность контрольной группы в интернете стала мнимой. Для тех цифр что в задаче - приличной генсовокупности и процента купивших в группах 1,5 и 1,2 ???
"По условиям, отобрав случайно контрольную группу, мы добились того, что доля битых адресов в обеих группах одинакова. И этот критерий более не может являться основанием для объяснения различий покупок в группах."
А какая нам разница, одинакова ли доля битых адресов в группах, если для первой группы доля битых адресов имеет существенное значение, а для контрольной- нет. Потому и говорю, что результат показывает в первую очередь эффективность базы. Рассудите сами. На количество купивших в тестовой группе должен оказать влияние факт рассылки письма. При этом, факт перехода, сиречь количество УРЛ остаётся неизменным. При 100 % получивших письмо (если принять предложенную процедуру расчётов) приведённые данные будут означать
Тестовая Контрольная
Выборка 80 000 20 000
Покупка 1200 240
% покупки 1,5 1,2
url 640 0
url минус доля в контр. 400 0
url минус доля в контр. (%)0,5 0
Для 50 % получивших письмо
Тестовая Контрольная
Выборка 40 000 10 000
Покупка 600 120
% покупки 1,5 1,2
url 640 0
url минус доля в контр. 520 0
url минус доля в контр. (%)1,3 0
Для 10 % получивших письмо
Тестовая Контрольная
Выборка 8 000 2 000
Покупка 120 24
% покупки 1,5 1,2
url 640 0
url минус доля в контр. 616 0
url минус доля в контр. (%)7,7 0
То есть, в зависимости от того, сколько писем было прочитано, мы получаем разброс от 0,5 % до 7,7 %. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
16.12.2009 20:09 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор IQ:
для: koska©
"URL - те, кто кликнули на вашу ссылку из емейла и купили товар."
По условиям задачи это 640 человек. 1200 это те кто купил и находится в базе как покупатель и ассоциирован с тестовой группой.
640 - это те, кто точно воспользовался письмом перейдя по ссылке и совершив покупку.
koska© утверждает, что из этих людей 400 человек и так купили бы продукцию (А почему кстати? Если урл 640, в контрольной 240, значит для 400 покупок рассылка письма явилась ключевым фактором). |
Вы путаете 240 тех, кто купил из контрольной группы с 240, которые представляют 0,3% увеличения продаж в тестовой группе (ака результат моего вычисления, который я сделала для вас два раза). Если честно, я даже не знаю, как вы додумались вычитать из тех кто кликнул на УРЛ среди 80 тыс человек тех кто купил из 20 тыс. С такими вычислениями главным фактором вашей эффективности будет размер контрольной группы - чем меньше контрольна группа, тем лучше результат. Сами понимаете, такой подход назвать научным нельзя ни под каким соусом (хотя, чего маркетологи умеют, так это так исказить цифры, что концов не найдешь).
| А не знаем мы потому, что не знаем как совершалась покупка. |
Монописуально как. Важно оценить сколько бы купило, если бы не было письма. Именно это есть цель использования контрольной группы.
Тестовая Контрольная
Выборка 80 000 20 000
Покупка 1200 240
% покупки 1,5 1,2
url 640 0
url минус доля в контр. 400 0
url минус доля в контр. (%)0,5 0
Для 50 % получивших письмо
Тестовая Контрольная
Выборка 40 000 10 000
Покупка 600 120 <-- две ошибки, смотрите ниже
% покупки 1,5 1,2
url 640 0
url минус доля в контр. 520 0
url минус доля в контр. (%)1,3 0
Для 10 % получивших письмо
Тестовая Контрольная
Выборка 8 000 2 000
Покупка 120 24 <-- две ошибки, смотрите ниже
% покупки 1,5 1,2
url 640 0
url минус доля в контр. 616 0
url минус доля в контр. (%)7,7 0
То есть, в зависимости от того, сколько писем было прочитано, мы получаем разброс от 0,5 % до 7,7 %. |
Следующие ошибки:
1. Вы не можете нормализовать количество купивших согласно вашему % хороших адресов потому что распредение купивших будет отличаться от общего распределения адресов по плохим/хорошим.
2. Вы предолагаете, что среди тех, кто не получил письмо : в тестовой группе - из 40 тыс человек 600 человек совершили покупку, а в контрольной группе из 10 тыс человек 120 совершили покупку. Это 1,5% для тестовой и 1,2% для контрольной. Ваше предположение неверно, так как оно противоречит репрезентативности тестовой и контрольной групп, результатом которой есть одинаковая склонность совершить покупку при отсутствиии других факторов (в вашем случае - емейла). Так как вы отбираете этих людей согласно одинаковому критерию (плохой емейл), репрезентативность сохраняется.
Последняя ошибка - вы почему-то думаете, что какое-то количество тех, кто не получил емейл, все равно кликнут на ссылку. Это неправильно. Хотя это не влияет на вашу оценку реальной отдачи от письма (ту, которую я считаю правильной), тем не менее, это ошибка в вашей логике, которую следует отметить. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
16.12.2009 20:43 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: Мадам Грицацуева©
Я не полагаю, что "какое-то количество тех, кто не получил емейл, все равно кликнут на ссылку.", я полагаю, что на какое-то количество тех кто купил в контрольной группе оказало влияние письмо. Косвенным образом. Каждый 1% таких в контрольной группе даёт значение 1,2 минус 0,012. То есть при наличии 10 % таких среди купивших в контрольной группе, процент покупки в контрольной группе будет уже равен 1,08. А что такое эти 10 %? Это всего 24 человека из 20 000. То что в интернете связи гораздо теснее в группе я уже писал. Можно так же предположить, что чем интереснее предложение, тем выше может оказаться процент косвенно купивших в контрольной группе под влиянием письма. Но мы не знаем что происходит на самом деле, а если таких людей 50 %?
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
16.12.2009 23:05 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: Мадам Грицацуева©
А как быть с теми, кто перешёл по ссылке после подсчётов?
И с теми, кто не вошёл ни в одну из групп, но получил от друга/жены/коллеги, вошедших в тестовую группу, ссылку и купил? |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
16.12.2009 23:43 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
| для: IQ© Вообще-то измерение влияния тестовой группы на контрольную группу не представляет большой проблемы. Достаточно сделать две контрольные группы, разнесенные по времени или по георафии. Упрощая, если ваша средняя вероятность покупки за один месяц составляет 1,2%, и покупки контрольной группы составили 1,2% за месяц после рассылки, то вы практически точно знаете, что экстернального эффекта нет. Еще один спобоб обеспечить независимость тестовой и контрольной группы - кстати, который я упомянула в своем примере - тестировать на небольшой части вашей ген. совокупности, если это возможно. Если вы прочитаете мое объяснение условий задачи, я указала, что ваша ген совокупность 3 миллиона адресов, и вы случайным образом выбрали из нее 100 тыс для эксперимента. В этом случае, вероятность того, что кто-либо из тестовой группы знает кого-либо из контрольной и повлияет на покупки контрольной группы минимальна, если не нулевая. Из практических соображений - я ни разу не видела даже удаленных доказательств, что существует какое-либо влияние тестовой группы на контрольную. Предполагается все-таки, что мы занимаемся серьезным маркетингом, таким, где измерение эффекта оправдано, а не разделяем 20 работников нашей компании на две группы в целях эксперимента. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 00:00 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор IQ:
для: Мадам Грицацуева©
А как быть с теми, кто перешёл по ссылке после подсчётов?
И с теми, кто не вошёл ни в одну из групп, но получил от друга/жены/коллеги, вошедших в тестовую группу, ссылку и купил? |
Как вы думаете, сколько таких людей будет? Скажем, хорошей практикой считается подсчитывать результаты в течении 20-30 дней после рассылки прямого маркетинга. Такое окно используется для того, чтобы включить в себя "пост-тестовый" период - период более низких продаж тестовой группы, который идет сразу за пиком продаж после рассылки (обычно результат переноса покупок на одну-две недели раньше). Из моего опыта, большинство кликов происходят в течении 48 часов после рассылки. Большинство звонков на телефонный номер бумажной (не электронной) рассылки происходят в течении 4 дней. Теперь вопрос к вам - как вы думаете, сколько кликов у вас будет на 31 день после рассылки емейла, и если они будут, можете ли вы с высокой степенью достоверности сказать что они были сделаны исключительно благодаря вашей рассылке? Как насчет клика по ссылке на 121 день?
ЗЫ Вообще-то ничего не мешает проанализировать уровень покупок тестовой и контрольной групп по дням и понять, когда они сравниваются чтобы узнать сколько эффект рассылки длится по времени. На то он и эксперимент. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 00:13 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: Мадам Грицацуева©
Убедили. Но вот один вопрос остался, или не один...
Если я знаю среднее количество покупок до рассылки и вижу насколько они увеличились после, положим 960 и 1200  смысл огород городить, тем более что методика не даёт оценки эффективности ни базы, ни сообщения... . |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 00:27 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор IQ:
для: Мадам Грицацуева©
Убедили. Но вот один вопрос остался, или не один...
Если я знаю среднее количество покупок до рассылки и вижу насколько они увеличились после, положим 960 и 1200 смысл огород городить, тем более что методика не даёт оценки эффективности ни базы, ни сообщения... . |
Методика дает оценку эффективности рекламы в целом, и в этом ее главное достоинтсво. Оценка "до-после" обычно имеет гораздо более низкую точность, плюс подобную методику сложно использовать для оценки эффективности по сегментам. То, что вы зовете "эффективность базы", на самом деле не самоцель. Как koska уже заметил, количество покупок сегмента, как таковое не есть эффективность. Например, я точно знаю, какие из моих сегментов с гораздо большей вероятностью будут "отвечать" на рекламу (кликать, приносить купоны, покупать даже без купонов) - это обычно те, кто недавно покупали. Проблема в том, что у них наименьшее увеличение продаж относительно контрольной группы. Если вы хотите оптимизировать расходы по сегментам, то придется измерять постоянно. Если вы хотите оптимизировать частоту контакта по сегментам, то придется делать еще более сложное тестирование. Эффективность сообщения тоже можно тестировать - та же самая методика, только разбиваете не на 80-20, а на 20-20-20-20-20 - 4 разных сообщения, одна контрольная группа. 30 дней, и вы узнаете больше о том, какое сообщение работает лучше, чем вы бы узнали за год наблюдений без формализованной методологии. И последнее - эффективность сообщения, которую очень многие так любят, на самом деле практически фикция, так как частота контакта, сегмент и предложение имеют гораздо большее влияние на эффективность инструмента в целом, чем сообщение, креатив, и прочая любимая маркетинговая лабуда. Проблема в большитсве организаций заключается в том, что все усилия уходят на креатив, в то время как частота контакта даже близко к оптимальной не лежала. Ну это я уже отвлекаюсь... |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 01:27 | |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
Цитата, автор Мадам Грицацуева:
Цитата, автор F3:
для: Мадам Грицацуева©
Простите. Что такое "выравнивание" путем случайного отбора 20%"? Вы с основами выборочного метода знакомы? ???
Может Вам соседнюю ветку почитать?
|
Ну уж раз вы попросили (достаточно вежливо) показать вам эти термины в Ядове, который вы читали "по диагонали", то уж как же я могу вам отказать?
Контролируемый эксперимент представляет попытку получить относительно чистый эффект воздействия экспериментальной переменной. С этой целью предпринимается тщательное выравнивание прочих условий, которые могут исказить результат влияния экспериментального фактора.
Выравнивание условий относится ко всем объектам, участвующим в опытах: экспериментальным и контрольным. Возможны, как мы дальше увидим, эксперименты без контрольного объекта, повторяющиеся несколько раз. Тогда выравниванию подлежат условия экспериментальных объектов в каждой серии опытов. Стр 4.
Основные приемы выравнивания индивидуальных характеристик в случае, когда единицы наблюдения — индивиды, следующие.
...
(4) Случайно-механическое выравнивание используется при массовых экспериментах, на крупных объектах, когда отбор индивидов производится по правилам случайной бесповоротной выборки. Данный прием, однако, не годится для небольших групп. Стр 5.
Теперь, можете перечитать мое условие задачи, и надеюсь, вы поймете "насчет 20%". |
Нет не ясно. Где здесь написано про 20%? ??? |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 07:33 | |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
Вы писали
Цитата, автор Мадам Грицацуева:
Первый - привязка конкретных продаж к конкретной рекламе (купонные коды, специальные телефонные номера, специальные ссылки), обычно называемый direct response. |
И приводили пример
Цитата, автор Мадам Грицацуева:
Например, вы решили построить в городе новый мост через реку, дабы увеличилось количество горожан, которые бы ездили туда-сюда. После постройки моста, вы посчитали, что за среднюю неделю через этот мост проезжают 10 тыс автомобилей - это ваш директ респонс. |
Так причем здесь эксперимент "до и после"?
Цитата, автор Мадам Грицацуева:
Стр 7. (2) Эксперимент типа "до — после" без контрольного объекта. В этом эксперименте логика анализа упрощается следующим образом:
d = P2 - Pl, т.е. d = f (x+K). |
Вы говорили о непосредственной "привязке рекламы к продажам" через встраивание механизма обратной связи непосредственно в тело рекламного послания. При этом действия каждого отдельного клиента возможно отследить. Определив, как факт контакта с рекламой, так и факт покупки после этого контакта.
В примере, как раз, этой самой привязки и нет. |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 07:44 | |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
Цитата, автор Мадам Грицацуева:
И последнее - эффективность сообщения, которую очень многие так любят, на самом деле практически фикция, так как частота контакта, сегмент и предложение имеют гораздо большее влияние на эффективность инструмента в целом, чем сообщение, креатив, и прочая любимая маркетинговая лабуда. Проблема в большитсве организаций заключается в том, что все усилия уходят на креатив, в то время как частота контакта даже близко к оптимальной не лежала. Ну это я уже отвлекаюсь... |
Вы знаете, у Михаила Дымшица и прочих сторонников концепции рисенси другая точка зрения. ;) |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 07:55 | |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
Цитата, автор Мадам Грицацуева:
Цитата, автор koska:
для: Мадам Грицацуева©,
поясните, пжл, зачем в контрольной группе оставлять 20 тысяч респондентов? Клиентская база-то не резиновая. А для объективных выводов о (не)действенности рекламного сообщения прямого отклика достаточно контрольной группы, на 2 порядка меньшей... |
Теперь полное пояснение. Если вы считает ошибку разницы между оценками % купивших двух групп (1,5%-1,2%), то ст. ошибка этого измерения есть корень из вариации разницы, а вариация разницы есть вариация одной оценки плюс вариация второй минус 2*ковариация между ними. Ковариация между двумя независимыми группами равна нулю, таким образом, упростив вычисление до двух групп одинакового размера, предположив, что максимальный отклик составляет 5% (покрывает большинство случаев моей практики) и умножая на 2 чтобы получить доверительный интервал, получаем следуюшую точность измерения:
10 000 - 0,13%
20 000 - 0,10%
Для моего измерения обычно нужна точность 0,10%, поэтому и 20 тыс. Точность измерения зачастую диктуется тем, какое увеличение продаж требуется для того, чтобы оправдать рассылку. В случае електронной почты, стоимость достаточно низкая, поэтому точность должна быть относительно высокая. С практической точки зрения добавлю, что на 10 тыс точность 0,13% достаточно редко получается - моя оценка на собственных данных методом Монте-Карло дала 0,2%, поэтому я старась держаться на стороне большего размера выборки. |
Отлично. Стало яснее.
Но вот по моим расчетам такой размер выборки обеспечит Доверительную вероятность ("точность") 99,7% и Доверительный интервал ("погрешность" ± %) 0,01%.
В России это непозволительная роскошь. У нас принято работать с точностью 95%. А это уже порядка 10 тыс. (если быть точнее чуть больше 9,5).
Вообще же все дело в том, что у Вас оч. маленький % отклика. Если бы нас устраивала погрешность хотя бы в 2% и точность 95%. Выборку можно было бы сократить до 2,4 тыс.
Кстати, чет калькулятор у коллег хандрит для малых значений погрешности. :)
Пересчитаю ка я ручками. Но позже.
Вообще же выборки более 2 тыс единиц в реальной рисечерской практике встречал крайне редко. |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 08:14 | |
|
|
|
Постов: 1381
Дата регистрации: 30.11.2007 |
Цитата, автор F3:
Цитата, автор Мадам Грицацуева:
И последнее - эффективность сообщения, которую очень многие так любят, на самом деле практически фикция, так как частота контакта, сегмент и предложение имеют гораздо большее влияние на эффективность инструмента в целом, чем сообщение, креатив, и прочая любимая маркетинговая лабуда. Проблема в большитсве организаций заключается в том, что все усилия уходят на креатив, в то время как частота контакта даже близко к оптимальной не лежала. Ну это я уже отвлекаюсь... |
Вы знаете, у Михаила Дымшица и прочих сторонников концепции рисенси другая точка зрения. ;) |
Андрей, ты, по моему, все в кучу валишь - рисенси к частоте контакта имеет весьма относительное отношение - это скорее одно из представлений о том, как работает реклама. Попросту, суть рисенси - наиболее продуктивный контакт - непосредственно перед покупкой. А все прочее - максимизация недельного охвата 1+ и т.д. это уже просто теоретические надстройки над эффектом недавности. Я уже в одной теме (http://www.forumsostav.ru/4/31337/) говорил, что на практике "рисенси" в МП особо не применишь - конкуренты и сезонность превращают эту теорию (я про 1+ недельного охвата) в красивые, но абсолютно бесполезные для реального медиапланирования рассуждения "как работает реклама".
Мадам Грицацуева:
Мадам, а что вы понимаете под "эффективность инструмента в целом"? Вы считаете, что отстойный креатив можно вытащить медиавесом?
|
|
--------
Time flies when you throw your alarm clock across the room. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
 17.12.2009 11:43 | |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
для: AKM©
Кто тебе сказал, что валю? Другое дело, что группа сторонников, конечно не однородна. Но в данном случае это не важно. Важнее те аргументы, что выдвигают сторонники этих идей.
В частности, Михаил бы уверен, насколько я знаком с его точкой зрения, не согласился бы с вот с этим заявлением "все усилия уходят на креатив, в то время как частота контакта даже близко к оптимальной не лежала".
При этом. Хочу оговориться. Что я считаю, что обе точки зрения не отражают реальность в полной мере. Ибо дьявол в деталях.
Но мы это с тобой уже обсуждали. |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 11:48 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: Мадам Грицацуева©
С письмами более-мене понятно. Как будем тестировать кампании на ТВ? |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 14:56 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор F3:
Цитата, автор Мадам Грицацуева:
Цитата, автор koska:
для: Мадам Грицацуева©,
поясните, пжл, зачем в контрольной группе оставлять 20 тысяч респондентов? Клиентская база-то не резиновая. А для объективных выводов о (не)действенности рекламного сообщения прямого отклика достаточно контрольной группы, на 2 порядка меньшей... |
Теперь полное пояснение. Если вы считает ошибку разницы между оценками % купивших двух групп (1,5%-1,2%), то ст. ошибка этого измерения есть корень из вариации разницы, а вариация разницы есть вариация одной оценки плюс вариация второй минус 2*ковариация между ними. Ковариация между двумя независимыми группами равна нулю, таким образом, упростив вычисление до двух групп одинакового размера, предположив, что максимальный отклик составляет 5% (покрывает большинство случаев моей практики) и умножая на 2 чтобы получить доверительный интервал, получаем следуюшую точность измерения:
10 000 - 0,13%
20 000 - 0,10%
Для моего измерения обычно нужна точность 0,10%, поэтому и 20 тыс. Точность измерения зачастую диктуется тем, какое увеличение продаж требуется для того, чтобы оправдать рассылку. В случае електронной почты, стоимость достаточно низкая, поэтому точность должна быть относительно высокая. С практической точки зрения добавлю, что на 10 тыс точность 0,13% достаточно редко получается - моя оценка на собственных данных методом Монте-Карло дала 0,2%, поэтому я старась держаться на стороне большего размера выборки. |
Отлично. Стало яснее.
Но вот по моим расчетам такой размер выборки обеспечит Доверительную вероятность ("точность") 99,7% и Доверительный интервал ("погрешность" ± %) 0,01%.
В России это непозволительная роскошь. У нас принято работать с точностью 95%. А это уже порядка 10 тыс. (если быть точнее чуть больше 9,5).
Вообще же все дело в том, что у Вас оч. маленький % отклика. Если бы нас устраивала погрешность хотя бы в 2% и точность 95%. Выборку можно было бы сократить до 2,4 тыс.
Кстати, чет калькулятор у коллег хандрит для малых значений погрешности. :)
Пересчитаю ка я ручками. Но позже.
Вообще же выборки более 2 тыс единиц в реальной рисечерской практике встречал крайне редко. |
Погрешность в +-0,01% на практике практически невозможно достичь. Когда погрешность становится меньше 0,05% (контрольные группы от 50 тыс и выше), то вылезают всякие эффекты, о которых при обычных выборках вообще не думаешь. Например, то что ваш рандомайзер на самом деле псевдо-рандомайзер, и группы друг от друга чуть-чуть, но отличаются, и это отличие перестает уменьшаться после порога примерно в 50 тыс.
Нужная вам точность сильно зависит от того, что вы мерите. В "реальной рисечерской практике" вы обычно оценваете параметры, для которых погрешность в 0,01% совершенно не нужна. К сожалению, в данном случае нужен именно такой уровень. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 17:36 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор AKM:
Мадам Грицацуева:
Мадам, а что вы понимаете под "эффективность инструмента в целом"? Вы считаете, что отстойный креатив можно вытащить медиавесом?
|
Отстойный нельзя. Обычный (нормальный) от супер-пупер-креативного мало по эффективности при правильном медиавесе отличается. Кстати, ваша постановка на "вытащить медиавесом" предполагает, что медиавес нужно увеличивать. Из того, что я видела, при оптимизации чаще всего медиавес нужно уменьшать. Зачастую оптимизация между различными видами рекламы дает сбережения до 50%, а креатив - максимум 10%. И последнее - иногда тяжело отличить неработающий креатив от работающего, и на мнение агенТства (специально для вас, Андрей) я бы тут полагаться не стала. Если у вас достаточный медиа-вес, то есть варианты оценки роликов по результату (продажи), и я бы скорее на них полагалась. Естественно, это не для маленьких компаний/бюджетов/объемов выборок. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 17:43 | |
|
|
|
видео реклама в Интернете
Постов: 389
Дата регистрации: 11.08.2008 |
Цитата, автор Мадам Грицацуева:
Цитата, автор F3:
Цитата, автор Мадам Грицацуева:
Цитата, автор koska:
для: Мадам Грицацуева©,
поясните, пжл, зачем в контрольной группе оставлять 20 тысяч респондентов? Клиентская база-то не резиновая. А для объективных выводов о (не)действенности рекламного сообщения прямого отклика достаточно контрольной группы, на 2 порядка меньшей... |
Теперь полное пояснение. Если вы считает ошибку разницы между оценками % купивших двух групп (1,5%-1,2%), то ст. ошибка этого измерения есть корень из вариации разницы, а вариация разницы есть вариация одной оценки плюс вариация второй минус 2*ковариация между ними. Ковариация между двумя независимыми группами равна нулю, таким образом, упростив вычисление до двух групп одинакового размера, предположив, что максимальный отклик составляет 5% (покрывает большинство случаев моей практики) и умножая на 2 чтобы получить доверительный интервал, получаем следуюшую точность измерения:
10 000 - 0,13%
20 000 - 0,10%
Для моего измерения обычно нужна точность 0,10%, поэтому и 20 тыс. Точность измерения зачастую диктуется тем, какое увеличение продаж требуется для того, чтобы оправдать рассылку. В случае електронной почты, стоимость достаточно низкая, поэтому точность должна быть относительно высокая. С практической точки зрения добавлю, что на 10 тыс точность 0,13% достаточно редко получается - моя оценка на собственных данных методом Монте-Карло дала 0,2%, поэтому я старась держаться на стороне большего размера выборки. |
Отлично. Стало яснее.
Но вот по моим расчетам такой размер выборки обеспечит Доверительную вероятность ("точность") 99,7% и Доверительный интервал ("погрешность" ± %) 0,01%.
В России это непозволительная роскошь. У нас принято работать с точностью 95%. А это уже порядка 10 тыс. (если быть точнее чуть больше 9,5).
Вообще же все дело в том, что у Вас оч. маленький % отклика. Если бы нас устраивала погрешность хотя бы в 2% и точность 95%. Выборку можно было бы сократить до 2,4 тыс.
Кстати, чет калькулятор у коллег хандрит для малых значений погрешности. :)
Пересчитаю ка я ручками. Но позже.
Вообще же выборки более 2 тыс единиц в реальной рисечерской практике встречал крайне редко. |
Погрешность в +-0,01% на практике практически невозможно достичь. Когда погрешность становится меньше 0,05% (контрольные группы от 50 тыс и выше), то вылезают всякие эффекты, о которых при обычных выборках вообще не думаешь. Например, то что ваш рандомайзер на самом деле псевдо-рандомайзер, и группы друг от друга чуть-чуть, но отличаются, и это отличие перестает уменьшаться после порога примерно в 50 тыс.
Нужная вам точность сильно зависит от того, что вы мерите. В "реальной рисечерской практике" вы обычно оценваете параметры, для которых погрешность в 0,01% совершенно не нужна. К сожалению, в данном случае нужен именно такой уровень. |
Браво, вы оч. близки к моим изысканием, я все обещаю написать, напишу при первой возможности.
Действительно. Главный вопрос ТВ - это что есть СВ, и совершенно ясно, что это вопрос Системы воззрения, кто "бросает монету" .Они (статистики) забывают:
1. Про тип распределения выборки, пологая безосновательно, что она равномерная к примеру
2. Про то что процессы которые происходят ( к примеру % восприятия рекламы, продаж как отклик на рекламу) измеряются в сотых процента, а с-но погрешность в десятые процента - уже "слон". Сходимости по вероятности, или ср.в. при этом не будет.
3. абсолютно не учитывают вопросы когнетики ( восприятия) при проведении опросов - пример, при опросе на воздействие лекарства, упустить вопрос с тестом на плацебо.
Отдельный вопрос рандомайзера, который на борланд СИ проходит к повторению через 127 проходов.) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 17:44 | |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
для: Гарамон©
Вы еще за старое не отсидели. ;)
для: Мадам Грицацуева©
Увлекся беседами с коллегами. Не пересчитал. Но Вы, вероятно, правы относительно размера и погрешности. Но не будем забывать, что это стат погрешность, а есть еще масса других.
Потому еще раз. 2 тыс. было бы достаточно. Не задай Вы такой смешной отклик.
Я так и не понял. Так это было выборочное исследование или сплошное?
И еще. Вы теперь поняли суть моих претензий к Вашему примеру? |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
17.12.2009 17:52 | |
|
|
|
 | Только зарегистрированные пользователи могут оставлять сообщения в этом форуме |
|
|
|
|
|
© "ООО Состав.ру" 1998-2024
тел/факс: +7 495 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2
При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
|
|
|
|
