 |
|
|
 |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
для: Мадам Грицацуева©
Простите. Что такое "выравнивание" путем случайного отбора 20%"? Вы с основами выборочного метода знакомы? ???
Может Вам соседнюю ветку почитать?
С какой целью у Вас такая разница в размере основной и контрольной групп?
Вы учитывали разницу ошибки выборки при сравнении? |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
 |
0 |
 |
0 |
| Комментарий понравился? |
|
0 |
|
0 |
   15.12.2009 07:38 |  |
|
|
|
Постов: 2352
Дата регистрации: 18.12.2006 |
для: Мадам Грицацуева©,
поясните, пжл, зачем в контрольной группе оставлять 20 тысяч респондентов? Клиентская база-то не резиновая. А для объективных выводов о (не)действенности рекламного сообщения прямого отклика достаточно контрольной группы, на 2 порядка меньшей... |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 11:22 | |
|
|
|
Постов: 4827
Дата регистрации: 25.08.2004 |
для: koska©
В очередь. ;)
Это мой следующий вопрос.  |
|
--------
Следует отличать неразвитые мысли от тщательно развитых не-мыслей. |
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 11:34 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор F3:
для: Мадам Грицацуева©
Простите. Что такое "выравнивание" путем случайного отбора 20%"? Вы с основами выборочного метода знакомы? ???
Может Вам соседнюю ветку почитать? |
Вы вообще свой собственный документ об экспериментальных выборках читали? Я прочитала, и задала вам вопрос в терминах этого самого документа (не то, чтобы они мне самой нравились - но раз уж вы такой до терминов разборчивый...), дабы вам понятно было о чем идет речь. Может, вам собственную ссылку сначала почитать, и если вам она не нравится, перестать ее другим людям рекомендовать?
Цитата, автор F3:
С какой целью у Вас такая разница в размере основной и контрольной групп?
Вы учитывали разницу ошибки выборки при сравнении? |
Возможно, вам стоит немного поиграться с размерами выборки, чтобы понять, как получить нужную вам точность измерения? |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 17:51 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор koska:
для: Мадам Грицацуева©,
поясните, пжл, зачем в контрольной группе оставлять 20 тысяч респондентов? Клиентская база-то не резиновая. А для объективных выводов о (не)действенности рекламного сообщения прямого отклика достаточно контрольной группы, на 2 порядка меньшей... |
Поверьте, для того, что измеряю, нужно как раз 20 тыс в меньшей группе. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 17:53 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор IQ:
для: Мадам Грицацуева©
Вы хотите сказать, что эти 640 человек и без электронной рассылки купили бы товар? Что 0,8 процентов это меньше статистической погрешности? А разница между количеством совершивших покупку в первой группе и во второй незначительна? |
Я-то знаю, меньше ли это статистической погрешности ;) Как насчет посчитать самому?
Цитата, автор IQ:
Но вы можете утверждать только, что не сработало вот это конкретное электронное письмо, в данном конкретном случае, а какие этому причины вы ответить не можете, то есть не можете гарантировать что всё было сделано верно при подготовке РК. Что этому причина - сообщение нерелевантное ЦА (или неверно выбранная ЦА), неудачная подача сообщения, неверно выбранный для ЦА канал сообщения, плохая база адресов, отличные спамфильтры, неверно выбранное время рассылки, этсетера ?
Поэтому вы не можете эксплицировать результаты проведённого эксперимента на все будущие случаи рассылки электронных писем даже для этого же товара. А уж про другие и говорить нечего. |
Наша цель в данном случае не узнать почему работает или нет - а определить, работает ли. Если вы можете определить эффективность инструмента, то при такой низкой цене рассылки вы можете провести достаточно экспериментов, дабы эту эффективность оптимизировать. Предположим, что это один эксперимент из сотни - вам нужно только понять сколько покупок он принес.
Цитата, автор IQ:
При этом, мы знаем, что массовые емэйл рассылки дают гарантированно 0,2-0,3 % отклика. Это "чистые цифры", так как такие результаты получали в том числе и для случаев, когда других способов сделать покупку кроме как с рассылки - нет.
Поэтому в реальности, 0,8 % это очень хороший результат, особенно если понимать что:
1. Цена контакта - мизерная
2. 0,8 % это не статистическая погрешность, а более половины тех, кто совершил покупки в исследуемый период.
|
То есть ваш ответ - рассылка принесла 0,8% продаж - правильно? |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 18:02 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
| для: F3© Кстати, вам второе предупреждение по поводу использования темы для самооутверждения. Было бы гораздо лучше, если бы вы начали думать головой, а не искать что я там еще не читала. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 18:16 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: Мадам Грицацуева©
Нет, не "рассылка принесла 0,8% продаж" - этого выражения я не понимаю, а 640 клиентов купили благодаря рассылке, то есть, более 50 % покупателей за отчётный период пришли благодаря рассылке.
Я понимаю к чему вы клоните (надеюсь :) ). Вы хотите предложить нам ответ 1,5% - 1,2%=0,3 %. Или ещё хуже,
вы возьмёте вашу выборку в 20 000 а результат в 0,24 умножите на 5 (на всю генсовокупность :) ) и получите что без рассылки покупателей должно быть 1,2 тыс., то есть столько же, сколько и с рассылки
Но, как я уже сказал, массовые спам рассылки и дают такой результат (о,3 %). Если рассылка персонифицирована, и предложение что называется в тему, - рассылка электронных писем может быть (и должна быть в данном случае) и выше.
Но давайте взглянём на ситуацию под несколько другим углом.
Ген. совакупность 80 000. Но это и база e-mail адресов. Даже самая пресамая актуализированная база даёт максимум 95 % актуализации. То есть в лучшем случае, прямо скажем в идеальном, процент покупок надо считать в тестовой группе не от 80 тыс., а от 76 тыс. А если мы берём реальность, то 20 % базы можно смело записывать в графу (письма не дошли, письма не прочитаны). То есть считать нужно в лучшем случае, для 64 тыс.
Выборка 80 ( реальная 64) т 20 т
Покупка 1,2 т 0,24 т
Покупка 1,9 % 1,2%
URL 0,64 т 0
URL 1 % 0
Но в реальности, мы не знаем, как уже сказано ни про базу (может там все 40 % базы левые адреса) и надо тогда считать для 48 000, а ещё, например, 15 % это не те, кому вообще стоило посылать, а есть ещё и креатив, и выбор ЦА и пр. пр. (о чём я писал). Что остаётся от базы? 36 000. Вот по этим 36 тыс. вы реально и разослали. А в 20 000 контрольной группы, эти e-mail левые значения не имеют. Что у нас будет для 36 000?
Выборка 80 (реальная 36) т 20 т
Покупка 1,2 т 0,24 т
Покупка 3,3 % 1,2%
URL 0,64 т 0
URL 1,8 % 0
Поэтому такой метод не позволяет оценить ни инструмент, ни сообщение ни... только эффективность работы отдела маркетинга (продвижения/рекламы), да и то - с натяжкой.
Что касается посчитать что-нибудь, то звиняйте, сами мы из гуманитариев ;)
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 20:16 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
для: IQ© Правильные вопросы задаем :-)
Итак, поясню. Скажем, вы есть достаточно большой и популярный интернет-магазин. У вас база данных в 3 миллиона электронных адресов ваших покупателей с разрешением на получения рекламного емейла один раз в месяц. Сейчас не будем себя мурыжить проблемами recency, frequency, monetary value - для нас достаточно что в результате случайного распределения адресов в тестовую и контрольную группу при данном размере выборки мы достигаем достаточно высокой степени репрезентативности. Как раз этот момент - репрезентанвность - тут очень важен. Например, так как мы не знаем процент реально действующих адресов (как вы абсолютно точно заметили) до распределения в тестовую и контрольную группу, то как вы думаете, какой процент актуализации вы получите в обоих группах? Как негуманитарий могу вам ответить, что ваш ожидаемый процент хороших адресов одинаков. Теперь немного не очень хитрой арифметики.
Предположим, что у вас 100% хороших адресов:
Как вы уже заметили, теория контролируемого эксперимент нам говорит, что 1,5%-1,2% = 0,3% это то, что можно привязать к результату. Теперь делаем простое умножение дабы найти ваш результат в покупках: 80 тыс респондентов х 0,3% покупок = 240 покупок
Теперь предположим, что у вас 75% хороших адресов:
Выборка 80 (реальная 60) т 20 (реальная 15) т
Покупка 1,2 т 0,24 т
Покупка 2,0 % 1,6%
Увеличение продаж - 2,0%-1,6% = 0,4%. Увеличение покупок = 60 тыс респондентов х 0,4% покупок = 240 покупок
Вывод: при использовании измерения относительно контрольных групп, процент "попадания" (актуализации, или еще как вы его назовете) не влияет на конечный результат измерения. Все, что произошло в нашем примере - вы отправили 80 тыс емейлов и получили дополнительных 240 покупок на выходе. Сколько людей получило, сколько открыло, сколько прочитало - не важно. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 21:04 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: Мадам Грицацуева©
Э, нет. В контрольную группу мы же не отправляли писем ??? . Поэтому для контрольной группы процент актуализации базы - не важен, а для тестовой - важен, так как влияет на оценку. И я об этом указал.
Цитата, автор IQ:
Но в реальности, мы не знаем, как уже сказано ни про базу (может там все 40 % базы левые адреса) и надо тогда считать для 48 000, а ещё, например, 15 % это не те, кому вообще стоило посылать, а есть ещё и креатив, и выбор ЦА и пр. пр. (о чём я писал). Что остаётся от базы? 36 000. Вот по этим 36 тыс. вы реально и разослали. А в 20 000 контрольной группы, эти e-mail левые значения не имеют. Что у нас будет для 36 000?
Выборка 80 (реальная 36) т 20 т
Покупка 1,2 т 0,24 т
Покупка 3,3 % 1,2%
URL 0,64 т 0
URL 1,8 % 0
|
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 21:15 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
| Для подсчета любых метрик связанных с кликами на URL не важен - но для всех метрик, которые можно посчитать для тестовой и контрольной группы - очень даже важен. Вы же считаете процент купивших от того, что как вы думаете реальное количество людей в вашей целевой аудитории (1,2 тыс/60 тыс). То есть, вы связываете покупки с адресами по которым вы отправили - или специально НЕ отправили - рекламное сообщение. Если 20% адресов в обоих группах "мертвые", то продаж с этих адресов в обоих случаях быть не может, и если вы уменьшаете базу для подсчетов в случае тестовой группы, вы обязаны уменьшить ее на тот же процент для контрольной группы. В этом и смысл правильного дизайна эксперимента, о котором некоторые (не будем тыкать пальцем в F3 ;) ) любят много говорить, но реально не понимают. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 21:22 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
| Кстати, рекомендую с недельку над этим вопросом подумать, поскольку вопрос требует напряжения концептуального мышления, что от нас после сдачи последней сессии обычно не требуется. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 21:24 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: Мадам Грицацуева©
Цитата, автор Мадам Грицацуева:
Если 20% адресов в обоих группах "мертвые", то продаж с этих адресов в обоих случаях быть не может,
|
Вот тут-то вы как раз и ошибаетесь. Если мэйл мёртвый, это означает только то, что человек гарантированно не получит рекламного сообщения, но совершенно не означает, что интернет магазин не висит в избранном, или не найден поисковиком. Как совершают покупки те, кому писем не разослали? Другими способами. А те, кому письма разослали? Либо по ссылке, либо другим способом (кстати, часть из них вполне могла получить знание о некотором товаре из письма, а затем купить его через поиск /например, письмо получить на рабочий адрес, а заказ сделать с домашнего компа через поисковик или банально урл запомнив/записав на бумажку/ или этот другой способ - телефон из письма или... отложить покупку добавив урл в избранное на пару месяцев ;) )
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 21:35 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
Цитата, автор IQ:
для: Мадам Грицацуева©
Вот тут-то вы как раз и ошибаетесь. Если мэйл мёртвый, это означает только то, что человек гарантированно не получит рекламного сообщения, но совершенно не означает, что интернет магазин не висит в избранном, или не найден поисковиком. Как совершают покупки те, кому писем не разослали? Другими способами. А те, кому письма разослали? Либо по ссылке, либо другим способом (кстати, часть из них вполне могла получить знание о некотором товаре из письма, а затем купить его через поиск /например, письмо получить на рабочий адрес, а заказ сделать с домашнего компа через поисковик или банально урл запомнив/записав на бумажку/ или этот другой способ - телефон из письма или... отложить покупку добавив урл в избранное на пару месяцев ;) ) |
Это и есть основная проблема, которая решается при помощи контрольной группы - как совершают покупки те, кому не был отправлен емейл. Контрольная группа показывает, что если вы не отправите 80 тыс емейлов, вы не получите 240 покупок. Это значит, что ваш емейл вызвал 240 покупок, и возможно, что не все из них были совершены при помощи ссылки в емейле. Более того, из 640 покупок, которые пришли по ссылке, далеко не все были результатом емейла. Как минимум 400 из них не были вызваны емейлом. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 21:44 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
| Кстати, если вы знаете, что у вас только 80% живых емейлов, и что 50% удаляют рекламные емейлы не читая, вы будете поправлять ваше измерение на оба числа или на только на одно? А если вы знаете, что 30% вашей ЦА увидят вашу рекламу по телевидению? Как насчет тех, кто увидит вашу рекламу на информационном ресурсе или ЖЖ? |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 21:49 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
Цитата, автор Мадам Грицацуева:
Это и есть основная проблема, которая решается при помощи контрольной группы - как совершают покупки те, кому не был отправлен емейл. Контрольная группа показывает, что если вы не отправите 80 тыс емейлов, вы не получите 240 покупок. Это значит, что ваш емейл вызвал 240 покупок, и возможно, что не все из них были совершены при помощи ссылки в емейле. Более того, из 640 покупок, которые пришли по ссылке, далеко не все были результатом емейла. Как минимум 400 из них не были вызваны емейлом. |
Вы упрощаете. Давайте рассмотрим теоретически конечно, как могли происходить покупки в обоих группах и вы поймёте, что ваша матодика не то что бы не верна, но не учитывает оч. большое множество факторов.
1. Тестовая группа
- прямые клики =640
- отложенная покупка (перешли на сайт или не переходили, посмотрели, добавили в браузер, купили через 1,2,3 месяца)= х
- записали на бумажке, позвонили по телефону (по ссылке не перешли)=х
- нашли в поисковике или через другие каналы =х
2. Контрольная группа
- нашли в поисковике или через другие каналы =х
- пришли из группы отложенная покупка с предыдущих рассылок (когда находились в тестовой группе)=х
- в курилке коллега (которому пришло письмо) коллеге из контрольной группы ты кажется искал товар? ;) =х
- друг из тестовой группы по аське переслал ссылку=х
- муж (из тестовой группы) жене (из контрольной группы) в письме переслал ссылку/ или наоборот =х
- один из лидеров мнений из тестовой группы разослал группе в контакте (смотрите мол какие приблуды есть), часть получившего народа из контрольной группы=х
- на форуме ссылку дал респондент из тестовой группы - получили несколько из контрольной группы=х
Учитывая, что группы в общем-то формируются по интересам, я вполне допускаю, что процент в контрольной группе, сделавших покупку благодаря последним пяти вариантам может быть очень существенным. То есть, сама рассылка может непредсказуемо влиять на результат, предыдущие рассылки и РК могут влиять на результат, актуальность базы может существенно влиять на результат в тестовой группе и никак на результат в контрольной.
В общем, пока не убедили.
Давайте пока не рассматривать ТВ и прочие каналы, пока не разберёмся с интернетом.
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 22:15 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
Цитата, автор Мадам Грицацуева:
Кстати, если вы знаете, что у вас только 80% живых емейлов, и что 50% удаляют рекламные емейлы не читая, вы будете поправлять ваше измерение на оба числа или на только на одно? |
На оба.
Цитата, автор Мадам Грицацуева:
А если вы знаете, что 30% вашей ЦА увидят вашу рекламу по телевидению? Как насчет тех, кто увидит вашу рекламу на информационном ресурсе или ЖЖ? |
Пока не знаю, это ведь ВАШ вариант измерений. А я... ну считайте, что адвокат дьявола. ;) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 22:21 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
Цитата, автор Мадам Грицацуева:
Цитата, автор IQ:
для: Мадам Грицацуева©
Вот тут-то вы как раз и ошибаетесь. Если мэйл мёртвый, это означает только то, что человек гарантированно не получит рекламного сообщения, но совершенно не означает, что интернет магазин не висит в избранном, или не найден поисковиком. Как совершают покупки те, кому писем не разослали? Другими способами. А те, кому письма разослали? Либо по ссылке, либо другим способом (кстати, часть из них вполне могла получить знание о некотором товаре из письма, а затем купить его через поиск /например, письмо получить на рабочий адрес, а заказ сделать с домашнего компа через поисковик или банально урл запомнив/записав на бумажку/ или этот другой способ - телефон из письма или... отложить покупку добавив урл в избранное на пару месяцев ;) ) |
Это и есть основная проблема, которая решается при помощи контрольной группы - как совершают покупки те, кому не был отправлен емейл. |
Я не уверен, что контрольной группой решается именно эта проблема. Почему, - написал выше. И уж совсем уверен, что вы не знаете ответа КАК совершаются покупки в контрольной группе (точнее, благодаря чему). Вы можете только сказать что другим способом, но что может представлять из себя другой способ? - написал выше в 22:15.
Контрольная группа может показать что что-то не так в датском королевстве и то, только тогда, когда у вас будет накоплен изрядный статистический материал по подобным рассылкам позволяющий сделать чёткий вывод о норме отклика. Причём норма отклика может существенно различаться для разных товаров, разных креативных решений, разных аудиторий, разных ситуаций на рынке, в ситуации с повышенной маркетинговой деятельностью конкурентов. То есть мы фактически опять возвращаемся на исходную позицию. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 22:30 | |
|
|
|
Постов: 89
Дата регистрации: 01.12.2009 |
2. Контрольная группа
- нашли в поисковике или через другие каналы =х
- пришли из группы отложенная покупка с предыдущих рассылок (когда находились в тестовой группе)=х
- в курилке коллега (которому пришло письмо) коллеге из контрольной группы ты кажется искал товар? =х
- друг из тестовой группы по аське переслал ссылку=х
- муж (из тестовой группы) жене (из контрольной группы) в письме переслал ссылку/ или наоборот =х
- один из лидеров мнений из тестовой группы разослал группе в контакте (смотрите мол какие приблуды есть), часть получившего народа из контрольной группы=х
- на форуме ссылку дал респондент из тестовой группы - получили несколько из контрольной группы=х
|
То есть, вы действительно считаете, что все представители тестовой и контрольной группы между собой знакомы и только и живут на этом белом свете за тем дабы передавать друг другу информацию об услугах вашей замечательной компании? Побойтесь бога ;) Давайте же будем реалистичны - больше 90% ваших получателей вообще не откроют вашего емейла, не говоря уже о том, чтобы рассылать его всем своим знакомым. Сколько рекламных писем вы зафорвардили своим знакомым сегодня или выложили в эту конференцию? А вчера? Вот то-то же.
Второе - вы действительно считаете, что так мало человек из тестовой группы решили купить ваш товар просто найдя его в поисковике, или просто пойдя на ваш сайт? Помните, они вообще-то уже в вашем магазине покупали, поэтому вероятность спонтанной покупки у них достаточно высока (и 90% из них не читали ваш емейл).
Теперь о сути вопроса о контрольных группах. Как исследователю, мне совершенно неважно, как и почему совершаются покупки представителями контрольной группы. Что мне важно - это то, что эта группа репрезентативна (то есть, адекватно представляет) нашу тестовую группу. Мне важно то, что в тестовой группе покупки совершаются по абсолютно тем же причинам, плюс наличие одного емейла. Разница между группами и является оценкой влияния емейла на покупки. Как насчет того, чтобы почитать немного о контрольных группах, например, вот тут http://en.wikipedia.org/wiki/Scientific_control или в том документе на дизайн эксперимента, который F3 принес (хоть он и тяжеловат для усвоения)? |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 23:45 | |
|
|
|
Постов: 5694
Дата регистрации: 12.02.2008 |
для: Мадам Грицацуева©
Ну да ладно. Отбросим сомнения прочь. Решили мы что влиянием всех дополнительных факторов можно пренебречь, в том числе и возможным влиянием самой рассылки на контрольную группу.
Тогда результат должен выглядить так.
Мы вносим поправку на актуальность базы. Пусть, мы каким-то невероятным образом узнали сколько адресов левых, например 50 %. Тогда
Тестовая Контрольная
Выборка 80 (реальная база 40) т 20 (поправка 10) т
Покупка 1,2 т (учитываемая 1,2) 0,24 (учитываемая 0,12) т
Покупка 1,5% (3 %) 1,2% (1,2%)
URL 0,64 (а вот это - реальный отклик, он - не может меняться) т 0
URL 0,8% (1,6 %) 0
Согласитесь, несколько иной результат?
|
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
15.12.2009 23:54 | |
|
|
|
 | Только зарегистрированные пользователи могут оставлять сообщения в этом форуме |
|
|
|
|
|
© "ООО Состав.ру" 1998-2024
тел/факс: +7 495 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2
При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
|
|
|
|
