 |
|
|
 |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Коллеги!
Видимо, не судьба мне устраниться от этого обсуждения. Молчать ну просто невозможно.
Г-ну Бутаеву.
Вы всерьез считаете аргументом Ваш пример? Вы всерьез считаете, что любой человек, записавший себя «социологом» гарантированно является профессионалом? Вы всерьез считаете, что человек, гордо пишущий про себя, что он – тренер НЛП Международной категории, репрезентирует (любимое слово:) профессиональное социологическое сообщество? Ну право, это же просто смешно.
И еще. В силу разных причин я хорошо знаю социологов. Это может показаться Вам странным, но их мало (я говорю не о юных выпускниках последних 3-5 лет), а уж "известных" - так просто все считанные. Так вот я никогда не слышала о существовании г-на Ридецкого.
А совсем не смешно, на мой взгляд, другое:
1. Ваше раздражение из-за того, что социологи кого-то образовывают. Видимо, Вы просто слабо себе представляете, что львиная доля методов маркетинговых исследований это не что иное как социологические методы сбора и анализа информации. Поэтому каждый человек, занимающийся маркетинговыми исследованиями, просто обязан их (социологические методы) знать.
2. В ответе прохожему Вы пишете «дайте отработанные методы». Они существуют и прекрасно работают, их просто надо знать. А не изобретать велосипед там, где он уже давно километры накручивает:) Но учитывая пункт 1 и пункт 3, это непросто.
3. Призыв "читать книги" вызывает у Вас ассоциации с выяснением личных отношений, чуть ли не с оскорблением... А что остается делать, как не призывать читать книги, если дискуссия с уважаемым Вашим коллегой идет на тему, о которой не спорят даже студенты 2-3 курсов, извините за грубое слово, социологических факультетов.
4. «Создайте процедуры и выкиньте из среды исследователей не профессионалов». То есть кто-то будет халтуру плодить, а кто-то их вылавливать? Интересная мысль… Главное, очень конструктивная:) В таком духе обсуждать проблему профессионализма маркетологов, согласитесь, невозможно.
Г-ну Дымшицу.
Уважаемый Михаил!
Стоило мне отказаться от участия в дискуссии, как Вы снова про то же самое, но уже, видимо, с более юными коллегами (это я про прохожего, извините, если ошибаюсь:)
1. «Огромная ошибка выборки» была неоднократно указана мною не эмоционально, а очень даже статистически, в цифрах - плюс-минус 14-15%. Вы считаете такую ошибку незначительной? Ну что ж, значит, и в этом Вы – большой оригинал:)
Вы, кстати, не огласили общественности Вашу удивительную формулу, демонстрирующую, что ошибка выборки для 50 человек составляет 11%:)
2. В силу специфики Вашего общения в разговоре с Вами трудно держать удар не очень опытным коллегам. Поэтому попробую развить мысль прохожего.
Только выборка, построенная на случайном отборе, является репрезентативной. Но при малом объеме случайной выборки чрезвычайно велики ошибки выборки. По этой причине к результатам исследования, проведенного по выборке в 50 человек надо относиться очень и очень осторожно.
Например, получаем такой результат на Ваших BAAR.
Выборка, допустим даже случайная. Но хочу подчеркнуть. В начале дискуссии Вы пытались мне доказать, что это не обязательно и т.п.
Объем выборки 50 человек; ошибка - плюс минус 15%.
Положительно оценили ролик – 45%
Все это значит, в переводе на профессиональный язык, что положительно его оценили от 30% до 60%. Иными словами, понять, какую именно оценку (положительную или отрицательную, да или нет) дали респонденты нельзя. Я доступно излагаю? Надеюсь, к этому вопросу Вы больше не будете возвращаться.
3. Да, Вы писали про плюсы глубинных интервью, про то, какие вопросы можно решать с их помощью. Я с Вами согласилась, глубинные интервью – хорошее дело. Но я еще привела ряд доводов в пользу фокус-групп и ряд недостатков глубинных интервью, которые делают эти два метода вполне сопоставимыми с точки зрения использования в маркетинговых исследованиях. В глубинках хорошо одно и плохо другое, и в фокусах – хорошо одно и плохо другое. Вам не нравятся фокус-группы. Замечательно! Имеете право! Но почему Вы не видите недостатков глубинных интервью, как то (цитирую саму себя):
- в глубинках также велико влияние интервьюера (даже самого квалифицированного);
- больше вероятность формирования у респондента эффекта эксперта;
- нет возможности посмотреть, как респондент будет реагировать на противоположные точки зрения (если роль оппонента берет на себя интервьюер, то его влияние возрастает в геометрической прогрессии);
- не всегда есть возможность демонстрировать стимулы (ролики, упаковки и т.п.) – почему, писала выше;
- нет возможности вмешательства (в хорошем смысле слова) заказчика (дизайнера и т.п.) в процесс, концентрации на наиболее интересном вопросе и т.д
Вопрос, конечно, риторический. Мне на самом деле все понятно. Да потому что эти самые недостатки глубинок, известные каждому исследователю, не вписываются в Вашу концепцию войны с фокус-группами, имеющей абсолютно коммерческую подоплеку. Вы хотите противопоставить фокус-группам свои BAAR. Это же очевидно! Поэтому наш спор не носит научного или методического характера. Вам не интересны чужие аргументы. Вы их просто не воспринимаете. У Вас совершенно ясная цель, приятного зеленоватого цвета, которая, как известно, не пахнет. К науке эта самая цель не имеет никакого отношения.
4. Беру определение эксперимента из ближайшей книжки: «управляемый процесс измерения одной или нескольких независимых переменных для измерения их влияния на одну или несколько независимых переменных ПРИ УСЛОВИИ ИСКЛЮЧЕНИЯ ВЛИЯНИЯ ПОСТОРОННИХ ФАКТОРОВ». И Вы будете мне доказывать, что просмотр рекламы и верчение ручки в большом зале в толпе из 50-ти человек это «исключение посторонних факторов»? Это же бред. Я и подумать не могла, что все так запущено, и Вы считаете свои BAAR экспериментом в строгом смысле слова. Именно поэтому в предыдущих репликах я действительно не разделяла, например, опросы и эксперименты. Ведь слово «эксперимент» имеет и более широкую трактовку. Любое исследование можно назвать экспериментом. У Вас эксперимент какой все-таки – в строгом смысле слова или в широком смысле слова?
5. Но больше всего мне нравятся Ваши рассуждения про всякие выборки и т.п. Итак:
«если 70% случайной выборки в 50 человек оценили без групповых и других модерирующих смещений конкретный вариант положительно, то как бы вы дальше выборку не увеличивали, результат тестирования на отрицательный не измениться (по крайней мере, при согласии со статистической гипотезой, не должно)».
В описанном Вами случае ошибка выборки составит плюс-минус 13%. Это означает, что оценки ролика при результате «70% оценили положительно» могут быть от:
положительно – 83%, отрицательно – 17%
положительно – 57%, отрицательно – 43%
Для Вас это одно и то же? Правда? Тогда мне просто нечего добавить. Думаю, заказчики тоже были бы потрясены, если бы Вы им этот скромный расчетик показали. Но нельзя, ведь как же цель...
6. «Если у вас сравнительная шкала, то в зависимости от средней и дисперсии у вас также есть возможность оценить возможность изменения результата теста на противоположный или оценить достоверность различий тестируемых вариантов»
Если Вы так изящно выражаетесь про ошибку выборки, то я расчеты по хорошему варианту (70% оценили положительно) уже привела выше. А если у Вас 60% оценили ролик положительно – что Вы делаете? Как трактуете такой результат?
Я уже ощутила, что ввязываться в такого рода дискуссии, как эта – дело неблагодарное. Но оставлять без внимания столь агрессивный непрофессионализм, какой демонстрируете Вы, считаю просто недопустимым. |
|
 |
0 |
 |
0 |
| Комментарий понравился? |
|
0 |
|
0 |
    08.12.2003 01:40 |  |
|
|
|
<<
< |
| Добрый день уважаемая Марина. Я много, много лет дружу с Александром Васильевичем Жаворонковым. Уверен Вы знакомы. Зачем в нашем с Вами разговоре такой назидательный тон? Мне ведь не 20 лет. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 11:31 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Уважаемый Эдуард!
Мне тоже, к сожалению, давно не 20 лет. И мы не знаем, сколько лет прохожему. Но по-моему дело не в возрасте. Вы пишите весьма странные тексты. Неудивительно, что получаете на них такие ответы. Мы серьезные люди? Если да, то давайте и разговаривать серьезно. Если нет, то я вообще не понимаю, что мы обсуждаем.
Ваша дружба с Жаворонковым ничего мне о Вас, к сожалению, не сообщает. Я слышала фамилию, но лично не знакома. Единственное, что точно могу сказать, при всем уважении к г-ну Жаворонкову, он не относится к числу ведущих специалистов по методике социологических исследований. Иначе бы я знала его публикации.
Вот если бы Вы дружили с В.А.Ядовым, О.М.Масловой, М.С.Косолаповым и другими известными специалистами по методике исследований, вот это был бы аргумент:)
На самом деле, уважаемый Эдуард, не обижайтесь! День вчера был неприятный. Сами, наверное, возле ТВ вечер провели.
Но ведь этот форум читают начинающие маркетологи. Я очень не хочу услышать от них слова про «Дайте отработанные методы», «Создайте процедуры и выкиньте из среды исследователей не профессионалов». Более неконструктивного подхода трудно придумать. Именно с этим связан так непонравившийся Вам тон моего ответа.
С уважением,
Марина Власова |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 12:17 | |
|
|
|
<<
< |
Марина, Вы уже противоречите сами себе, написав "Но при малом объеме случайной выборки чрезвычайно велики ошибки выборки", эти ошибки обсуждены выше и измеримы. Ранее Вы писали, что "Случайность отбора одинаково можно осуществить как на малых, так и на больших выборках. Абсолютно одинаково!!!", соответственно, достаточно ориентироваться на расчетные величины ошибки и не использовать оценочные слова, Вы этим вносите путаницу.
Марина, Вы настойчиво путаете доверительный интервал и ошибку выборки, 13% это доверительный интервал с вероятностью 0.95, сама ошибка всего лишь 6,5% (вероятность 0.67). Но основной вопрос не в этом.
На самом деле, основным во всем этом является вопрос интерпретации данных, при каких значениях и при каком распределении реакций 50 респондентов при данном методе исследования можно ожидать положительной рыночной реакции, а при каких значениях таких ожиданий иметь не стоит.
Также не стоит передергивать, пытаясь сравнить результат в 57% и нижнюю границу доверительного интервала в 57%. Это, во-первых, очень разные результаты; во-вторых, для большинства целевой группы ролик эффективен даже при нижней границе доверительного интервала в 57% (могу сказать, что в реальной рыночной ситуации средний результат 57% дает положительный отклик на продажи только при объемах размещения около 200 GRP).
BAAR является экспериментальным исследованием, страдает, как и все лабораторные методы, недостатками "нарушения экологичности", как и для других экспериментальных методов требовалась проверка сопоставимости результатов эксперимента и данных "из реальной жизни". BAAR измеряет "оценку и доверие к рекламных материалам в случае их внимательного просмотра", экспериментальная процедура 1) доказала устойчивость результатов на временных промежутках, применимых для данного типа коммуникационных материалов, и 2) сопоставимость с выраженностью негативной реакции на тесте с вероятность выхода из контакта с рекламой при реальном просмотре, что позволяет исключать из использования ролики с нулевым и отрицательным влиянием на потребительское поведение. Недостаток данных пока не позволяют делать формализованные прогнозы на основе положительных результатов теста (также как и прогнозировать скорость потери рынка на основе отрицательных данных). Данных об отсутствии положительных результатов рекламирования в местах постоянной дистрибуции при использовании получивших положительные оценки рекламных материалов нет, что позволяет утверждать о необходимой для принятия решения об использовании или не использовании рекламных материалов чувствительности метода.
Недостатки глубинных интервью я знаю, хотя для тестирования рекламных материалов их использовать нельзя не из-за них, а как раз из-за указанных Вами ограничений, и поэтому же для этих целей нельзя использовать фокус-группы. Хотя некоторые моменты в Вашей аргументации меня умилили:
1. " больше вероятность формирования у респондента эффекта эксперта" - вероятность этого при всех методах исследований настолько велика и зависит исключительно от личных особенностей респондента, что сравнивать их больше/меньше не стоит. В конце концов мы и спрашиваем людей, потому что считаем их мнение важным.
2. "нет возможности посмотреть, как респондент будет реагировать на противоположные точки зрения" - а это-то зачем? Неужели Вы видите и насколько часто в супермаркетах группы по 10-12 человек, хорошо, пусть по 3-4 человека, увлеченно обсуждающие ту или иную покупку? Или человек выводит на эран телевизора два ролика одновременно и сравнивает их, обсуждая с приглашенными незнакомыми людьми? Мне было бы еще сложно возразить, если бы Вы устраивали семейные просмотры (но их не используют для тестирования по другим причинам), а обсуждение незнакомых людей не обладает ни какой внешней валидностью.
3. "не всегда есть возможность демонстрировать стимулы (ролики, упаковки и т.п.)" - это просто ложное утверждение, если для задач надо что-то предъявлять, значит будем предъявлять;
4. "нет возможности вмешательства (в хорошем смысле слова) заказчика (дизайнера и т.п.) в процесс, концентрации на наиболее интересном вопросе и т.д" - это вообще беспредел, в прошлый раз я не стал это комментировать, но Вы опять выдвигаете этот аргумент. Ничего, кроме проверки личных коммуникационных навыков заказчика или дизайнера, данная возможность не предоставляет; вызывает смещение оценки группы в привлекательную для заказчика сторону и никаким образом не соответствует реальному потребительскому поведению.
Кстати, именно этот кусочек (пункт 3 сообщения 07-12-2003 22:40) я и включю в следующую публикацию как аргументы известного и уважаемого модератора в защиту групповых обсуждений. Очень показательно.
Вы также не ответили, Марина, как же тестировать ролик на достаточных, на Ваш взгляд, выборках? Мне очень интересно.
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 13:11 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Уважаемый Михаил!
1. Я повторяю свои слова про то, что "Случайность отбора одинаково можно осуществить как на малых, так и на больших выборках. Абсолютно одинаково!!!" и слова "Но при малом объеме случайной выборки чрезвычайно велики ошибки выборки". Я не вижу в этих двух фразах никакого противоречия. Вам не нравятся оценочные слова типа «огромная ошибка выборки», хорошо, я не буду их использовать, но суть от этого не изменится.
2. Ошибка выборки в Вашем примере про 70% оценили положительно (выборка 50 человек) составляет 13% с вероятностью 0,95, а плюс-минус 13% это доверительный интервал. Надо было написать подробнее. Но это же так очевидно:) А Ваша ошибка в 6,5% с вероятностью 0,67 это, извините, другое. В количественных исследованиях расчеты проводятся при вероятности 0,95, ну в крайнем случае – 0,9. 0,67 это, простите за снова эмоциональную оценку, как-то мало и несерьезно. Вы можете продолжить свою логику и рассчитывать ошибку с вероятностью 0,5 или 0,3. Но это как-то странно и бессмысленно. Это можно делать только с целью введения заказчика в заблуждение. Иной цели я не вижу.
3. Вопрос интерпретации данных это важно. При количественных исследованиях данные интерпретируются именно так, как я Вам написала:
«при результате «70% оценили положительно» могут быть от:
положительно – 83%, отрицательно – 17%
положительно – 57%, отрицательно – 43%»
И никак иначе. См. п.4.
4. «Также не стоит передергивать, пытаясь сравнить результат в 57% и нижнюю границу доверительного интервала в 57%. Это, во-первых, очень разные результаты; во-вторых, для большинства целевой группы ролик эффективен даже при нижней границе доверительного интервала в 57% (могу сказать, что в реальной рыночной ситуации средний результат 57% дает положительный отклик на продажи только при объемах размещения около 200 GRP)»
Я обсуждала Вашу методику с точки зрения требований к количественному исследованию. Они достаточны жесткие и Ваша методика в ее изначальном виде им не соответствует. Почему – писала, повторяться не буду. Указание границ доверительного интервала не является передергиванием. А вот тот факт, что ролик оценили положительно, не означает, что рекламируемый товар бросятся покупать все, кто так хорошо отнесся к ролику. Все прочие интерпретации типа «для большинства целевой группы ролик эффективен даже при нижней границе доверительного интервала в 57%» это фантазии и гипотезы, свойственные выводам качественных исследований. Что такое «ролик эффективен для большинства целевой группы». Никто не знает, что такое эффективность рекламы:) Результаты количественного исследования, претендующего на репрезентативность, не предполагают подобных фантазий. Поэтому данный тезис не относится к методологии количественных исследований.
5. Я и ранее не была согласна с Вашим тезисом, что переключение канала на определенном рекламном ролике означает негативное к нему отношение. На мой взгляд, тут не все так линейно. Подобная гипотеза может иметь право на существование только для новых роликов. Положительно воспринятый ролик, который человек видел несколько раз, не остановит его от переключения канала. Но эта тема требует специальных исследований. Я их не проводила, такими данными не обладаю, поэтому вновь подчеркиваю, что сомнения есть. Окончательный ответ на вопрос, кто из нас прав, может быть дан только после специальных исследований. По этой причине продолжать безосновательный спор об этом не хочу.
6. Вы пишете BAAR измеряет "оценку и доверие к рекламных материалам в случае их внимательного просмотра". Вы стали гораздо корректнее в своих высказываниях, чем в начале дискуссии.
Если Вы будете:
- собирать своих респондентов при помощи случайного отбора;
- указывать доверительный интервал на каждую полученную Вами цифру;
- интерпретировать свои результаты примерно следующим образом: цифра 70% положительно оценивших ролик, дает возможность утверждать, что более половины ЦГ действительно его положительно оценивают; а цифра 60% положительно оценивших ролик, не дает нам возможности точно сказать, положительно или отрицательно оценили данный ролик большинство ЦГ;
- указывать, что Ваш метод «является экспериментальным исследованием, страдает, как и все лабораторные методы, недостатками "нарушения экологичности"».
То претензий к Вам и Вашей профессиональной позиции не будет. Именно за это я боролась так упорно. Именно к этому я и пыталась Вас подвести. Обратите внимание, что все эти тезисы я называла Вам сама как способ придать Вашим BAAR достойный вид.
7. Я не хочу тратить время на обсуждение каждого тезиса про глубинные интервью. Единственное, что могу сказать. Мы на фокус-группах стараемся собрать максимально широкий спектр мнений и используем для этого самые разные методики. У нас в принципе нет идеи количественного подхода к оценкам результата фокус-групп (как и глубинных интервью). Вы вольно или невольно в своих рассуждениях о фокус-группах скатываетесь к количественной идее. Дальнейший спор на эту тему считаю лишним. Готова подписаться под каждой фразой про глубинки, но тем не менее, прошу Вас статью мне показать. Дело в том, что Вы мои фразы используете в ином контексте, как доказательство своей позиции по отношению к ФГ. Это меняет их смысл.
8. Я не знаю эффективного метода тестирования ролика на больших выборках. Теоретически представить себе это можно, но практически реализация такого исследования вряд ли возможна из-за огромных организационных и финансовых затрат. В такой ситуации я считаю, что отсутствие точных цифр лучше, чем наличие слабо аргументированных выводов. Вы придерживаетесь другой точки зрения по всей видимости. Спорить бесполезно. Это Ваше право.
Михаил! Думаю, что эта дискуссия надоела и Вам (мне, так уж точно). Я позволю себе сделать краткое резюме. Если Вы с ним согласны, предлагаю считать эту дискуссию завершенной. Итак:
1. Вы согласны, что внесение в Вашу методику тех корректив, о которых я написала в п.6, целесообразны. Именно они превращают BAAR в количественный метод исследования. Ранее (в начале дискуссии) у Вас была иная позиция, быть может, Вы просто об этом не задумывались. Я рада, что внесла свой скромный вклад в усовершенствование Вашей методики.
2. Вы согласны, что по результатам фокус-групп нельзя принимать управленческих решений. Тот факт, что кто-то это в наглую делает, наносит ущерб репутации данного метода. Но это не означает, что метод не может быть использован при предварительном тестировании рекламных материалов для получения широкого спектра мнений респондентов. Вы лично не видите смысла в этом самом широком спектре мнений, я вижу. Мы остаемся каждый на своей позиции.
3. Нельзя сравнивать BAAR (в новом его виде, родившемся по результатам нашей дискуссии) с фокус-группами. Это – разные методы для решения разных задач. В связи с этим, позиционирование BAAR как «Ваш эффективный ответ Чемберлену (фокус-группам)» Вы изменяете, от грубой СРАВНИТЕЛЬНОЙ С ФОКУС-ГРУППАМИ рекламы BAAR Вы отказываетесь.
4. Вы считаете глубинные интервью гораздо более эффективным качественным методом, чем фокус-группы, так как глубинки лишены влияния групповой динамики и давления модератора. Я считаю, что у фокус-групп и глубинок есть своя специфика, свои плюсы и минусы. И нельзя всегда однозначно утверждать, что надо проводить только глубинки. Мы остаемся каждый на своей позиции.
Давайте, правда, как-то заканчивать эту дискуссию. С моей точки зрения, почвы для спора практически не осталось.
С уважением,
Марина Власова |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 16:45 | |
|
|
|
<<
< |
«Я художник не местный — распишу и уеду»
Фольклор
Коллеги, вы меня уж простите, я тут доселе ничего не писал и на местный форум почти не заглядываю. Более того, я человек «с другого форума», что тут, насколько я понял из реплики модератора «Наших бьют» не сильно приветствуется. Так что не беспокойтесь, я не надолго. Очень уж данная свистопляска в духе «аргументы против фактов» меня зацепила. Причём, как началось всё через пень колоду (я имею ввиду название ветки), так и по сей момент конструктива не видно, хотя, проблема-то не бином Ньютона, как говаривал Бегемот.
Во-первых, название ветки. «Эффективно или антинаучно?» А почему такая дилемма? Как будто нет наиэффективнейших и притом совершенно антинаучных средств? Например, святая вода или рефлексотерапия. В супернаучном КБ Туполева долгое время висел чудесный плакат: «По всем законам физики шмель летать не может. Но летает. Потому что законов физики не знает». Чем не иллюстрация?
Во-вторых, годится любой метод познания, снижающий изначальную неопределённость и помогающий принятию верного управленческого решения. Разве не понятно? Это, простите, теория информации. Когда вы собирается покупать холодильник (автомобиль, телевизор и т.д.) и спрашивает совета у коллег или приятелей, вы что, строите репрезентативную выборку? Подсчитываете ошибку? Смещение? Или просто хотите проверить какое-то собственное представление о предмете, и вам нужна хотя бы ещё одна голова помимо своей? Когда нужен хоть чей-нибудь потребительский опыт? Тогда чем фокус-группы не угодили? Если они помогают снизить неопределённость (а в случае грамотной организации и профессионального проведения они помогают), то глупо их отрицать как метод. Альтернатива-то здесь строится не по принципу что лучше: фокус-группы или количественник, а на уровне: опираться ли на свою голимую интуицию или послушать, что говорят потребители. И всё.
В-третьих, раз уж вынесли в заголовок термин эффективность, то не худо бы вспомнить, что последняя обычно измеряется как отношение извлекаемых выгод к понесённым издержкам. И знаменатель в этой дроби есть воплощение глубины интереса к проблеме. Если он достаточный, для того, чтобы провести полноценный тест, то и в числителе должна фигурировать точная оценка с минимально возможной погрешностью. А если денег есть на две группы, то лучше провести их и с некоторой степенью вероятности поймать потенциальную ошибку, чем сэкономить и радостно оконфузиться со своим «шедевром».
В-четвёртых, мне лично видится тут некоторая цепочка методов. От простых и дешёвых к дорогим и наиточнейшим. Фокус-группы на первой ступени. BAAR кажется поточнее (хотя надо смотреть, насколько «в тёмную» идёт рекрут и набрать маломальскую статистику для понимания точности), подороже, но это тоже не венец творения человеческого. Есть методы ещё более точные. Делают же в мире и у нас и холл-тесты тех же самых роликов с прекрасными количественными оценками. А в Европе есть чудесные методы тестирования креатива с точностью, способной вызвать уважение у самых ревностных поборников наивысочайшей репрезентативности. Например, система, которую BMRB делала для роликов British Telecom. Она была построена на CAPI (сети интервьюерах с ноутбуками, связанными модемами (тогда аббревиатуры GPRS я не слышал, но слышал, что информация прямо с улицы или домохозяйства передавалась на центральный компьютер)). И что? Что мы с чем сравниваем? Кто репрезентативнее или кто эффективнее? Ответ простой: каждый метод по-своему эффективен с точки зрения потребляемого бюджета и приносимой информации. И точка.
И последнее. В-пятых, так сказать. О научности и не научности. Коллеги и модераторы, давайте серьёзно. При желании можно вдумчиво оспорить даже, что 1х1=2. В зависимости от системы счисления бывает и 10. Я уж не говорю о таких философических вопросов, а наука ли… (нужное вписать). Охота время тратить?
С уважением,
Алексей Попов |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 18:01 | |
|
|
|
<<
< |
Марина,
1. Что такое "эффективность рекламы" известно, это изменение потребительского поведения после контакта с рекламой. Характеристики рекламы, вызывающей такие изменения, известны; такие характеристики измеримы; BAAR их измеряет.
2. Я буду дополнительно обращать внимание клиентов на те моменты, которые Вы указали, спасибо. Есть еще кое-какие интересные проблемы тестирования рекламы, которые всегда были в развернутых текстах про BAAR, включая и проблему экологичности и те аспекты, которые не обсуждались в нашей дискуссии.
3. Учет ошибок измерения и доверительного интервала также всегда учитывались и учитываются при рекомендациях, хотя я никогда не видел в отчетах предложенной Вами формы записи. Сомневаюсь, что и Вы используете её именно так в своих отчетах.
4. Я перестаню сравнивать BAAR с фокус-группами только тогда, когда модераторы исключат из своих предложений формулировку "тестирование рекламы", а заменят её на что-то более подходящее, типа "дискуссия о возможном восприятии рекламных материалов" или аналогичное. То есть исключат и не будут использовать слово "тест" в каком-либо контексте с фокус-группой, ни "предварительное тестирование", ни какое-либо другое понятие, подразумеваемое измерение. Пока используется понятие "тест" для описания происходящего на фокус-группе, я вынужден сравнивать BAAR с ними и буду это делать. Не будет "тестирования на фокус-группе", не будет и сравнения адекватности методов.
С уважением,
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 18:48 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Михаил!
1. Да, что "эффективность рекламы это изменение потребительского поведения после контакта с рекламой», это понятно. Но какие характеристики рекламы вызывают такие изменения, это, на самом деле непонятно. Можно проанализировать узнаваемость, запоминаемость, понимание, готовность купить рекламируемый товар (имеющую косвенное отношение к реальной действительности) и т.п. Но все эти характеристики рекламы не напрямую связаны с увеличением покупки рекламируемого товара. Быть может, Вы говорите про какие-то иные характеристики? И замеряете иные характеристики? Тогда поясните, пожалуйста.
2. Я, к сожалению, не читала развернутых текстов о BAAR и судила об этой методике исключительно по Вашим репликам в дискуссии и описании методики на Вашем сайте.
3. «Учет ошибок измерения и доверительного интервала также всегда учитывались и учитываются при рекомендациях». Вы же делали BAAR на неслучайной выборке, о чем написали сами в начале дискуссии. Значит, такой учет вестись просто не мог. А если и велся, то это было ошибкой, о чем я писала неоднократно. Так что, не надо своим ребятам:)
Предложенная мною форма записи, естественно, не для включения в отчет, а для интерпретации результатов. Мы же об этом говорили.
4. Вы, видимо, понимаете термин «тестирование» как применение серии одинаковых испытаний к большому числу респондентов, измерению и статистической обработке результатов. И в этом смысле я с Вами согласна. Это и есть тест, тестирование. И такое тестирование не может проводиться на фокус-группах. Но, к сожалению, этот термин в повседневной профессиональной лексике маркетологов, рекламистов и т.п. стал очень размытым. Тестирование может быть количественным и качественным, предварительным и т.п. И сравнивая фокус-группы с BAAR Вы "прячетесь" за неверной трактовкой термина "тестирование", некорректно используете это в свою пользу. Нормальные специалисты, проводя предварительное тестирование на самом деле никаких измерений не проводят. Бороться, на мой взгляд, надо не с фокус-группами, а с неправильным употреблением термина. Это все же разные вещи.
С уважением,
Марина Власова |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 19:14 | |
|
|
|
<<
< |
Марина, я не буду сейчас давать развернутый ответ о значимых характеристиках рекламы и втягиваться в дискуссию по этому поводу. Через пару-тройку месяцев у Вас появиться возможность обсудить мой взгляд на эту проблему.
Но, Марина, тестирование не может быть "качественным", как, по любимому Вами сравнению, осетрина не может быть второй свежести; также тестирование не может быть "предварительным" в Вашем смысле, без возможности использования статистических методов. Если Вы считаете это целесообразным, можете проводить хоть фокус-группу,, но это должно называться "предварительным обсуждением" или как угодно еще, но не "тестированием".
Манипуляция значениями удел рекламистов, а не исследователей. Вот у Вас на сайте написано, что по результатам "синектической группы" Вы проводите "Анализ характеристик тестируемого продукта, выбор рекламной стратегии...". Это как же так можно, выбирать стратегию по результатам грубого модерирования (это вольный перевод Вашего описания "сути метода") ведущих? Выбор стратегии это управленческое решение, а Вы его на группу "более 10 человек"? Непонятно как-то....
Или еще один интересный факт: на "фокус-группах" Вы проводите "анализ восприятия определенных объектов". Фокус-группа на выходе имеет "повествование", какое же это "анализ" и какое-же это "восприятие", это нарратив и, в лучшем случае, искренние проекции, которые люди способны вербализовать.
Так что, Марина, пока фокус-группы не уйдут туда, где они хоть как-то применимы "Получение предварительной информации, выработка исследовательских гипотез" и везде, через абзац, не будет дописываться, что полученные гипотезы необходимо проверять количественными методами, мне будет чем заняться на досуге. ;-)
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 21:27 | |
|
|
|
<<
< |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 21:28 | |
|
|
|
<<
< |
Добрый вечер Марина.
Ответ Ваш внимательно прочел. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
08.12.2003 23:30 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Михаил! По всей видимости Вам общаться не надоело:)
1. По-моему я вполне понятно все объяснила про «качественное тестирование» и согласилась с Вами, что широкая трактовка этого термина не правильна. Но факт есть факт. Его (термин «тестирование») наши с Вами коллеги и заказчики употребляют кто во что горазд. Я неоднократно подчеркивала, что именно мы делаем на фокус-группах, что это нельзя назвать тестированием в строгом смысле слова. Что еще Вы от меня хотите? Чтобы я чудесным образом запретила всем использовать данный термин не по назначению? Да я бы с удовольствием, но боюсь, не получится:) Поэтому с Вашей стороны просто некрасиво выдавать мне что-то типа «тестирование в Вашем смысле». Это не мой смысл, это прижившаяся на нашем рынке терминология, которая мне не нравится также, как и Вам.
2. Насчет синектической группы… Конечно же «манипуляция значениями удел рекламистов, а не исследователей» и «по результатам "синектической группы" не мы проводим "Анализ характеристик тестируемого продукта, выбор рекламной стратегии...". Этот текст стоит в колонке «Область применения». Все эти «манипуляции» производят именно рекламисты.
3. «На "фокус-группах" Вы проводите "анализ восприятия определенных объектов". Фокус-группа на выходе имеет "повествование", какое же это "анализ" и какое-же это "восприятие"…
Вы полагаете, что слово «анализ» имеет отношение только к количественным методикам? А «восприятие» только меряется и только Вашей сравнительной шкалой «нравится – не нравится»? Мне абсолютно не хочется разворачивать тут на несколько страниц рассказ про методы анализа качественных данных. Об этом столько всего написано – начиная от работ по качественной методологии (тут и символический интеракционизм, и феноменология, и этнометодология и т.п.) до конкретных методик (методы анализа контекста, дискурс-анализ, контент, поэтапный и параллельный анализ и т.п.). Я и так много Вам рассказала про количественные исследования:) Если Вам интересна тема анализа качественных данных, почитайте, пожалуйста, сами.
4. «Так что, Марина, пока фокус-группы не уйдут туда, где они хоть как-то применимы "Получение предварительной информации, выработка исследовательских гипотез" и везде, через абзац, не будет дописываться, что полученные гипотезы необходимо проверять количественными методами, мне будет чем заняться на досуге. ;-)»
Вы знаете, Ваша позиция относительно фокус-групп мне до боли напоминает позицию блока «Родина» на этих выборах, где 99% выступлений базировались на том, какой Чубайс плохой и мы его посадим. Других комментариев на эту тему не будет.
Согласитесь, Михаил. Дискуссия сошла на нет. Нет уже того запала, который был в начале. Совпадений во мнениях у нас к концу дискуссии стало больше, чем расхождений (хотя Вы изо всех сил стараетесь этого не признавать:). Теперь Вы начали выискивать за что бы еще зацепиться:) А я, в ответ, должна по идее начать копаться в Вашем сайте, статьях и т.п. Но я не буду этого делать, мне это не интересно.
Вы не обидитесь, если я перестану отвечать на Ваши реплики? Только большая просьба: не интерпретируйте мое молчание как отсутствие аргументов. Надеюсь, за эту долгую дискуссию Вы поняли, что это не так:) Предлагаю расстаться, сохранив уважение друг к другу и делу, которым каждый из нас занимается:)
С уважением,
Марина Власова |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
09.12.2003 00:02 | |
|
|
|
<<
< |
| Отлично Алексей Попов. Просто отлично. Приходите на форум чаше, всегда рады коллеге с чувством реальности жизни и умора. Пока из модераторов не выгнали, как хозяин приглашаю. Приходите! |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
09.12.2003 01:30 | |
|
|
|
Постов: 114
Дата регистрации: 09.12.2003 |
Уважаемые дамы и господа!
А почему бы не прочитать книгу автора методики (известного шарлатана Роберта Мертона) "Групповое фокусированное интервью"? Он как раз и создал эту методику для тестирования креатива.... |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
09.12.2003 22:38 | |
|
|
|
<<
< |
Уважаемый Дмитрий.
Жаль что Сергей Александрович Белоновский вне рамок этой дискуссии. По моему мнению (настаивать не буду), он очень хорошо осветил именно этот аспект поднятой Вами подтемы. У очень многих работников отделов маркетинга, даже не имеющих отношения к маркетинговым исследованиям. Книги С. А. Белановского в библиотеке есть. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
10.12.2003 00:23 | |
|
|
|
<<
< |
Несколько реплик
Модератору: Спасибо! Доброе слово и кошке приятно.
Марине: Полагаю, диплом можно смело вешать на видное место. :-) Подобного результата мне видеть не доводилось.
Михаилу: "изменение потребительского поведения после контакта с рекламой" — это не определение эффективности. Это определение реакции. Сиречь актив. Эффективность возникает тогда и только тогда, когда появляется вторая часть баланса: пассив. То есть оценка воздействия.
И ещё фраза, которая меня потрясла: "Характеристики рекламы, вызывающей такие изменения, известны". Жутко интересно: какие?
С уважением,
Алексей Попов |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
10.12.2003 09:28 | |
|
|
|
<<
< |
Алексей, я что-то Вас не понял. Есть событие - контакт с рекламой. Единственная цель рекламы - измение поведение относительно объекта рекламы. Если за известный период не произошла реакция - контакт не эффективен.
Различные цели типа "знание марки", "имидж бренда" и т.д. не могут являться целями рекламирования, это промежуточные переменные, и в случае отсутствия изменения на уровне поведения не имеют никакого смысла для рекламодателя.
Относительно характеристик рекламы я не ответил Марине, не отвечу пока и Вам. Хотя само наличие такого вопроса в "общей форме" в этой конференции вызывает у меня некупируемое удивление. Были бы понятны отдельные вопросы по каждому из этих факторов, но их полная неизвестность поражает...
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
10.12.2003 10:09 | |
|
|
|
<<
< |
Михаил, всё просто: я увидел несколько положений, которые меня заинтересовали и решил уточнить их "не отходя от кассы". Не более того. Без полемики, без противопоставлений, без "демонстрации своего флага". Просто для ориентировки.
Итак, Вы хотите сказать, что эффективность — это либо наличие реакции, либо нет. Понятно. Разумеется, я с этим не согласен, но цель моя была исключительно уточнить Вашу точку зрения.
Далее, в Вашем ответе Марине я не нашёл уточнения характеристик рекламы: "я не буду сейчас давать развернутый ответ о значимых характеристиках рекламы и втягиваться в дискуссию по этому поводу", поэтому и решил уточнить. Но нет, так нет. Главное, что я увидел, это отрицание Вами идеи иерархии эффектов. Тоже более, чем спорно, но вполне понятно.
С уважением,
Алексей Попов |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
10.12.2003 10:46 | |
|
|
|
Постов: 114
Дата регистрации: 09.12.2003 |
2 Butaev
Я-то про Мертона говорил... (извиняюсь, я тут в первый раз и не заметил множества страниц в обсуждении темы, которая вышла за пределы первоначального постинга) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
10.12.2003 19:01 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Дмитрий!
Знаете, с Мертоном и Белановским была смешная история. Книжка Белановского, про которую говорил г-н Бутаев, была основой его докторской диссертации. Диссертация была провалена в Институте социологии, и г-н Белановский подал в суд на самых ярых оппонентов - Дридзе и Маслову. Смело пишу об этом, т.к. в первом издании этой книги в конце автор (Белановский) сам изложил свое видение конфликта, так что он стал общенародным достоянием:)
Так вот на суде, где свидетелем со стороны оппонентов выступал известный наш социолог Г.Батыгин, был забавный эпизод. Судья спрашивает что-то в этом роде: А кто еще может подтвердить Вашу позицию г-н Батыгин. На что Геннадий Семенович с улыбкой произносит: Ну, например, Мертон... Судья: Мертон? А он есть в зале? Нет, а почему его не пригласили?
Почему-то вспомнилось:)
С уважением,
М. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
10.12.2003 19:15 | |
|
|
|
 | Тема является закрытой на добавление сообщений! |
|
|
|
|
|
© "ООО Состав.ру" 1998-2024
тел/факс: +7 495 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2
При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
|
|
|
|
