Проблемы достоверности маркетинговых исследований как основы принятия управленческих решений

Оглавление

В кризисных условиях происходит обострение конкурентной борьбы между фирмами за снижающийся покупательский спрос. Данные процессы в настоящее время проявляются во всех регионах мира. Соответственно, в таких условиях цена ошибки, неверного организационного управляющего решения резко возрастает, т. к. может вызвать серьезные последствия, вплоть до коллапса экономического агента. Обстоятельства, в которых вынуждены функционировать рыночные субъекты, опосредуют возрастание ценности разнообразной маркетинговой информации: состояние покупательского спроса, пристрастия целевых сегментов, рыночные прогнозы, предполагаемая рыночная тактика конкурентов.

Данная информация является единственным надежным аргументом в пользу принятия того или иного решения при нестабильном состоянии рынка. Однако на практике очевидно сокращение маркетинговых бюджетов, а также отделов маркетинга в различных бизнес-структурах в регионах. В качестве примера можно привести следующий¹. Ряд девелоперов инвестировали средства в развитие загородного коттеджного строительства в пригородах г. Ростова-на-Дону, перенеся без критики опыт г. Москвы и Московской области на ростовский регион. Управленческое решение состоялось без предварительного маркетингового исследования по изучению клиентского спроса. В результате построенная недвижимость не пользуется спросом, не распродана. В настоящее время проводятся исследования, нацеленные на поиск вариантов нивелирования указанных негативных последствий.

Таким образом, существует определенный парадокс — необходимость в маркетинговых исследованиях велика и активно отмечается на страницах экономической литературы², но при этом на практике происходит сокращение маркетинговых бюджетов организаций и принятие серьезных управленческих решений без соответствующих маркетинговых исследований.

Для верификации отмеченного диссонанса нами было проведено фокус-групповое исследование, в котором приняли участие 9 менеджеров среднего звена, имеющих полномочия совершать сделки определенного объема после соответствующего технико-экономического обоснования данного варианта действий.

Большинство менеджеров обосновывает свои варианты принятия решений анализом состояния рынка по интересующему фирму вопросу, основой которого являются, как правило, маркетинговые исследования.

Во время дискуссии все менеджеры согласились с тем фактом, что предоставленные им данные маркетинговых исследований, к которым они обращаются в своей деятельности, могут содержать недостоверную информацию. Причем степень ее ошибочности может быть различной. Они привыкли к тому, что часть информации о клиентах может содержать ошибки даже на уровне их телефонов и адресов. Что касается полевых исследований, то большинство участников фокус-группы априори сомневались в достоверности их результатов, сообщив, что, по их мнению, сборщики информации, как правило, непрофессионалы и недостаточно мотивированы. Кабинетные же исследования часто содержат такие данные из справочников и компьютерных баз данных, что нередко выявляются явные противоречия по одному и тому же вопросу. Количество такого рода неточностей участники фокус-группы оценили приблизительно в 25—30%.

Также в ходе дискуссии удалось установить, что все наши собеседники хорошо представляют источники возникновения искажения первичной маркетинговой информации в действиях интервьюеров в маркетинговых бюро, часть из них ранее имели опыт подобной работы. Более того, из общения с ними стало известно, что им приходилось определенным образом инструктировать супервайзеров и интервьюеров, через «голову» их руководства, о том, какую именно информацию они желают получить для презентации заказчику. Причем иногда эти действия ими производились в силу полученных свыше указаний. В связи с вышеизложенным, собеседники из фокус-группы весьма цинично относились к качеству маркетинговых исследований, как производимых собственными организациями, так и заказанных у отечественных специализированных бюро. При этом они считали, что маркетинговой информации, полученной из зарубежных источников, а особенно из стран ядра Западной Европы, США и Японии, можно доверять практически без критики. К информации из стран бывшего соцлагеря и стран СНГ отношение такое же, как к собственной, или гораздо хуже.

Учитывая указанные обстоятельства, мы попытались в первом приближении определить величину возможной ошибки, возникающей в ходе усредненного маркетингового исследования. С целью анализа причин возникновения ошибок и их возможных величин мы отдельно анализировали ошибки, проявляющиеся из-за действий интервьюируемых, и проявляющиеся из-за действий интервьюеров и при обработке полученной информации, на примере продаж женской обуви.

Предпосылками к проведению данного исследования послужило получение нами информации о наличии товарных избытков обуви (небольших размеров и полноты). Причем, по нашим данным, величина таких избытков никак не укладывалась в стереотип нормальной трансакцион-ной деятельности в этой сфере. Прямое наблюдение за совершением покупок в торговых залах четырех крупных магазинов женской обуви в г. Ростове-на-Дону в течение недели убедило нас в небольшом числе совершаемых покупок (менее 5% от числа совершенных примерок).

Мы провели опрос рядовых сотрудников указанных магазинов в виде неформальной беседы. В ходе исследования были опрошены 40 сотрудниц, которым задавались следующие вопросы:

1. Имеются ли нераспроданные в течение двух лет коллекции обуви?
2. Производилась ли уценка нераспроданных коллекций, если да, то в каких пределах (20%, 30, 50%)?
3. Какие размеры преобладают в непроданных коллекциях (35, 36, 37, 38, 39, 40, 41, 42)?
4. Проводились ли опросы покупательниц для определения распределения размеров обуви и полноты ноги?
5. Приобретаются ли коллекции обуви на основании проведенного исследования или каких-либо других причин?

Распределение ответов респондентов по первому вопросу представлено в таблице 1. Наше предположение о факте затоваривания в данных торговых учреждениях в целом подтвердилось.

Таблица 1. Распределение ответов респондентов по первому вопросу

Распределение ответов наших респондентов по второму вопросу представлено в таблице 2.

Таблица 2. Распределение ответов респондентов по второму вопросу

Распределение ответов по третьему вопросу представлено в таблице 3. Наибольшие проблемы с реализацией существуют у обуви малых размеров, включительно до 38. Модная обувь больших размеров практически не имеет проблем со сбытом.

Таблица 3. Распределение ответов респондентов по третьему вопросу

Распределение ответов по четвертому вопросу представлено в таблице 4. Более чем в 80% случаев проводился предварительный опрос потребителей для уточнения распределения их размеров.

Таблица 4. Распределение ответов респондентов по четвертому вопросу

Распределение ответов по пятому вопросу представлено в таблице 5. Более чем в 25% случаев решение о распределении размеров приобретаемых коллекций принималось не на основании опросов возможных клиенток об их размерах, а по иным соображениям.

Таблица 5. Распределение ответов респондентов по пятому вопросу

Учитывая полученные данные, мы проконсультировались с экспертом, длительный период работавшим в должности ответственного товароведа по закупкам и бракеражу женской обуви. Эксперт обоснованно предположил, что основой для распределения по размерам приобретаемых коллекций обуви в нашем случае является стандартная размерно-возрастная сетка советского периода.

Данная сетка содержит информацию о среднестатистическом количестве женщин каждого возрастного среза, имеющих определенные размеры обуви.

На основании данной сетки менеджер может знать, что на каждую тысячу населения женского пола приходится определенный процент женщин определенного возраста, имеющих стандартные размеры от 35 до 42.

Мы выяснили, что исследования по проблемам женской обуви проводились методом телефонных опросов, дополненных экспресс-опросом приблизительно 10% респонденток от базы телефонного опроса. Для установления причин возникновения ошибочных данных, которые, очевидно, получили заказавшие такие исследования торговые организации, мы решили повторить данный алгоритм обследования потенциальных клиенток с фиксированием ло-кусов и первопричин возможных искажений маркетинговой информации.

С этой целью мы предприняли обзвон потенциальных клиенток магазинов женской обуви. Выборка производилась случайным образом из телефонной книги по частным лицам. Время года было выбрано аналогичное тому, в которое проводились опросы маркетинговыми бюро. База телефонного опроса была доведена до одной тысячи респонденток. Мы их опросили о возрасте, желании приобрести модную женскую обувь и об ее желаемых размерах. После анализа данных нашего опроса мы отметили практически полное совпадение распределения потенциальных клиенток по параметрам численность/возраст/ размер с процентом нераспроданных партий в магазинах женской обуви, преимущественно малых размеров. Следовательно, отмечается парадокс: маркетинговое исследование приводит к принятию неверного решения, причиной которого является вроде бы достоверная маркетинговая информация.

Мы предположили, что одной из причин на самом деле искаженной информации может быть то, что опрашиваемые женщины преуменьшали свой возраст и размер обуви.

Выборочные глубинные интервью с 10-ю покупательницами позволили выяснить, что они ранее в исследованиях, особенно в форме телефонных опросов, нередко давали о себе неверную информацию: о своем возрасте, семейном положении, готовности купить тот или иной товар, о размерах своей обуви.

В рамках обсуждения следующего вопроса удалось определиться с мотивами предоставления неверной информации. 6 из 10 участниц давали информацию о своих размерах меньше на 1 или 2, искренне желая иметь такой размер. Тем более что при ношении обуви разных марок товаропроизводителей их размеры отличались на 1 или 2. Во всяком случае, присутствовало желание произвести о себе лучшее впечатление.

Также отмечено, что если интервьюер мужчина, они испытывают подсознательное желание, произвести на него хорошее впечатление и понравиться. Поэтому они ненамеренно способны объявить свой размер обуви и возраст меньше, чем в реальности. Если интервьюер женщина, то также появляется желание представиться моложе и изящней, поэтому, как правило, данные о возрасте и размерах обуви подвергаются коррекции в сторону их уменьшения. В связи с этим они вполне способны на дачу неверной информации о себе и о своих знакомых.

Таким образом, при работе с женской аудиторией, особенно в случае с обувью, следует иметь в виду указанные возможности искажения, большие, чем при среднем распределении искажений в других опросах.

Далее мы анализировали возможности искажения маркетинговой информации, производимые на уровне работы интервьюеров и формирования клиентских баз данных.

С целью установления причин искажения маркетинговой информации интервьюерами и величины данного искажения мы предприняли маркетинговое исследование, заключающееся в опросе интервьюеров и фокус-группе. В качестве респондентов мы привлекли студентов старших курсов экономических вузов, выяснив у них в предварительном опросе, что они привлекались в качестве интервьюеров маркетинговыми бюро и кафедрами вузов на возмездной и безвозмездной основах. Базу анкетирования мы довели до 100 человек.

В процессе опроса респондентам задавались следующие вопросы:

1. приходилось ли им искажать (давать неполученные в ходе опроса) данные, как достоверные, полученные в ходе анкетирования;
2. производили ли они фабрикацию анкет-опросов;
3. экстраполировали ли они данные небольшого числа опрошенных на всю подлежащую опросу аудиторию;
4. согласовывали ли они данные собственной коррекции проводимого исследования с другими интервьюерами;
5. какой процент данных подвергся коррекции со стороны интервьюеров;
6. искажали они информацию в платных или бесплатных исследованиях.

Данные опроса по первому вопросу приведены в таблице 6. Согласно полученным данным, более 90% интервьюеров искажали информацию, получаемую в ходе опросов респондентов.

Таблица 6. Информация о достоверности проводимых исследований

Далее мы опросили респондентов, заполняли ли они анкеты за опрашиваемых.

Данные опроса по данной проблеме приведены в таблице 7. Подавляющее большинство интервьюеров — более 90% — заполняли анкеты вместо респондентов и сдавали их руководству, как достоверные данные.

Таблица 7. Информация о приписках в анкетах

Поскольку для студентов экономических специальностей вполне доступна экстраполяция достоверно полученных данных на весь диапазон проводимого исследования, мы опросили их о том, делали ли они такие экстраполяции. Данные опроса по данной проблеме приведены в таблице 8. Согласно опросу, более 90% интервьюеров искажали первичную информацию, экстраполируя данные, полученные от небольшого числа респондентов, на всю подлежащую опросу аудиторию.

Таблица 8. Информация об экстраполяции результатов опроса

Так как большинство привлекаемых к опросам студентов знакомы друг с другом и совместно проводят досуг, они имеют возможность обсуждать реализуемое исследование. Тем более что инструктаж по методике реализации опроса, в котором они участвуют, проводится не индивидуально, а в группе. С нашей стороны было логично предположить, что фальсифицировать данные исследования проще в коллективе, так как в этом случае не будет резких отличий в предоставляемых результатах и их недостоверные данные не будут обнаружены.

Результаты опроса по возможности сговора о совместной коррекции интервьюерами собранной информации представлены в таблице 9. Практически все интервьюеры, заявившие о своей причастности к самовольной коррекции результатов исследования, производили ее не самостоятельно, а в компании с другими интервьюерами. Это обстоятельство способствует значительно большему искажению информации, чем если бы они это делали самостоятельно. Тем более что, как нам удалось выяснить, они экстраполировали результаты опросов приблизительно в одном и том же размере.

Таблица 9. Информация о согласовании экстраполируемых результатов опроса с другими интервьюерами

Для уточнения размеров искажения предоставляемой интервьюерами информации мы опросили их по этому поводу. Результаты представлены в таблице 10. Большинством интервьюеров тем или иным способом искажается от 30—50% данных исследования.

Таблица 10. Информация о проценте коррекции данных интервьюерами

Учитывая широкое распространение искажений маркетинговой информации интервьюерами, мы попытались выяснить, влияет ли на производство искажений получаемое вознаграждение за участие в исследовании. Для этого мы попросили наших респондентов ответить, искажали ли они указанными способами данные исследований только в бесплатных работах или в платных также. Результаты опроса по данной проблеме представлены в таблице 11. Интервьюеры склонны к искажению данных исследований практически во всех случаях, независимо от наличия или отсутствия вознаграждения за выполненную работу.

Таблица 11. Информация об искажениях данных в платных и бесплатных исследованиях

Установив указанные обстоятельства, мы провели фокус-групповое исследование для выяснения мотивов искажения информации.

Для участия в фокус-группе нам удалось привлечь 10 человек. Участники фокус-группы охотно сотрудничали и не скрывали мотивов, по которым производили искажение получаемой информации. Дискуссию мы полностью посвятили выяснению указанных мотивов.

По поводу отношения к искажению информации, полученной от респондентов, участники фокус-группы не выработали единого мнения.

Семеро участников объявили, что они считают, что маркетинг является тупиковой ветвью развития экономики и себя изжил, так как применение всеми участниками рынка маркетингового инструментария резко снижает их эффективность для каждого рыночного субъекта. Поэтому они практически сознательно искажали сведения, полученные от респондентов, и с интересом ожидали, к каким последствиям это приведет. При этом, будучи осведомленными, каким образом осуществляется обработка результатов и формируется распределение, они стремились, чтобы результаты у большинства интервьюеров не выпадали из заданного интервала значений. Поэтому они сразу же договаривались, как именно и насколько они исказят информацию. Кроме того, такой образ действий позволял им значительно уменьшить затраты времени на сбор полевой информации, поскольку в части случаев они сдавали анкеты, которые заполняли друг другу разными ручками, либо, так как им доверяли, сообщали итоговые цифры без предоставления анкет.

Остальные три участника фокус-группы заявили, что они искажали полученную информацию, но при этом не считали, что они ее искажали, так как поступали следующим образом: они проводили скрупулезный опрос небольшого числа респондентов, а потом распространяли данные своего опроса на всю аудиторию, которую должны были опросить. Они считали, что делают это достаточно профессионально. На вопрос, как они пришли к мысли о применении такой самовольной произвольной экстраполяции, они сообщили следующее: что ранее они выполняли задание по сбору информации, и учреждение не уложилось в сроки, отведенные для исследования. Они были свидетелями того, как такую же экстраполяцию по собранным ими данным проводил менеджер агентства, пример которого убедил их в правомочности таких действий. Сами они начали заниматься такой экстраполяцией из лени, поскольку не всегда хватало времени на опрос респондентов или этому препятствовала плохая погода и т. д. Так как сданная ими информация, подготовленная таким образом, ни разу не вызвала критики со стороны ответственного менеджера, они решили, что данный путь вполне приемлем, является «продвинутым», а скрупулезный сбор информации по каждому случаю — это для низкооплачиваемых опросчиков без образования. На вопрос, отличались ли их действия в случаях возмездной или безвозмездной работы, они заявили, что так как стереотип, которым они пользуются, доказал свою действенность, то нет необходимости его менять в зависимости от конкретных условий.

Таким образом, в соответствии с данными нашего исследования, в результате действий интервьюеров может возникнуть искажение первичной маркетинговой информации в среднем до 30%.

Мы обоснованно предположили, что искажения маркетинговой информации могут происходить и на этапе формирования базы данных. Для этого мы привлекли к сотрудничеству 72 человека, основным содержанием трудовой деятельности которых является введение собранной информации в компьютерные базы данных. Сразу же оговоримся, что должности и названия профессий у этих лиц были разные: лаборант, секретарь, операционист, помощник менеджера, оператор ПК и т. д. Все они не менее пяти часов в день и шести дней в неделю занимались введением информации в программную оболочку базы данных фирмы-работодателя. Им задавались следующие вопросы:

1. возможна ли ошибка при преобразовании информации в электронный вид;
2. какого рода ошибки являются самыми частыми;
3. какова причина возникновения ошибок;
4. каков процент допускаемых ошибок.

Опрос проводился в форме анкетирования. Ответы респондентов о возможности допущения ошибки представлены в таблице 12. Все респонденты допускают возможность внесения ошибочной информации в электронные базы данных.

Таблица 12. Информация о возможности ошибки при внесении сведений в базу данных

Далее наши респонденты отвечали в свободной форме на вопрос, какого рода ошибки возникают чаще всего. Их ответы после усреднения представлены в таблице 13.

Таблица 13. Сведения о специфике допускаемых ошибок

Как видно, мелкие ошибки, затрудняющие, однако, работу с базой, возникают часто. Ошибки, приводящие к недостоверности в базе, возникают достаточно часто, по крайней мере не реже, чем в 10% случаев от числа допускаемых ошибок.

Учитывая достаточно частое возникновение ошибок, которые могут в значительной степени исказить базу и затруднить работу с ней, было естественным попытаться выяснить причины возникновения такого рода ошибок с целью их дальнейшего нивелирования. Респонденты ответили нам, в чем они видят основные причины возникновения ошибок, свои ответы они изложили в свободной форме. После усреднения данных ими ответов последние в табличной форме представлены в таблице 14.

Таблица 14. Возможные причины возникновения ошибок

По мнению наших респондентов, основными причинами возникновения ошибок являются работа без перерывов и общее утомление. Большое значение имеет комфортность условий осуществления трудовой деятельности в представлении работников. Также значимыми причинами выступают относимые к недостаточному материальному обеспечению оснащенности рабочего места (когда осуществление деятельности происходит на пределе возможности используемой технической поддержки).

Желание как можно быстрее приступить к отдыху и неудовлетворенность своим местом в коллективе, а также существующим размером вознаграждения (что случается при хроническом недовольстве своей работой), по мнению респондентов, являются значимыми причинами возникновения ошибок.

Далее мы просили респондентов ответить на вопрос, каков процент ошибок, допускаемых ими при формировании электронных баз данных, от общего количества введенной информации. Практически все они затруднились с определением процента своих ошибок, сказав, что это очень вариабельная величина. Для целей исследования мы приняли за ее предельную величину таковую, которую принято относить на счет т. н. человеческого фактора (ошибка лектора, врача, медсестры и т. д.), т. е. не более 5% от числа введенной информации. При этом массив мелких малозначащих ошибок из них составляет порядка 90%, а значительных ошибок — 10%. Следовательно, число значимых ошибок составляет порядка 0,5%.

В результате менеджерам приходится на всех этапах принятия решения подстраховываться от воздействия информационных искажений, а топ-менеджменту компаний приходится дополнительно страховать риски. То есть возрастают издержки в сфере осуществления маркетинговой деятельности.

На основании литературного поиска и собственного исследования мы установили основные этапы, на которых возникают постоянные ошибки, существенно искажающие маркетинговую информацию, в некоторых случаях до такой степени, что ее использование не имеет смысла.

Так, М. Малковым предложен подход на основе оценки показателей ценности информации, который позволяет оценить результативность маркетинговых исследований и целесообразность проведения самого исследования³. Предлагается использовать коэффициент ценности информации, который учитывает следующие параметры: 1) степень важности решения; 2) степень неопределенности в отношении принимаемого решения; 3) степень возможного влияния на принимаемое решение. Данные коэффициенты существуют в интервале от 0 до 1.

Если коэффициент находится в интервале от 0,5 до 1, то степень ценности информации высока, если от 0,2 до 0,5 — то ценность информации средняя, от 0 до 0,2 — низкая ценность получаемой информации. Следовательно, при нулевом коэффициенте ценность информации просто отсутствует. То есть данная методика обосновывает необходимость проведения маркетинговых исследований только при высокой прогнозируемой ценности получаемой информации и высокой степени неопределенности ситуации, когда опасность «озаренческих» решений колеблется в интервале около 50%, что согласуется сточкой зрения Е.П. Голубкова⁴.

На основании проведенного исследования мы ориентировочно рассчитали величину ошибки. Так, искажение информации, полученной в ходе телефонного опроса от респондентов, предоставляющих заведомо неверные сведения, составляет порядка 10—30%.

Далее, действия интервьюеров могут обеспечить до 30% ошибочной маркетинговой информации. Около 3% ошибочной информации может попасть в электронные базы данных вследствие действий лиц, ведущих наполнение баз данных. Следует иметь в виду, что в соответствии с теорией информации, различные ошибки могут иметь различный знак и при суммировании получается алгебраическая сумма ошибки, т. е. ошибка может уменьшаться вследствие разнонаправленных знаков ошибок, но может и увеличиваться вследствие сложения ошибок с одинаковым знаком вследствие явления интерференции. Таким образом, в самом плохом случае общая ошибка, приводящая к искажению маркетинговой информации, от уровня респондента до уровня менеджера будет являться суммой всех ошибок.

ΣO_общая = Σ(O_и + O_р + O^бд + O^ст) x К_а,

где
ΣO_общая — возможная общая общая ошибка маркетингового исследования;
O_и — суммарная ошибка, опосредованная деятельностью интервьюеров; O_и = +/- 30%;
O_р — суммарная ошибка, опосредованная деятельностью респондентов; O_р = +/- 20%;
O^бд — суммарная ошибка, опосредованная деятельностью операторов БД; O^бд = +/- 5%;
O^ст — суммарная ошибка, опосредованная ошибочностью статистических данных; O^ст = +/- 5%;
К_а — коэффициент ангажированности, искажает данные маркетингового исследования вследствие заказанного заранее желаемого результата исследования, находится в интервале от 0 до 1.

Следовательно, при суммировании всех возможных ошибок, искажение данных маркетингового исследования может превышать 50%. И в таком случае оно не может являться базой для принятия решения. То же обстоятельство возникает при высокой степени ангажированности исследования, что определяется величиной К_а. В этом случае результаты исследования просто задаются заранее, представляя собой псевдоаргумент для заранее принятого управленческого решения. Учитывая сложившуюся ситуацию, в данной области в части случаев представляется оправданным скепсис управленцев в отношении полезности значительной части маркетинговых исследований.

Вследствие этих обстоятельств они склонны выбирать менее рискованные варианты действий. По их мнению, это безусловно уменьшает эффективность деятельности их фирм, но позволяет им подстраховаться на случай различных неожиданностей. Сами менеджеры оценивают достоверность информации, на основании которой они вынуждены принимать решения, приблизительно в 50—60%. Поэтому неопределенность очень высока и, следовательно, они склонны скорее доверять мнению экспертов, длительное время успешно работающих в данных рыночных нишах, нежели полагаться на данные как полевых, так и кабинетных исследований, предоставляемых различными маркетинговыми бюро.

¹ Пивоварова Г.Б. Основные проблемы развития рынка загородной недвижимости г. Ростова-на-Дону / Материалы VII Южно-Российского логистического форума в рамках транспортного форума Юга России «Трансэкспоюг». 2829 октября 2010 г. Ростов-н/Д. 2010.

² Багиев Г.Л. и др. Маркетинг: Учебник для вузов. - М.: Экономика, 1999. - С. 77; Божук С.Г., Ковалик Л.Н. Маркетинговые исследования. - СПб.: Питер, 2003. - С. 9.

³ Малков М.И. Показатели измерения ценности информации маркетинговых исследований // Практический маркетинг. 2007. №129 (11). - С. 10.

⁴ Голубков Е.П. Маркетинговые исследования. Теория, методология и практика. 3-е издание. - М.: Финпресс, 2003. -С. 89.

Версия для печати