Заменит ли AI маркетинговых исследователей?

Может ли AI заменить исследователя в анализе и визуализации спонтанных ассоциаций?

Анастасия Жичкина, Константин Ефимов (телеграм-канал @postpostresearch);
Михаил Боде (телеграм-канал @beyondresearch)

Мы не стали представлять кластеры так, как это принято делать, в виде плашки со списком характеристик внизу - так как в процессе эксперимента мы поняли, что этот способ недостаточно хорошо показывает внутренние связи между кластерами (например, кластеры «близость», «распространенность» и «демократичность» очевидно связаны по смыслу. Мы использовали новый способ визуализации данных: диаграммы Венна для визуализации близости, в которые были вписаны характеристики, причем размер шрифта характеристики означает, что она часто встречается, а размер кружка на диаграмме отражает, сколько характеристик в этом кластере (например, если в кластере было больше 30 характеристик, он изображался намного большим, чем кластер, в котором было 5 характеристик).

Два аналитика с большим опытом. Затраченное время (без отрисовки карты): 4 часа на каждого.

Мы выделили кластеры оценок, из которых самыми крупными оказались «размер», «надежность», «консерватизм» и «продвинутость» (да, действительно у Сбербанка — вот такой противоречивый имидж, сочетающий противоположные черты).

Более того, все остальные кластеры группируются между именно этими противоречивыми полюсами «консерватизм»-«продвинутость». Между ними находятся кластеры «большой» и «надежный» (ближе к полюсу «консерватизм»), а также «лидерство», «известность», «элитный статус» (ближе к полюсу «продвинутость»).

Большинство негативных характеристик объединены в кластеры, которые не противопоставляются позитивным и никак с ними не связаны по смыслу. Мы предполагаем, что кластер негативных оценок связан с конкретными эпизодами негативного опыта со Сбербанком: «невыгодные условия», «нечестность», «навязчивость». Остальные крупные кластеры – это имидж в чистом виде, основанный в большей степени не на опыте, а на представлениях, взятых из коммуникации Сбербанка.

Аналитик с небольшим опытом. Затраченное время (без отрисовки карты): 2 часа

Чистый AI. Затраченное время (без отрисовки карты): 1 час. Много времени ушло на правки групп ассоциаций, в которые AI добавлял не все слова из массива.

Аналитик с большим опытом + AI. Затраченное время (без отрисовки карты): 12 часов.

Получившаяся кластеризация, конечно, не единственный возможный способ интерпретации данных массива, но, на мой взгляд, она опирается на сильную объяснительную конструкцию — если хотите, давайте подискутируем.

В центре карты — мегаблок, образованный концептами государственности, институционализированности и масштаба; они находятся в сложных отношениях включённости и пересечения друг с другом. Ассоциации, входящие в центральный кластер и находящиеся на его орбите, частью несут позитивный, частью негативный характер, причём нередко в ответах одного и того же респондента эти категории совмещаются. Отмечая институционализированность Сбера — его статус «главного», «всероссийского», «доминирующего» банка, — человек с большой вероятностью мог рассуждать о нём и в категориях «бюрократизированности» и «неповоротливости», а через запятую — в терминах «стабильности» и «надёжности». Мы имеем дело одновременно и с оппозициями, и с внутренне консистентными в своей разноречивости диспозициями. Эти полярные характеристики объединяются концептами масштаба, влиятельности и временной протяжённости существования Сбера.

Значительная часть негативных характеристик между тем не относится напрямую к кластеру государственности/институционализированности, хотя соприкасается с ним. Скорее они описывают опыт соприкосновения респондентов с сервисами Сбера, их UX/CX, практики. Здесь мои выводы полностью совпадают с результатами уважаемых коллег из PostPostResearch.

Особняком на карте стоят «бренд» и «эстетика» (а рядом и всё «визуальное»): кластер концептуально и тематически не примыкает к главному, самому «раскидистому» кусту. Так же обособленно стоят «технологичность» и «инновационность»: в ассоциациях респондентов эти характеристики, как правило, не сопряжены с концепциями «институционализированности» и «государственности». Этот мини-пучок кластеров живёт наособицу от основного мегаблока и фактически не подвержен его «гравитационному» влиянию.

Основной результат: ключевым фактором успеха в анализе спонтанных ассоциаций по-прежнему является опыт аналитика, а не AI. Чистый AI пока (на май 2025) не может справится с таким анализом.

Побочный результат: из чатиков по поиску респондентов для кастдевов – 0 (ноль) заполнивших анкету. Вы можете видеть, как все туда пишут, но в реальности даже если ты напишешь, что на анкету уйдет 3 минуты, ее никто не заполнит. Никто.

Ссылка на датасет для тех, кто захочет воспроизвести результаты.

Ниже – прямая речь от авторов карт.

Приступая к гибридному — я, да ИИ, да мы с ИИ — анализу свободных ассоциаций вокруг Сбера, я не задавался целью выполнить работу в кратчайшие сроки. Скорее мне хотелось разобраться, способна ли LLM помочь мне именно в аналитической работе, сделать её более «инсайтоёмкой», а не просто упростить выполнение технических подзадач и ускорить рутинные процедуры (спойлер: рутину модель ускорила). В качественных — в меньшей степени в количественных — исследованиях я применяю нейросетки не первый год, но вот на такой задаче до весны-2025 их не задействовал.

Результат эксперимента я оцениваю (вынужден оценить) двояко. С одной стороны, GPT — я использовал на тот момент, в апреле-мае 2025 года, модель GPT-4o — действительно помог мне получить дополнительные инсайты и углубить анализ: на некоторые взаимосвязи и пересечения кластеров меня натолкнул именно он. С другой стороны, волхвование с ИИ потребовало больше времени, чем если бы я выполнял всё самостоятельно: в общей сложности более 20 часов чистого времени, значительная часть которых ушла на итерационную отладку промптов. Другое дело, что я не гнался за скорейшим результатом, иногда фокусировался на побочных сюжетах и тюнил то, на что проще было бы махнуть рукой. По моим прикидам, можно было уложиться в 10–12 часов.

Набросав стартовый ad hoc промпт за 4–5 минут, я получил первые результаты. Если прибегнуть к метафоре «прогрессивного JPEG», первичный, «гиперпикселизированный» контур, проступавший сквозь датасет. Для чистоты эксперимента я старался анализировать массив собственными силами параллельно, на первых порах не слишком глубоко погружаясь в исходные данные. Но через пару дней знал массив вдоль и поперёк — кажется, уже помнил наизусть все эпитеты, упомянутые 52 нашими респондентами.

Даже ранние результаты выглядели здравыми, сообразующимися с common sense — оговорюсь, в первом приближении. Ну да мы-то знаем, что соответствие common sense — критерий ненадёжный. Так или иначе, были видны крупные кластеры, часть из которых, кстати, сохранилась и в финальной версии. Однако работа «чистого» ИИ без моих вмешательств пришлось признать неудовлетворительной. Проблем было много. Перво-наперво — кластеры оказались слишком крупными. Невооружённым глазом было видно, что обобщения чрезмерны, и дифференцирующие критерии выглядели спорно. А ещё джипитишка лихо разбросала слова по кластерам, не учитывая, что некоторые ассоциации могут одновременно принадлежать разным тематически-когнитивным категориям, носить амбивалентный или диффузный характер. Между кластерами не было пересечений, все ассоциаций до единой были распределены «по ящичкам», хотя мне даже при беглом ознакомлении с массивом стало ясно, что и пересечения должны быть, и не принадлежащие ни к одному кластеру единицы, и прилагательные, интерпретация которых вне более широкого контекста затруднительна. Ну вот что значит — «муравейный»? Это про очереди, про гигантский масштаб, про расчеловеченность, про небрежение потребностями клиентов, про слаженную работу?

Пришлось начинать заново, усовершенствовав промпт и уточнив, что одна ассоциация может относиться к разным кластерам. Результат второй итерации был ощутимо лучше, вот только вылезла новая проблема: GPT решил, что кластер я трактую, ммм, в статистическом смысле, и начал пытаться проводить кластерный анализ, притом что данные-то были нерепрезентативны по определению.

Пришлось ещё раз скорректировать набор инструкций. На третьей итерации результат стал — вроде как — приемлемым, но вот беда: модель начала тихой сапой вкидывать несуществующие ассоциации — на диво близкие к тем, что содержались в массиве, достоверные, так что я даже сразу и не понял, в чём дело. Имитация получилась сверхубедительная: люди вполне могли так ответить.

В последующих промтах мне понадобилось давать строгую инструкцию задействовать исключительно те ассоциации, которые содержались в исходном массиве. Самое забавное, что это не полностью остановило генерацию «паразитных» ассоциаций, но модель стала отдельно маркировать те, которые выдумала. Хотелось бы, чтобы не выдумывала вообще, но проблема, пусть костыльненько, была решена.

По-настоящему GPT помог мне именно на этапе формирования и пересборки кластеров. Когда я замечал проблемы в принципах группировки или видел, что какие-то важные, на мой взгляд, категории в предложенной LLM модели отсутствуют, я двумя-тремя фразами попросил модель перестроить систему кластеризации исходя из новых вводных.

Особенно полезен был следующий промежуточный ход: я предложил GPT перед кластеризацией провести семантический анализ всех ассоциаций, подробно описав смысл каждого прилагательного с учётом банковского контекста и тематики исследования. И качество кластеризации заметно выросло.


Важно было и «взвесить» каждую ассоциацию, с указанием количества её вхождений в датасет: иначе нельзя было бы выстроить диаграмму Венна с верными пропорциями. Поначалу модель с количественными показателями то и дело лажала, выдавая верные цифры со второго на третий раз, но после отладки промта мне удалось добиться от неё точности.

Финальную карту я, признаюсь, отрисовывал самостоятельно — в виде мокапа для дизайнера. Но её структура в значительной части была сформирована с помощью GPT. То, что модель нарисовала сама, конечно, соответствовало её кластеризации, однако каждая просьба к LLM вносить изменения в карту могла поломать всю конструкцию. Я плюнул и засучил рукава.

Что в итоге. GPT служил мне co-pilot — помогал мне, но не заменял меня ни на одной из стадий. В середине проекта мы работали наравне: я анализировал датасет своим церебрумом, GPT — исходя из моих промтов. Получилась причудливая взаимная триангуляция — не только я проверял его результаты, но и он подсвечивал мне моменты, которые я, возможно, заметил бы позже или вообще упустил. Например, сложные взаимосвязи/пересечения по линии «бюрократия — историчность — институциональность — масштаб» мы выявили и зафиксировали в творческом тандеме с GPT-4o.

Кто ты и как действуешь: Ты выдающийся социолог с 20-летним опытом, занимающийся продуктовыми и маркетинговыми исследованиями. У тебя есть сильные компетенции как в качественных, так и в количественных методах. Ты специализируешься на изучении brand perception, анализе ассоциаций, семиотическом анализе.

Контекст: Я предоставляю тебе Excel-документ с результатами опроса об ассоциациях респондентов со Сбербанком. Респондентам требовалось перечислить те ассоциации, которые вызывает у них Сбербанк, через запятую, в свободном режиме, без ограничений на количество прилагательных. Каждая строчка начиная со второй сверху — это ответы отдельного уникального респондента. Соответственно, в совокупности документ включает в себя ответы 52 респондентов. В столбце под названием «Пожалуйста, опишите Сбербанк с помощью прилагательных. Используйте как можно больше прилагательных:» содержатся ответы на главный вопрос анкеты.

Ограничения и специфика датасета:

1. В основном респонденты следовали инструкции, однако в некоторых случаях могли использовать для вербализации ассоциаций не только одиночные прилагательные или причастия (например, «днище», «для всех» — не прилагательные, «легко может слить личные данные силовикам» — целое предложение, а «технически обеспеченный» — это не одиночное прилагательное, а прилагательное с наречием). Учитывай и интерпретируй такие ответы наряду с основным форматом — характеристиками в виде одиночных прилагательных или причастий.
2. Размер датасета невелик, учитывая это, если задействуемые тобой методы будут касаться вопросов статистической значимости, репрезентативности и т. д.

Задача: Тебе нужно изучить датасет и детально проанализировать его, с тем чтобы с разных перспектив изучить набор ассоциаций, выявить паттерны и закономерности в них. При этом я хочу, чтобы ты выполнил количественный анализ различных ассоциаций — их частотность, регулярность их встречаемости с другими ассоциациями в пределах ответов респондентов. Выбор методологии и инструментария при решении первой задачи остаётся на твоё усмотрение. Это не единственная задача, в диалоге далее мы продолжим работу с датасетом.

Условия и ограничения: Начиная с первой задачи и далее при выполнении любых последующих задач анализируй строго те сущности/контент, который содержится в исходной таблице. Не добавляй никаких других ассоциаций, пусть даже они близки к тем, что содержатся в документе. Не выдумывай ассоциаций/характеристик.

Теперь выполни краткий семантический анализ каждой из уникальных ассоциаций, содержащихся в таблице.

При анализе учитывай контекст: мы изучаем финтех; говорим с российскими пользователями, описывающими российские же реалии; часть ассоциаций относится к нейтральной лексике, часть — к сленгу, оценочной и/или инвективной лексики. Оценивай не только саму лексическую единицу или словосочетание, но старайся понять, что оно может с наибольшей вероятностью означать в контексте ассоциаций со Сбербанком и банкингом вообще.

Напомню тебе важное условие: анализируй строго те сущности/контент, который содержится в исходной таблице. Не добавляй никаких других ассоциаций, пусть даже они близки к тем, что содержатся в документе. Не выдумывай ассоциаций/характеристик.

Ты нарушил мои требования и придумал множество ассоциаций, которых не было в исходном документе. Проанализируй свой предыдущий ответ и оставь только те ассоциации, которые содержатся в исходном документе. Это строгое требование.

На основе выполненного тобой семантического анализа в проанализируй весь набор ассоциаций и распредели их все по тематическим блокам. Это должна быть тематическая классификация с достаточно высокой степенью гранулярности, охватывающая и картирующая всё смысловое разнообразие имеющихся ассоциаций. При распределении учитывай (а) полные семантические характеристики ассоциаций, (б) связь ассоциаций с финансовой/банковской тематикой. Учти, что одна и та же ассоциация может относиться к разным кластерам, или не попадать ни в один из кластеров, или не быть однозначно соотносимой с каким-либо из кластеров: не обязательно, что такие ситуации при анализе возникнут, но они вероятны.

Попробуй другую, более продуманную семантико-тематическую кластеризацию.

Выполни задачу заново. Я хочу получить:

1. Полное распределение всех ассоциаций датасета по выделенным кластерам.
2. Более глубокое и дифференцированное описание по каждому блоку. Какие смыслы и диспозиции выделяются внутри него, есть ли контрастирующие установки. Мне нужен твой социологический анализ по каждому блоку.
3. Представление о том, какие тематические направления чаще всего пересекаются в ответах респондентов.

Представь, что ты маркетолог-исследователь. Ты провел исследование и собрал прилагательные, которыми описывали Сбербанк. Сейчас твоя задача собрать эти прилагательные в группы. Если прилагательное употребляется несколько раз, в скобках пишешь количество, и варьируешь шрифт для таких пунктов в зависимости от количества. Количество групп прилагательных - на твое усмотрение.
[Далее я вставляла файл со списком прилагательных]

Мой подход был максимально простым и прямолинейным - дала одинаковые базовые промпты и Claude, и ChatGPT, попросив их «войти в роль» маркетолога-исследователя и сгруппировать прилагательные. Я работала с обеими системами параллельно, сравнивая результаты и используя один инструмент для проверки результатов другого.

1. Дала похожие базовые промпты в Claude и ChatGPT и получила первичные группировки.
2. Сравнила результаты — они существенно различались по принципам группировки.
3. Проверила, что все слова из списка попали в группы в обеих системах — обнаружила множественные пропуски в каждой.
4. Попросила включить пропущенные слова в подходящие группы: «Ты пропустил слова X, Y, Z — в какие группы они должны попасть?»
5. Сравнивала спорные случаи между системами: когда Claude относил слово к одной группе, а ChatGPT к другой.
6. Уточняла принципы группировки для спорных случаев у обеих систем.
7. Попросила дать более конкретные названия группам вместо общих формулировок.
8. Использовала результаты одной системы для проверки логики другой.

В процессе работы я несколько раз дописывала промпты в обеих системах, уточняя требования. Например, просила не просто группировать, а объяснять логику группировки, чтобы понять, почему Claude или ChatGPT отнесли то или иное слово к конкретной группе.

Параллельная работа с двумя системами помогала выявлять ошибки и неточности - когда видишь, что одно и то же слово попадает в разные группы, начинаешь более критично относиться к результатам и искать наиболее логичное решение.

За час работы я получила вполне рабочую кластеризацию, которая отражала основные аспекты восприятия Сбербанка. Конечно, она была менее детализированной, но для практических задач вполне подходила.

AI может сильно ускорить рутинную работу по группировке данных, но без постоянного контроля человека результат получается поверхностным. Для быстрого анализа — отлично, для глубокого исследования — недостаточно. Основная сложность — постоянная необходимость проверять, что все элементы из исходного списка попали в группы и корректно подсчитана их частотность. Обе AI-системы склонны «забывать» неудобные элементы или упрощать задачу, причем делают это по-разному. Качество результата напрямую зависит от того, насколько внимательно контролируешь процесс и сравниваешь результаты разных систем.

Мы использовали качественно-количественную методику анализа:

• Выясняли частоту, с которой встречается каждая характеристика.
• Сортировали эти характеристики по смыслу.
• Похожие характеристики объединяли в кластеры и давали название каждому кластеру: например, «размер», «надежность», «нечестность», чтобы выявить критерии оценки.
• Обозначали критерии оценки как позитивные («надежность»), негативные («нечестность»), амбивалентные («консервативность»), не содержащие оценок («внешний вид»).
• Подсчитывали количество характеристик, которые вошли в каждый кластер, чтобы выявить важность этого критерия оценки. На схеме более важные критерии оценки — это более крупные кластеры, а менее важные — это мелкие кластеры.
• Группировали кластеры друг относительно друга по смыслу, чтобы выявить оси оценки — это было нужно, чтобы упорядочить большое количество получившихся кластеров.

Первое, что мы сделали — мы отсортировали массив полученных слов по алфавиту и выяснили, с какой частотой встречаются конкретные характеристики. Например, слово «большой» встречается 22 раза, и есть похожие на него слова, такие, как «огромный» (3), «крупный» (2), «масштабный» (2). Все эти слова объединяются в один кластер — Размер.

После этого мы объединили прилагательные в кластеры. Сложность была в том, что некоторые слова можно отнести к разным кластерам: например, «ведущий» и «главный» — это кластер «лидерство» или кластер «статус»? «Быстрый» — это скорость или технологическая продвинутость? Может ли быть скорость отдельно от технологической продвинутости? Мы решили, что не может, в результате появились вложенные кластеры.

Другая сложность была в том, чтобы дать название выделенным кластерам. А еще в том, как назвать эти кластеры (критерии оценки) — чтобы бренд-менеджер на стороне заказчика или стратег в рекламном агентстве быстро поняли, что к чему, и могли менять коммуникацию или продукт.

Еще одна сложность была в том, чтобы сгруппировать кластеры, которые близки друг к другу по смыслу (например, «надежный», «консервативный», «медлительный», «имеющий аудиторию пенсионного возраста»). Мы не запрашивали эту информацию у респондентов, и это нужно было достроить. Например, по нашим исследованиям, которые мы проводили ранее, было очевидно, что такие кластеры, как «размер», «время существования» и «надежность», сильно пересекаются друг с другом. Но как это должно быть визуализировано?

А классическое «облако тегов» не могло вместить все богатство факторов: