Восемь типов ошибок в глубинном интервью

Каждый охотник желает — знать.

И некоторое время назад считалось, что самое крутое знание содержится в печатном слове: «книга — источник знаний».

Но в быстро меняющемся мире невозможно успеть с книгами — придумать, написать, издать, прочесть. Источник знаний сейчас — это опыт людей, которые готовы о нем говорить. А основной инструмент получения знаний — интервью, диалог с людьми, у которых есть определенный опыт. Этот тип общества, в котором одни (кто угодно) могут задавать вопросы, а другие (кто угодно) в ответ готовы рассказать о своем опыте, социолог Дэвид Сильверман назвал «interview society». Здесь интервью проводят все: исследователи, продакты, UX-дизайнеры, стартаперы.

И в ситуации, когда «все делают это», важно уметь делать это хорошо.

Задавать открытые вопросы и слушать ответы могут все, но не все умеют. Важно знать, как и о чем спрашивать. И тогда вы можете не только сорвать «low handling fruits», о которых многие слышали, но и узнать неочевидные вещи, которые позволят сделать продукт лучше, чем у конкурентов.

В interview society не только все проводят интервью, но и все обучают всех, как делать это правильно. Огромная масса рекомендаций, как проводить интервью, тем не менее никак не предохраняет начинающего исследователя от неизбежных ошибок. При этом многие практики проведения интервью, позволяющие избежать этих ошибок, квалифицированными исследователями часто подразумеваются по умолчанию и не артикулируются.

«Я даже представить себе не мог, что тут можно упасть», — говорили нам коллеги, когда мы подняли эту тему. Но знать о таких ошибках важно — это позволит вам действовать «от противного» и не совершать их.

Мы спросили коллег, какие ошибки можно допустить при проведении интервью, и получили список на семь страниц в Ворде. Вместе с Анастасией Жичкиной мы обобщили их, и вот что у нас получилось.

I. Плохой контакт с респондентом (не установлен или ухудшен).

II. Вопросы задаются формально, без фокусировки и «докручивания».

III. Предвзятость/Зафреймленность.

IV. Нарушения техники проведения интервью.

V. Проявление эмоций/реакций, разрушающих контакт.

VI. Нарушение логики разговора.

VII. Принятие декларативных ответов за реальные.

VIII. Процедурные нарушения.

Так как вероятность этих ошибок зависит от профессионализма исследователя, в тексте они будут обозначены:

• ★✰✰ ошибки начального уровня квалификации («не стреляйте в пианиста, он играет, как умеет»).
• ★★✰ ошибки среднего уровня квалификации («умею вызывать демонов, но не знаю, что потом с ними делать»).
• ★ ★ ★ ошибки любого уровня квалификации («и на старуху бывает проруха»).

Разберем их подробно.

1. «Резкий старт»: исследователь не представился, не объяснил правила, не поговорил с респондентом на отвлеченные темы в начале. ★✰✰
2. «Монолог ведущего»: исследователь не слушает респондента, а больше говорит сам. ★★✰
3. «Тот, чье имя нельзя называть»: исследователь не обращается к респонденту по имени (более важно для фокус-группы, но в интервью тоже играет роль). ★★✰
4. «Форсированный контакт»: исследователь задает сложные и сензитивные вопросы сразу, в начале интервью. «Добрый день. Расскажите, когда у вас впервые возникли проблемы с эрекцией?» ★★✰
5. «Преувеличенная деликатность»: исследователь боится респондента и не уточняет непонятные моменты, так как это кажется ему нескромным. ★✰✰

Почему так важен контакт? Потому что интервью — это новый опыт для респондента. Ему многое непонятно, у него есть предубеждения и, возможно, страхи. Устанавливая с респондентом контакт, вы снимаете возможные вопросы и облегчаете ему получение нового для него опыта. Без установленного контакта респондент будет «закрываться» и на многие вопросы не даст откровенных и подробных ответов, а о многих важных деталях просто умолчит.

Как выглядят такие ошибки:

1. «Как прибили, так и держится»: исследователь зачитывает вопросы строго по гайду (сценарию интервью), не отклоняясь; не идет за респондентом в обсуждение. ★✰✰
2. «Краткость — сестра таланта»: исследователь не «докручивает». Ответы на вопросы не получены, респонденту еще есть, что рассказать, но это осталось «за кадром». Так бывает, если у исследователя уже есть определенная картина в голове, и он думает, что респондент своим ответом ее проиллюстрировал. Или наоборот, если никакой картины нет, и он просто задает вопросы. ★★★
3. «Хорошо сидим»: исследователь считает критерием удавшегося интервью эмоциональную вовлеченность респондента, а не содержание его ответов, и в результате недостаточно фокусирует, удовлетворяясь светской беседой. ★✰✰

Как выглядят такие ошибки:

1. «Папа лучше знает»: исследователь подводит респондента вопросами к определенной точке зрения: «Посмотрите на эту концепцию. Почему она вам не нравится?» ★★✰
2. «Все равны, но некоторые равнее других»: исследователь «продает» определенные концепции, уделяя им больше внимания на тесте, чем другим. Бывает, что он таким образом спорит с заказчиком, или потому что он, наоборот, ангажирован, например: «Вы же заметили наше новое удобное меню?» ★★★
3. «Я художник, я так вижу»: исследователь проясняет с помощью вопросов СВОЮ картину мира, не исследуя картину мира респондента. Это могут быть открытые вопросы, но задающие определенный угол зрения, отражающие представления исследователя о том, как устроен мир. Вместо того, чтобы дать респонденту рассказать, как это происходит у него, в форме длинного нарратива, исследователь «бомбит» респондента конкретными вопросами, неизбежно пропуская части опыта, о которых он (исследователь) не подозревает. ★★★

Как выглядят такие ошибки:

1. «Горе от ума»: исследователь, вместо того, чтобы использовать лексику респондента, употребляет неизвестные респонденту профессиональные термины: триал, онбординг, аутентификация. «После того, как пройдете онбординг, вам нужно активировать триал». ★★✰
2. «Не болтай!»: исследователь перебивает респондента, не дает договорить без видимой причины (такой, например, как многословность респондента или его уход от темы разговора — в этих случаях перебивать допустимо). ★★✰
3. «Live fast, die young»: исследователь не использует «паузу» в разговоре, а быстро задает следующие вопросы, даже если у респондента есть, что дополнить. ★★✰
4. «Сначала кратенький экскурс в историю»: исследователь предваряет вопрос длинной вводной частью, которую респондент не поймет и не запомнит. «Эта концепция, одна из многих концепций, разработана в компании Х, которая, как вы знаете, крупнейший игрок на рынке экосистем, для того, чтобы лучше донести преимущества продукта Y. Нам очень важно понять, какие преимущества продукта Y важны для вас». ★✰✰
5. «Не надо думать — с нами тот, кто все за нас решит»: исследователь не ждет спонтанных ответов на открытые вопросы, а сразу предлагает варианты ответов. «Вам не нравится этот продукт, потому что он дорогой?» ★✰✰
6. «Что такое хорошо и что такое плохо»: исследователь «оценивает» ответы респондента как правильные и неправильные: «Верно, авокадо — это действительно здоровый продукт, полезный для человека, об этом везде написано». ★✰✰
7. «Как-нибудь так»: исследователь не управляет беседой. Например, при тестировании образцов он разрешает сравнивать предыдущий образец с актуальным до того, как просмотрены все варианты. Как вариант: при оценке креативных концепций разрешает давать предложения по улучшению до того, как сняты основные впечатления от концепции. Или: разрешает сначала ругать, потом хвалить, но респонденты после того, как от души поругали, почему-то не могут найти хороших слов для концепции. ★★✰

Как выглядят такие ошибки:

1. «Вас много, я один»: исследователь относится к респонденту неуважительно «Давайте вы побыстрее расскажете, а то у меня следующее интервью скоро». ★✰✰
2. «Смешинка в рот попала»: исследователь смеется над респондентом и его ответами. ★✰✰
3. «Спать хочется»: исследователь скучает, зевает на интервью, его настрой передается респонденту и это невозможно смотреть и слушать, даже в записи на скорости х2. ★★★
4. «Снова в школу»: исследователь дает оценки действиям или поступкам респондента «А почему вы решили взять кредит в таком бедственном положении? Это недальновидно!» ★✰✰
5. «Вопросы здесь задаю я»: исследователь не признает право респондента не отвечать на некоторые вопросы, настаивая на обязательных ответах.

«Если вы не хотите отвечать на мои вопросы, зачем тогда согласились? Давайте не будем тратить ни мое, ни ваше время!» Часто эта ошибка усугубляется тем, что респонденту просто не объяснили при рекруте или в начале интервью, что от него хотят и зачем всё это нужно. ★✰✰

И если про уважение к респонденту написано в кодексах ESOMAR и QRCA, то по поводу зевания на интервью, продавливания и оценок ответов респондента там ничего нет. Кодексы предполагают, что у исследователя уже есть некоторый уровень квалификации.

Как выглядят такие ошибки:

1. «Слова забыл»: исследователь зачитывает вопросы по бумажке, а не разговаривает с респондентом. ★★★
2. «Делай все по чертежу»: исследователь задает вопросы, на которые респондент уже дал ответ, так как следует гайду дословно. ★✰✰
3. «Я такая спонтанная»: исследователь перескакивает между разными темами вне логики разговора. ★★★
4. «Широкий кругозор»: исследователь задает вопросы не по теме, которые не проливают свет на исследуемые вопросы. ★✰✰
5. «Я тебя поймал»: исследователь сразу после того, как задал вопрос, задает его в другой формулировке, не дослушав ответ респондента. ★✰✰

Хорошее глубинное интервью на записи звучит просто как разговор с небольшими уточнениями, где респондент плавно сам переходит от одной темы к другой, а исследователь мягко направляет респондента в сторону нужных тем.

Как выглядят такие ошибки:

1. «Мир идей»: исследователь фокусируется на представлениях о продукте и отношении к нему, игнорируя реальный опыт и не исследуя ситуации использования продукта. ★★✰

2. «Чего изволите?»: исследователь не уточняет, насколько требуемый респондентом функционал продукта вписывается в его личный опыт (насколько реалистичным является использование этого требуемого функционала). ★★✰

3. «Верю на слово»: исследователь не вычленяет социально желательные ответы, не проверяет декларации на реалистичность. ★✰✰

Первые два типа ошибок чаще совершают маркетинговые исследователи, принимая за реальность чисто умозрительные соображения респондента. Продуктовые исследователи чаще попадают в ловушку с социально-желательными ответами (№3), но декларативные ответы отсекают на подступах благодаря вниманию к реальному опыту.

Как выглядят такие ошибки:

1. «У мальчика феноменальная память»: информация не фиксируется. Не делаются заметки, а в некоторых случаях вообще не делается запись. ★✰✰
2. «Впереди вечность»: исследователь опаздывает на свои же интервью либо не соблюдает тайминги, в результате чего интервью затягивается. ★★✰
3. «И так сойдет»: не используется профессиональный диктофон, запись ведется на смартфон. ★★✰
4. «Я же не в театре»: не отключен звук на смартфоне исследователя. ★★✰
5. «Многозадачность»: исследователь отвлекается на смартфон или ноутбук, ведет переписку параллельно с интервью. ★★✰
6. «Бытовая телепатия»: исследователь не называет номер/код тестируемого образца. Это создает проблемы при анализе результатов. ★★✰

Как честный человек, после всего сказанного я должен ответить на вопрос «И что с этим делать?».

Я считаю, что качественные исследования очень похожи на медицину. Обычная, не экстремальная медицина — это когда заболел неизвестно чем, чувствуешь себя плохо и надо попасть к врачу, чтобы стало лучше и понятнее.

Врач Артемий Охотин пишет, что медицина — «это ремесло, вроде изготовления горшков, и ему нельзя научиться в кружке по интересам или на хороших интернет-лекциях, или по хорошим учебникам. Ремеслу можно научиться, только работая с нормальным мастером, работая так же, как он, и стараясь стать лучше него».

Так же и в исследованиях. Что-то продукт пока не идёт или идёт не так хорошо, как хотелось бы, непонятно почему, и хочется, чтобы было лучше и понятнее. И тогда обращаются к исследователю, которому, как и врачу, нужны годы практики для того, чтобы приобрести нужную квалификацию.

Поэтому ответ на то, что делать, чтобы не было таких вот ошибок, невозможно дать в рамках статьи, потому что, во-первых, тогда это будет книга, а во-вторых, этого все равно будет недостаточно — необходимо много практики.