Интервью: сколько респондентов достаточно?

История этого текста началась в давние-давние времена, еще в довотэтовсе и даже до ковида, с нашей беседы с одной из на тот момент продакт-менеджеров, а сейчас - руководительницей отдела исследований в одной из международных IT-компаний.

В этой беседе прозвучало «если открыто написать в исследовательском чате, что ты опрашиваешь по 5 человек, тебя закидают помидорами».

Времена изменились – но до сих пор внятных рекомендаций по формированию выборки нет.

До сих пор начинающие исследователи спрашивают в чатах: сколько респондентов надо? И до сих пор им отвечают статьей Нильсена или, если у того, кто отвечает, есть академический бэкграунд, статьями Елены Рождественской или Ильи Штейнберга.

Проблема в том, что это - неточный вопрос и неточный ответ.
Примерно как «Сколько стоит машина?» – «Какая машина?»
В отличие от машины – когда мы можем ответить «ну, смотря какая» - в исследованиях проблема в том, что у исследователя часто нет идеи о том, что люди, с которыми он говорит, в принципе чем-то друг от друга отличаются.

Поэтому достаточно типичный случай сейчас — это выборка «по удобству». Коридорный тест как принцип набора респондентов – спросить хоть кого-то. Зайти в чат и попросить помочь. В академических исследованиях это тоже есть. Старая шутка: экспериментальные исследования в психологии – это психология студентов-психологов 2 курса, преимущественно девушек.

Проблема не только в том, что это систематическое смещение выборки. Проблема в том, что на этом уровне анализа нет идеи, что люди различаются по тому, как они используют или покупают ваш продукт - а они часто различаются, эти различия могут описываться как «сегменты» или как «персоны».

Поэтому реально ответ на вопрос, сколько респондентов надо, зависит от того, как мы отвечаем на два других вопроса:
1. Сколько человек на сегмент нужно?
2. Сколько сегментов мы берем - с подвопросами «какие сегменты есть в принципе?» и «какие сегменты нам важны»?

И на тот ответ, который мы даем на первый вопрос - сколько человек на сегмент нужно - в коммерческих исследованиях большое влияние оказывает давление ситуации. Сроки и бюджет, бюджет и сроки. Академический исследователь может не думать о таких вещах, у него в запасе обычно несколько лет (для бизнеса это практически вечность), но коммерческое исследование всегда начинается с оценки ресурсов по параметрам «время-деньги».

Поэтому мы почти никогда не берем 10 человек на сегмент, как предлагает, например, Штейнберг.

Но мы не всегда можем брать и 5 человек на все исследование, как предлагает Nielsen Norman group для UX-исследований, — если мы делаем не UX. (Заметим, что слово «сегмент», то есть, идея о том, что люди вообще разные, тут не звучит вообще).

Мы не можем заранее понять, сколько респондентов надо. Беда в том, что никаких других решений, кроме приведенных выше двух крайностей, в информационном поле фактически не содержится.
Но есть одно радостное – хотя и малоизвестное - исключение.

Вот формула из статьи UX-исследователя и дизайнера Виктора Йокко, которая достаточно хорошо описывает реальность формирования выборки.

«Коэффициент неизученности» может быть от 1 до 3, где
1 – исследование связано с существующим продуктом
2 – исследование при создании нового продукта
3 – обобщение безотносительно к выпускаемому продукту

Опыт исследователя может оцениватьсяот 1 до 2, где 1 – отсутствие опыта, а за каждые 5 лет опыта добавляется по 0,1.

Что мы видим?

Что опыт исследователя – это еще один фактор, от которого зависит выборка, и это тоже специфика коммерческих исследований, в которых всегда стоит вопрос, а можно взять меньше людей? Опыт исследователя позволяет немного срезать углы. Относительно более опытный исследователь – работающий 5 лет и больше – может провести меньше интервью, чем менее опытный коллега, без потери качества.

Что в зависимости от изученности того, что мы исследуем, мы можем сократить выборку – до 3 человек на сегмент, если мы уже много знаем об использовании этого продукта этими людьми – или, наоборот, нам нужно будет увеличить ее до 9 человек на сегмент, если мы вообще говорим не только о продукте, но о практиках этих людей вообще, например, проводим этнографию в рамках big discovery.

Что ресурсы – это сроки и бюджет, и они всегда играют против тебя, кроме того случая, когда их достаточно. И если ресурсов мало, как обычно бывает в коммерческих исследованиях, мы произвольно сокращаем количество респондентов. А если хватает – что бывает реже - то можем не сокращать. То есть, если ресурсы есть, то в формуле на место «Ресурсы» мы подставляем «0», а если их нет, мы вычитаем произвольное количество респондентов.

Например, для исследования необходимости создания нового портала для обслуживания клиентов среди малого и среднего бизнеса мы опрашиваем 3 типа пользователей: обычный персонал, менеджеры, администрация. 10 недель на исследование, значительный бюджет, 11 лет исследовательского опыта.

И даже от этой цифры можно сократить выборку – с помощью сплиттинга, взяв меньше человек на сегмент, чем предполагается по формуле. Это делается в интересах скорости и бюджета – как правило, в коммерческом исследовании на большом количестве респондентов вы не можете каждый раз опрашивать 40-50 человек. Сплиттинг не описывается в статьях, это цеховое ноу-хау: смотрим на сегменты и решаем, какие из них важно изучить поподробнее, а какими можно немного пренебречь.

Ремарка: нам, исходя из нашего опыта работы, сложно согласиться с цифрой «минимум 3 человека на сегмент». В принципе мы допускаем, что если у исследователя очень хорошая квалификация, большой опыт, и он годами сидит на этом продукте, то он может извлекать информацию просто силой мысли, и тогда 3 человек на сегмент ему хватит, и даже с избытком. Чаще как нижний предел для однородной выборки указывается 6 человек. Эта цифра следует из принятых исследовательских практик: исследование на материале 6-10 человек - это один из наиболее распространенных вариантов дизайна качественных исследований (Galvin R. How many interviews are enough? Do qualitative interviews in building energy consumption research produce reliable knowledge? 2015). Так как мы обычно работаем на агентской стороне, и с хорошо изученными выборками дело не имеем - мы обычно формируем выборку, исходя из 6-8 человек на сегмент.

Но в формуле Йокко остается еще одна неизвестная величина, которую мы пока не обсудили. Это количество сегментов.

Как понять, сколько брать сегментов?

В академических исследованиях мы не нашли идей по этому поводу, кроме восьмиоконной модели Штейнберга. В этой модели респонденты делятся в зависимости от их отношения к определенной практике на четыре окна:

1. Типичные носители практики (люди, которые взяли потребительский кредит у нас).
2. Нетипичные носители практики (люди, которые взяли у нас кредит, являясь домохозяйкой с высоким доходом или, наоборот, получая только пенсию по инвалидности).
3. Специфические респонденты – носители типичных свойств, но не носители практики (люди, которые взяли кредит у конкурентов).
4. Эксперты (директор по работе с клиентами, директор отдела кредитов, кредитный аналитик и т.п.).

Окно «эксперты» Штейнберг делит еще на четыре квадранта - в зависимости от того, есть ли у эксперта опыт в категории и готов ли он рефлексировать этот опыт. Но в подсчете сегментов результаты этого более мелкого дробления не участвуют, а участвуют только четыре описанных выше «окна»: «типичные», «нетипичные», «специфические» и «эксперты». Берем по 10 человек на каждое окно, так как по поводу этой цифры в академических исследованиях есть некий консенсус, итого 40 человек нам хватит.

В коммерческих исследованиях эта модель неприменима.

Мы не всегда опрашиваем пользователей конкурентов, так как у нас не всегда есть задача получить конкурентное преимущество, а может быть, например, задача улучшить опыт именно наших пользователей. Нам не всегда нужны эксперты – чаще всего достаточно информации непосредственно от пользователей, кроме того, искать экспертов сложнее и дороже. Нам обычно не нужны «специфические» респонденты, так как они просто не приносят доход. И в этой модели нет идеи о том, что сегментов может быть несколько, так как может быть несколько вариантов практик, приносящих нам доход, - например, люди могут брать разные по размеру кредиты, могут выбирать кредитные карты и могут брать специфические виды кредитов, такие, как автокредит или ипотека.

Так как все же выяснить, сколько у нас сегментов?

Сегмент — это люди, которые одинаково используют, покупают или воспринимают ваш продукт.

Разные сегменты — это группы людей, которые по-разному покупают или используют ваш продукт.

Но как мы до исследования можем знать об этих различиях между людьми?

Обо всех различиях мы заранее знать не можем - иначе не нужно было бы проводить сегментационные исследования.

Но некоторые можем предположить.

Например, люди, которые берут потребительские кредиты, различаются:

1. По сумме взятого кредита (например, мы видим по базе данных три кластера: до 100 тысяч; 100-300 тысяч; 300-500 тысяч).
2. По тому, берут его у в нашем банке или у конкурентов – часто важно знать, почему такие же люди, как наша целевая аудитория, выбрали конкурентов, а не нас.
3. По полу и возрасту. Пол и возраст – это далеко не условные конструкты, особенно возраст – скорее это разный опыт, который оказывает влияние на использование, восприятие и требования к продукту.

И даже если мы не можем предположить, как на покупку и использование влияют пол и возраст – мы берем поровну мужчин и женщин, а также людей разного возраста, из гигиенических соображений. Потому что это теоретически эти переменные могут влиять, и если это так нам желательно не смещать выборку.

Разбивки по возрасту в этой таблице - не данность. Если вы предполагаете, что возраст влияет по-другому, можно взять и другие возраста, и более дробные сегменты: например, студентов (18-22), пенсионеров, и т.д.

Важный момент: если вы проводите исследование, чтобы выделить сегменты пользователей, то итоговая сегментация, как правило, НЕ совпадает с теми сегментами людей, которые вы выделили на этапе формирования выборки.

Например, на этапе формирования выборки мы предложили сегменты по полу и возрасту – но когда мы провели исследование, мы выяснили, что ни пол, ни возраст не влияют на использование продукта никак, а влияет, например, жизненная ситуация человека – нужен ему кредит срочно или он готов какое-то время ждать. Или мы выяснили, например, что одни люди берут кредит импульсивно, а другие долго взвешивают альтернативы – и в результате исследования мы выделяем сегменты на основе психографики (или описываем персоны), хотя в дизайне исследования ничего подобного не было, и так и должно было быть. Мы не можем точно знать заранее, какие характеристики наших пользователей влияют на использование продукта - мы это только предполагаем.

Важный момент – мы не всегда можем получить достаточно информации из интервью с пользователями. На некоторые исследовательские вопросы могут ответить только эксперты.