Что такое и зачем нужен UX-тест

С помощью UX-тестов легко находить ошибки и несоответствия нашего интерфейса потребности и контексту клиента. Это простой в применении и очень мощный инструмент.

Всё, что тестируется на UX-тестах я дальше в статье буду называть «медиум». Типы медиумов, которые вы можете юиксить:

  • мобильные и десктопные интерфейсы
  • лендинги
  • презентации
  • взаимодействие клиента с нашими медиумами в реальном мире—через звонки, общение с менеджерами в мессенджерах
  • оффлайн-продукты и услуги
  • физические устройства и пространства

UX-тест в зависимости от сложности вашего интерфейса и богатства контекстов клиента занимает 10-40 минут [по моему опыту, медиана~20 мин], по форме напоминает коротенькое интервью с максимально простым скриптом. Можно проводить онлайн по Zoom'у/любой видеозвонилке, можно удалённо юиксить мобильные медиумы, можно и по старинке очно с ноутбуком и клиентом. Механику и скрипт вы найдёте ниже в этой главе.

Результат UX-тестов: набор проблем и несоответствий, с которыми сталкиваются клиенты с вашим медиумом. Типичный процесс создания интерфейса с участием UX-тестов выглядит следующим образом:

  1. Набросали прототип в Figma
  2. Провели 4 UX-теста, нашли 10 проблем, с которыми столкнулись 2+ из 4 респондентов
  3. Починили проблемы
  4. Провели ещё 4 UX-теста, нашли 4 проблемы
  5. GOTO 3 или приступаем к разработке если мы готовы катиться с этими проблемами

Каждый раз, когда я или мои команды делают итерации юиксов, находится огромное количество ошибок, которые потом вычищаются продактами, маркетологами и дизайнерами в медиумах.

UX-тесты родились из юзабилити-тестирований, но без задроства измерений среднего времени за которое человек нашёл нужный контрол и наблюдения за глазами. «UX»—сокращение от User eXperience.

Ценность UX-тестов в том, что они делаются очень быстро и очень дёшево и знание про проблемы остаётся в голове продакта/дизайнера, а не теряется при коммуникации исследователь → продакт/дизайнер.

В редких случаях UX-тесты стоят дорого: редкие и сложные респонденты [топ-менеджеры, состоятельные люди, редкие и занятые специалисты], но в пересчёте на стомость пропуска проблем, UX-тесты являются крайне выгодным инструментом.

Механика UX-тестов

  1. Ставим респондента в контекст как он контактирует с нашим медиумом:
    • например: ты работаешь редактором и хочешь обучиться программированию. Ты увидел рекламу в инстаграме: «освой профессию интернет-разработчик со средней зарплатой в 80 000 рублей». Ты кликнул на рекламу и увидел этот лендинг
  2. Просим выполнить работу:
    • например: ты хочешь понять, подходит тебе это обучение или нет
  3. Включаем Think Aloud Protocol
  4. Ведём человека по экранам/состояниям, на каждом экране/состоянии задаёте цикл из 5 вопросов:
    • Что видишь перед собой? Что человек считывает перед собой, первая реакция
    • Какие мысли тебе приходят в голову? Чуть более сложная реакция, мысленные процессы и возможные развилки решений клиента.
    • Что чувствуешь? Эмоциональная реакция респондента на происходящее: позитивные и негативные эмоции.
    • Что можешь сделать? Из ответа мы понимаем, видит ли человек точки входа в выполнение работ и контролы для продолжения начатой ранее работы. Очень легко находятся проблемы с активацией [первая метрика в воронке AARRR] в выполнение работ.
    • Какое действие ты хочешь сделать? Наша задача—узнать какое конкретное действие хочет сейчас сделать респондент по пути выполнения работы.

Правила проведения UX-тестов:

  • Вы можете тестировать ваш медиум на любых работах, без ограничений
  • Когда вы задаёте пять вопросов, вам важно, чтобы человек не скроллил и не переключался между экранами, пока он не ответил на цикл из этих вопросов. Как только человек ответил на все вопросы вопроса, ответил что он хочет сделать, после этого говорите «делай!» и респондент переходит к следующему экрану/состоянию. В каждом новом экране/состоянии задавайте новый цикл вопросов
  • напоминайте респонденту, что у него всегда есть возможность закрыть вкладку, закрыть/удалить приложение и на вопросе «что можешь сделать?», уточняйте «ты правда пошёл бы дальше или закрыл бы вкладку?». Это очень важная информация, которая покажет вам в какой момент и почему отваливаются клиенты
  • не забывайте уточнять «а почему так?», когда вы получили какую-то информацию, но вы не до конца понимаете мотивацию, причину и детали

С кем проводим UX-тесты

Очень редко ux-тестирование медиума ограничивается одной итерацией.

Для первых итераций тестирования медиума на соответствие работе вам не обязательно находить клиентов вашего продукта или людей, которые выполняли конкретную работу. Вы можете юиксить ваши медиумы на людях, которые могут представить себя выполняющими работу, для которой вы сделали свой медиум. Если вы делаете крайне специфичные B2B/В2С продукты, которые требуют специальных знаний и навыков—тогда вам нужны люди, которые действительно решали конкретную работу, на соответствие которой вы и тестируете медиум.

Первые две итерации с исправлениями макетов/прототипов у вас займут неделю-две, за это время успеете найти людей, которые выполняли работу, чтобы провести на финальных итерациях более точные тесты.

Для тестирования коммуникации и механик продаж: вам сразу нужны люди, которые или выполняли работу или сейчас готовы купить у вас её выполнение.

Кому делать UX-тесты—исследователю или продакту/дизайнеру?

Наша цель не провести один охренительный UX-тест, а сделать их 20 за год. Из этой парадигмы я рекомендую максимум UX-тестов гонять именно продакт-менеджерам/дизайнерам, потому что:

  1. Результат получается ЗНАЧИТЕЛЬНО быстрее, так как не приходится платить за:
    • transaction cost на поиск исследователя и слотов у исследователя, планирование исследования
    • потери коммуникации при постановке задачи
    • менеджмент исследования [если исследователь не берёт это на себя]
    • потери коммуникации при передаче информации из головы исследователя в голову продакта/дизайнера
  2. Да, качество исследования ниже, так как у среднего продакта ниже компетенции проводить исследования чем у среднего исследователя. НО! Количество найденных ошибок в единицу времени компенсирует снижение качества.
  3. Главное: продакт-менеджер/дизайнер будет СТРАДАТЬ во время UX-тестов, наблюдая как человек не может выполнить простейшее действие, которое продакту/дизайнеру казалось очевидным. И на этом страдании он с большей вероятностью пойдёт и сделает решение лучше.

Как проводить UX-тесты по Zoom'у

  1. Договариваетесь о созвоне с респондентом на котором будете тестировать ваш медиум
  2. Просите человека включить в настройках телефона возможность шарить зуму экран. Инструкция для айфона, инструкция для андроида [осторожно, в видео рушглиш]
  3. Проводите UX-тест как вы бы проводили его оффлайн
  4. Вы великолепны


Сколько делать UX-тестов?

Автор этой части главы—Паша Шишкин, кофаундер Карьерного Цеха и CPO Академии Перемен, ex-Head of Product в Avito и Product Manager в Chatfuel.

В любом вопросе про цифры для получения точного ответа нужно уточнить детали. Уточним и добавим эти детали в вопрос:

Сколько нужно сделать UX-тестов, чтобы найти проблемы, встречающиеся у более, чем 10-20% людей?

Если мы с этим определились, то дальше можно использовать метафору AB-теста для оценки UX-теста.

  • Интерфейс A: в нем нет проблем, все круто.
  • Интерфейс B: в нем есть проблема. У проблемы есть конверсия и пороговое значение конверсии, которое мы хотим обнаружить тестом — это 10 или 20%.

Дальше вбиваем эти данные в калькулятор и видим, сколько нужно сделать тестов:

Для порога в 10% это 7 тестов

Для порога в 20% это 3 теста

Если мы выберем такие числа, то с таким подходом мы найдем 80% проблем в интерфейсе (смотрите внизу ползунок «Statistical power»).

Таким образом появляется типичное число в 5 тестов, которые обычно проводятся.

После скольки повторений проблемы в UX-тесте нужно ее чинить?

Мой любимый ответ — 2.

Почему не 1 — потому, что часть проблем встречающихся у пользователей супер-уникальные и крайне мало людей наткнется на них же. Пример — это поисковые запросы в Яндексе. Есть частые запросы вида «погода москва», а есть уникальные вида «код ошибки 2758dkby23 микроконтроллера atm1234», которые задал только один человек. И даже если это 1 человек из всего 5, то эта UX-проблема вполне может быть уникальной для него/нее. Но при этом если проблема встретилась только у 1 человека и вам кажется, что она может быть не уникальной, то ее можно пофиксить.

Почему 2 — потому, что 2 — это уже гарантия, что проблема не уникальна и будет встречаться и у других пользователей. Как часто — сказать сложно, доверительные интервалы на таких цифрах крайне широки. Но просто для общего понимания можно сказать, что с достоверностью 80% проблема, встретившаяся у 2 из 5 людей, будет встречаться у 18%+ людей:

Итого: делайте 3-7 UX-тестов и правьте то, что встретилось у 2+ людей. Или если вы уверены, что проблема не разовая, то у 1+ людей.

Важно: 3-7 респондентов берём на каждую из работ/сегментов.

На каждой итерации нужны новые 3-7 респондентов. Старые люди не подойдут, так как они уже познакомились с вашим медиумом на прошлых юиксах

Если вы переделываете большой и сложный интерфейс, то на финальные итерации я бы взял больше респондентов: 5-7 на каждую из высокоуровневых работ, которые ваш сложный интерфейс решает.