Юлиана Шевчук написала о сценарии модерируемого пользовательского тестирования.

— Сценарий — не только легенда и задания. Важны и другие составляющие: вводная, инструктаж, завершение;
— Вводная включает приветствие, цель встречи, установление контакта (small talk) и задаёт настрой. Если с респондентом договаривался не сам исследователь, а рекрутёр, вводной надо уделить больше внимания;
— В онлайне для установления контакта подготовьте общие вопросы, на которые человек легко ответит и которые помогут больше узнать о его контексте;
— Не скатывайтесь в монолог, сделайте паузу после приветствия, чтобы можно было ответить, беседуйте;
— Разбейте инструктаж на блоки, чтобы проще было усвоить. Открыв прототип, расскажите, что это и как с ним работать;
— Также расскажите: что будет происходить, об озвучивании мыслей вслух, что любые реакции приветствуются, чего ожидать от исследователя, что на часть вопросов вы ответите только в конце;
— Подготовьте краткие формулировки;
— Легенда описывает ситуацию, в которой оказался пользователь. Задания — что ему надо сделать в сервисе. Это должна быть жизненная (часто встречающаяся в жизни целевой аудитории) и логично развивающаяся история (чтобы не менять контекст);
— Иногда одного задания не хватает для проверки всех гипотез, это нормально;
— В заданиях придерживайтесь контекста, чтобы респондент не запутался и не стал игнорировать непонятные моменты, о которые споткнулся бы в реальности;
— Не формулируйте задания как инструкции, чтобы не исказить результаты исследования. «Перейдите в документы и проверьте статус оплаты по счету» → «Проверьте, оплатил ли клиент заказ»;
— В завершение попросите поделиться впечатлениями, пожеланиями по продукту, поблагодарите и подчеркните ценность тестирования.

#user_testing

Сергей Тимофеев и Георгий Струнин написали об ошибках при проведении немодерируемого тестирования.

— В таком исследовании не нужен модератор, но важно правильно сформулировать цель, выбрать аудиторию, подобрать задание и метод тестирования;
— Оно подойдёт для количественной проверки, получения ответа на конкретный вопрос вроде «Найдут ли пользователи точку входа в сценарий»;
— Не подойдёт для проверки большого сценария (больше 6 экранов), понимания пользовательских потребностей, мотивации и контекста, ответа на вопрос «Почему?»;
— Главное правило для выбора аудитории — у респондентов должен быть релевантный опыт. Иногда важно учитывать демографию;
— Для количественного исследования надо 95–100 человек;
— Ошибка — проверять минорные гипотезы или то, что можно было не проверять (когда известны best practices);
— Выбирайте такой метод исследования, результаты которого можно подсчитать автоматически: тест сценария, первого клика, предпочтения, пяти секунд, а также карточкая сортировка;
— Ошибки при формулировании вопроса: в нём содержится подсказка, строится предположение про будущее, которое нельзя проверить тестом, используются профессиональные термины;
— В тесте предпочтения сравниваемые макеты не должны отличаться несколькими элементами, иначе не поймёте, что повлияло на выбор респондентов;
— В макетах: размещайте реалистичные данные, если задаёте вопрос о конкретном элементе, выделите его;
— Проверяйте тест до запуска, а также статистическую значимость результатов (есть калькуляторы).

#unmoderated #user_testing

Анастасия Винокурова написала об исследованиях с помощью краудсорсинговых платформ вроде Oprosso, Толоки, SurveyMonkey, Fastuna.

— Плюсы: дёшево, быстро, дизайнер может провести исследование сам;
— Минусы: не подходит узкоспециализированным продуктам, респонденты диджитальны (пользуются цифровыми продуктами);
— На таких платформах заказчик формирует задания, тесты, и есть исполнители, которые выполняют их за деньги;
— Задания могут быть любыми: от скачивания приложения до похода в магазин;
— Не везде есть инструменты для анализа результатов, иногда ответы приходится сортировать и оценивать вручную;
— Есть читеры, которые машинально отвечают на вопросы, чтобы получить оплату. Их ответы можно отсеивать с помощью вопросов-ловушек;
— Например, показать 2 варианта дизайна: нормальный и откровенно плохой и попросить выбрать лучший (и блокировать тех, кто выберет плохой) или задать завершающий вопрос «На что вы только что нажали» или «Какого цвета была кнопка». Кто нажимает бездумно, правильно не ответит;
— Проводите пробные запуски на 5–10 человек, прежде чем привлекать 100–200 респондентов, чтобы выявить ошибки, неоднозначно сформулированные вопросы;
— Эти платформы можно использовать для first click test, side-by-side (сравнение и выбор из 2 и более вариантов), five second test;
— Тест на понятность позволяет узнать, как люди воспринимают дизайн, например, расшифровывают иконки, микротекст. Достаточно показать макет и спросить «Как вы думаете, что произойдёт, когда вы нажмёте на…».

#user_testing #unmoderated

Катя Григорьева написала о влиянии визуальной привлекательности на удобство использования.

— Позитивная эмоциональная реакция на привлекательный интерфейс делает людей терпимее к небольшим неудобствам при взаимодействии (но только небольшим);
— Они могут оценивать удобство интерфейса выше, чем на самом деле. Это мешает увидеть часть проблем на пользовательском тестировании;
— Исследование Центра дизайна Hitachi в 1995 году показало сильное влияние эстетики на людей, даже если они оценивают функциональность системы;
— Можно немного снизить разрыв между опытом респондентов и тем, какие они дают оценки;
— Респонденты не должны давать свои оценки под давлением. Убеждайте, что это полезно. Давайте возможность комментировать, задавая открытые вопросы, но не давите, если им нечего сказать. Молчание — важная составляющая в общении исследователя и респондента;
— Они не должны хотеть порадовать вас. Подчёркивайте, что не вы разрабатываете этот дизайн и негативные комментарии вас не расстроят. И старайтесь эмоционально не реагировать;
— Направляйте респондентов за пределы визуального слоя. Используйте расплывчатые формулировки вроде «Есть ли у вас комментарии о том, насколько легко или сложно было найти эту информацию?»;
— Можно вернуть респондента на шаг, показавшийся особенно сложным, и попросить описать, что здесь произошло.

#user_testing

Меган Чан написала о тестировании визуального дизайна.

— Визуал влияет на первичное впечатление от продукта, привлекает внимание, транслирует идентичность бренда, вызывает эмоции;
— Отношенческое (attitudinal) тестирование: покажите дизайн пользователям, а затем узнайте их отношение к увиденному;
— Сделать это можно в рамках 5-секундного теста, тестирования предпочтений, теста первого клика или юзабилити-тестирования;
— Открытое объяснение предпочтений: задайте открытый вопрос о дизайне (почему нравится или не нравится), дополнительно попросите описать увиденное, выбрать более привлекательный вариант;
— Подходит, если вы ничего не знаете об ожиданиях аудитории. Позволяет отсеять субъективные предпочтения (не нравится фиолетовый). Может быть неэффективен в немодерируемых исследованиях (понапишут фигни);
— Открытый выбор слов: попросите перечислить прилагательные, описывающие дизайн. Обработка ответов может быть непростой;
— Закрытый выбор слов: попросите выбрать прилагательные из списка. Проще обработать, но нельзя выявить новые точки зрения. Хорошо в модерируемых исследованиях, так как можно узнать причины выбора того или иного слова;
— Числовая шкала: выберите 3−5 характеристик бренда и попросите оценить, насколько хорошо дизайн их отражает;
— Поведенческое (behavioral) тестирование позволяет оценить визуальный дизайн как часть целостного опыта, который зависит и от контента, и от нюансов взаимодействия. К ним можно отнести айтрекинг и а/б-тестирование.

In English. #visual #user_testing