Как оценить удобство интерфейса без A/B тестов?

Question

[Олег Степанов]

Есть веб-приложение. Проводить A/B тесты или полевые исследования (наблюдение, короткие юзабилити тесты) нет возможности. Можно запросить любые метрики по действиям на страницах. Как оценивать эргономичность интерфейса? Есть ли какие-то универсальные метрики для оценки эргономики?
Речь только о юзабилити, без коммерческих метрик типа DAU, Retention и подобных.

Comments

[sim3x]

Проводить A/B тесты или полевые исследования (наблюдение, короткие юзабилити тесты) нет возможности.

почему?

[Олег Степанов]

sim3x, например, некая система на предприятии, которой пользуется большое количество человек по шаблонным инструкциям. Даже плановая доработка интерфейса приведёт к замедлению работы на время, пока сотрудники новые инструкции не освоят.

Но, вообще, мой вопрос скорее гипотетический.

[sim3x]

Олег Степанов,
На предприятии все еще проще - вам не нужно гадать, что требуется вашему пользователю

Вы идете в отдел к своим пользователям и смотрите как они работают целый день
Молча
И через два дня вы можете составить список того что и как вам нужно поменять для облегчения их работы
Большую часть они вам сами расскажут, о части вы догадаетесь

Потом вы делаете прототип и показываете им, смотрите на метрики, которые важны начальству и повторяете цикл

[Олег Степанов]

sim3x, да, наблюдать за работой идеальный вариант. Но у меня вопрос немного другой. Представим, что я на удалёнке и поставить веб-камеру для наблюдения за рабочим местом сотрудника мне не разрешили :)

Простой пример. Есть экран для выполнения какого-то действия. В старой версии среднее время выполнения действия составляло 1 сек, в новой стало 2 сек. Ясно, что новая версия хуже.

Какие ещё методы оценки эффективности могут быть, похожие на этот?

[Никита Гарейшин]

sim3x, не забывайте, что есть закрытые предприятия, на которые вы не только не попадёте,
но и действительно, вас никто никогда не подпустит к реальным людям.
У меня прошлый проект был такой (проектирование параллельного синтеза для химиков) и у ряда коллег дизайнеров есть такая же проблема - просто нет доступа до людей. Никакого. Совсем.

У ТС ситуация лучше: система уже работает и есть аналитика!
Можно копаться с ней.

[Олег Степанов]

nikitanaz, да! Вопрос: что и как копать? А то может быть велосипед уже придумали, а я не в курсе.

[sim3x]

Олег Степанов,
Значит вашему заказчику пофиг на результат
Достаточно одной видеоконференции по скайпу с отделом без присутствия начальства для получения реального фидбека

А если у заказчика основная метрика не результат, а атомарная операция, то тут уже нужно пояснять что оне неправ

Метрики
- ошибки
- % автоматизации
- уменьшение ручного ввода
- длительность всего цикла и его частей, как прокси для замера уставания оператора

[sim3x]

nikitanaz,
Для работы с такими заказчиками требуется допуск того же уровня, что и у оператора
Для не гос предприятий есть NDA

Не надо выдумывать псевдопреграды
Если такие преграды выдумывает заказчик, то ему не нужен реальный результат и речь про удобства не идет

[Олег Степанов]

Метрики
- ошибки
- % автоматизации
- уменьшение ручного ввода
- длительность всего цикла и его частей, как прокси для замера уставания оператора

sim3x, понятно, спасибо за ответ.

Для работы с такими заказчиками требуется допуск того же уровня, что и у оператора

Совсем не обязательно.

[Никита Гарейшин]

sim3x, увы, это не всегда так.
Есть часть сфер, куда не допустят, а проектировать надо.
Это не проблема, а вызов продуктовой команде. И мы справились надо сказать.

У нас однажды, на старте другого проекта, заказчик взбаламутился, когда я в макеты вставил реальные данные для демонстрации. Такие проекты есть и надо уметь\учиться работать с ними.

[Олег Степанов]

nikitanaz, в моей практике был проект, когда проектирование велось на основе базы данных «похожей» на ту, что будет использоваться, потому что настоящая была засекречена.

[sim3x]

Олег Степанов,
Значит СБ зря получает хлеб

[sim3x]

nikitanaz,
Вызов - сложный интерфейс
Марзм - не вызов

[Олег Степанов]

sim3x, в целом вы правы, нужно получать доступ к нормальным способам тестирования, а не подстраиваться под странные ограничения. Спасибо за участие в дискуссии.

Answer 1

[Никита Гарейшин]

Насколько я понял, речь про закрытое производство и операторов.
Вывод первый: это профессиональная тула и речи про всякие воронки, конверсии не стоит вести.

Есть возможность найти исходные цели, с которыми проектировалось приложение?
Должны же были удостовериться, что сделали верно. По идеи, оттуда метрики и стоит взять.

Если этого совсем нет, звучит как дискавери фаза - надо заново понять несколько вещей:
1. Кто сказал что интерфейс неудобен? Кто сказал, что есть проблема? Почему её надо решать?
2. Затем - для кого решать? Хорошо, если этот оператор один, но обычно есть супервайзер, а над ним ещё и менеджер, который распределяет нагрузку. Это уже создание и работа с персонами.
3. Экраны - они часть процесса, нужно получить весь процесс. Мы делали целую AS-IS Workflow диаграмму, где искали узкие места и непонятные белые пятна. А это недели работы.
4. Условия работы - операторы могут работать в костюмах биологической защиты с баллонами кислорода и масками, а могут быть на заводе в пыли и температуре +40°С.

Блин, вопрос не средний на самом деле и ответ на него тянет вполне себе на статью\доклад на конференцию.
Дальше уже на аудит похоже будет - без доп контекста не взлететь.

А исходя из обычных метрик, всегда можно найти вторую сторону монеты:
Одно время лишь порождает кучу вопросов: критично ли оно? Завязано ли на количество ошибок? Лучше дольше, но без ошибок, чем быстрее и с бОльшей когнитивной нагрузкой? Насколько сложен процесс и сколько ему учат оператору? Какой изначально путь выбран в системе? Например, для оператора атомной станции время критично только при авариях, в остальном это мониторинг систем.

Я считаю без мат части и деталей нормально посоветовать что-то бОльшее сложно будет.

Answer 2

[Dimonchik]

главное - воронка продаж, ничего лучше не придумано

конкретно вами перечисленные гауно, но обычно коррелируют с воронкой с поправкой на страну

увы, кроме как относительного сравнения тоже ничего не придумано, так что можете не называть его АБ и использовать

Comments

[Олег Степанов]

Мне интересна оценка чистой эргономики (скорость выполнения действий), воронка продаж это про другое немного. Да, по любому будут какие-то сравнения. Мне интересно, есть ли какие-то общепринятые методики, как эти сравнения проводятся.

Answer 3

[Михаил Проскурин]

Когда нет возможности проводить A/B тесты, можно воспользоваться тем-же сервисом яндекс метрики, и на реальных пользователях протестить, посмотреть пути пользователей, увидеть тепловую карту, и на основе этих данных, примерно понять дыры в интерфейсе.

Еще один метод - собрать фокус-группу, сейчас это сделать не сложно и не дорого.

Comments

[Олег Степанов]

Допустим вы зашли в яндекс метрику, увидели тепловую карту и пути пользователей. Как именно вы поймёте где и какие дыры в интерфейсе имеются? Может есть какие-то описанные методики работы с этими данными, кроме варианта «ну, это надо на конкретном примере смотреть»?

[Михаил Проскурин]

Олег Степанов, для меня это набор данных, который определяет текущую модель поведения пользователя. На основе большого количества данных можно анализировать: Какие функции используются больше всего, какие функции не замечаются, какие действия заставляют пользователя задуматься (например, если есть большой пробел по времени, между использованием одной функции и второй - вероятно он долго искал ее), какие функции заставляют пользователя делать больше действий и какие можно упростить.

На основе этой статистике, также можно понять, каких функций предположительно не хватает пользователю, сценарий на основе почтового приложения:

У пользователя появилась потребность отписаться сразу от 100 подписок, на которые он подписался давно и ему надоел спам. По карте мы будем видеть, как пользователь заходит в разные письма и ищет кнопку "отписаться".

Через время мы замечаем, что эта потребность популярна среди пользователей, через месяц, на основе этой статистке, мы разрабатываем функцию, которая в полуавтоматическом режиме, помогает пользователю отписаться от большого числа подписок.

Это лишь часть примеров, как можно использовать статистику яндекса, для улучшение интерфейса.

Answer 4

[romansergeevich]

Читайте тут что у людей происходит, когда они А на Б меняют. Что-то подходящее для себя может и найдёте.