Измерение производительности

Некоторые юзабилити-тестирования ориентированы на получение чётких, количественных данных. В большинстве случаев эти данные представлены в форме метрик производительности, – сколько времени занимает выделение блока текста с помощью клавиатуры, мыши или трекбола? Как расположение клавиши Backspace влияет на частоту появления ошибок?

Часто в процессе проектирования продукта ориентируются на достижение подобных целей. Цели в таком случае могут формулироваться в виде условий, например: «пользователь должен иметь возможность установить соединение с Интернет без ошибок или по бесплатной линии» или «Основная задача должна выполняться за время не превышающее часа 75 процентами пользователей». Эти условия устанавливаются на базе изначального тестирования предыдущей версии или продуктов-конкурентов.

Должна быть поставлена цель, определены задачи, спроектированы тесты и непосредственно поставлен эксперимент. При измерениях производительности необходимо учитывать следующие моменты:

Критерий выполнения задачи должен быть количественно определён

Как оговаривалось ранее, задачи должны быть выражены в величинах, подлежащих определению, однако, для измерений производительности необходимо, чтобы они имели чёткий критерий в виде численно-выраженой величины. К примеру, вы можете задаться вопросом: «что более эффективно, кнопки на управляющей панели или «горячие клавиши». Ответ на сформулированный таким образом вопрос можно получить при помощи тестирования двух интерфейсов, одного, ориентированного на «горячие клавиши», и второго, основанного на панелях с кнопками. Производительность каждого пользователя определяется при помощи замеров времени, потраченного им на выполнение каждого задания и при помощи журнала допущенных пользователем ошибок.

Структура эксперимента действительно важна

Поскольку задачей тестов с измерением производительности является получение корректных количественных данных, структура эксперимента также должна быть корректной. Количественные тесты предполагают, что изменения в независимых переменных (таких, как наличие кнопок на панели или доступность «горячих клавиш») отразятся на зависимых (в нашем случае, на времени, затрачиваемом на запуск команд, использующих одну или две опции).
Это влияние называется экспериментальным эффектом. Тем не менее, если дополнительные факторы будут внесены в структуру теста, этот эффект может быть искажен и эксперимент окажется статистически недостоверен, поскольку будет испорчен влиянием неучтенных факторов. Эксперимент должен быть спроектирован с учётом возникновения возможных искажающих факторов, чтобы устранить всё, что может повлиять на экспериментальный эффект.

Данные не сообщают всех подробностей

По некоторым причинам тестирования, исключительно ориентированные на сбор данных, касающихся измерения производительности, не так распространены, как это могло бы показаться. Такие тестирования требуют очень скрупулезно спроектированных тестов и значительных ресурсов. У большинства компаний на такие тестирования нет ни времени, ни денег. Кроме этого, масштаб получаемых с их помощью результатов зачастую очень невелик. Действительно ли так важно, что использование «горячих клавиш» вместо панелей с кнопками даёт выигрыш в полсекунды? Возможно важно, если вы разрабатываете программное обеспечение для центров обработки заказов, и экономия половины секунды на каждом звонке, помноженная на тысячи операторов по всей стране, может сократить годовые расходы на миллионы долларов. Но для большинства офисных приложений экономия в половину секунды не представляет реальной важности.

Когда стоит использовать данную методику

Измерение производительности используется на начальных этапах для задания контрольных замеров для процесса проектирования. Также оно используется на протяжении всего проектирования для измерения того, насколько далеко удалось продвинуться относительно этих контрольных замеров.

наверх     к оглавлению

Карточная сортировка

Карточная сортировка — это классификационный метод, при котором пользователи сортируют различные элементы разрабатываемого ПП по нескольким категориям.

Для проведения карточной сортировки создается список параметров, которые предполагается подвергнуть классификации, после чего каждый из указанных параметров выписывается на отдельной карточке. Карточки предъявляются пользователям, которых инструктируют сгруппировать наиболее логичным, по их мнению, образом.

Полученную в результате карточной сортировки информацию используют для организации пользовательского интерфейса.

наверх     к оглавлению

<< предыдущая глава следующая глава >>

Дизайн, информационное наполнение - Александр Ширышев

Метод фокусных групп

Метод фокусных групп заключается в опросе специально отобранной группы пользователей. В исследование, которое обычно продолжается около 2 часов, вовлекается от 6 до 9 пользователей. Основное достоинство фокусных групп состоит в том, что они позволяют выявлять спонтанные реакции и идеи и оценивать отношение к этим идеям группы в целом.

Как правило, участники группы воспринимают происходящее как относительно свободный неструктурированный процесс, но ведущий группы должен иметь предварительный сценарий работы, вытекающий из целей исследования, и следить, чтобы групповая дискуссия не выходила из русла обсуждаемой проблемы. Кроме того, необходимо добиваться равного участия в дискуссии всех членов группы. Достаточно часто бывает, что в группе выделяется лидер, доминирующий над остальными участниками. Такие ситуации мешают свободному выражению мыслей и идей остальных членов группы и также нуждаются в коррекции.

Результаты работы фокусной группы заносятся в специальный протокол для дальнейшей обработки. Сбор детальной информации при этом методе затруднен из-за относительной стихийности группового процесса, поэтому рекомендуется проводить несколько фокусных групп, состоящих из репрезентативных пользователей.

Метод фокусных групп подходит для того, чтобы быстро поучить диапазон мнений и оценок пользователей по поводу тех или иных вещей. Он очень полезен для определения, в самом общем виде, потребностей и предпочтений вашей аудитории. Он подходит для проверки того, насколько актуальна и востребована программа и насколько его «ценное предложение» привлекательно для пользователей. Кроме того, это хороший способ для подбора названий функции и опций, а также выяснения, что люди думают о ваших конкурентах.

Однако метод фокусных групп не позволяет определить, как работает ваша программа и самое главное как ее можно улучшить. С помощью этого метода вы можете узнавать те вещи, которые нужно знать на ранних этапах, еще до начала непосредственной разработки. Конечно, этот метод можно применять и позже, например, для уточнения деталей или при пользовательском тестировании. Но метод фокусных групп не может вам показать, насколько людям удобно и легко пользоваться вашей программой, поэтому нельзя путать этот метод с другим – юзабилити-тестирование.

наверх     к оглавлению

Методики тестирования

В настоящее время меньшее внимание уделяется результатам, основанным на фактических данных, акцент делается на интерпретации этих результатов; можно видеть что в сравнении с сухими цифрами большую важность приобретают другие моменты, наблюдаемые в процессе тестирования. В частности, очень многие тестирования проводятся на базе записи «мыслей вслух» в сочетании с какой-либо разновидностью измерения производительности. Измерения производительности до сих пор обладают определенной полезностью для исследований, однако информация, получаемая при записи «мыслей вслух», способна гораздо быстрее отражаться на изменениях в продукте, поскольку она не нуждается в предварительном обобщении и статистическом анализе. Метод фокусных групп Проверка посредством наблюдения за пользователем Мыслим вслух Проверка качества восприятия Измерение производительности Карточная сортировка к оглавлению Мыслим вслух Запись или протоколирование «мыслей вслух» – очень распространённая методика, применяемая при юзабилити-тестированиях. В течение теста, пока участник выполняет то или иное задание в рамках своего сценария, экспериментатор просит участника вербализовать его мысли, чувства и мнения, возникающие в процессе взаимодействия с продуктом. Комментарии записываются на диктофон или камеру, а затем анализируются. Как производится протоколирование В первую очередь необходимо предоставить участнику сам тестируемый продукт (или прототип его интерфейса) и сценарий – список заданий, которые ему необходимо выполнить. Попросите участников в процессе выполнения заданий подробно сообщать всё, что возникает у них в голове, пока они работают с интерфейсом продукта. «Мысли вслух» позволяют вам понять, как пользователь подходит к интерфейсу и какими соображениями он руководствуется, используя этот интерфейс. Если последовательность шагов, которую пользователю потребуется пройти для выполнения задания, оказывается отличной от той, что он себе представлял, возможно, интерфейс излишне вычурный. Основную выгоду из использования данной методики вы извлекаете, получая лучшее понимание ментальной модели пользователя и его взаимодействия с продуктом (понимая, что в действительности происходит у него в голове), однако, вы можете обнаружить ещё некоторые полезные моменты. К примеру, терминология, которой участник пользуется для объяснения идеи или функции, может быть внедрена в дизайн продукта и использована при проектировании, или, по меньшей мере, при написании документации. Когда стоит использовать данную методику Используйте этот метод на любой стадии разработки. «Мысли вслух» – недорогой путь получения хорошей качественной ответной реакции в течение тестирования. наверх     к оглавлению Проверка качества восприятия Тест позволяет определить, насколько легко интерфейсу обучиться. Поскольку существует разница между понятиями видеть и смотреть, а запоминается только то, что увидено, необходимо обладать уверенностью в том, что пользователь увидит если не всё, то уж хотя бы всё необходимое. А значит – запомнит, благодаря чему в будущем ему не придется обшаривать меню в поисках «чего-то такого, что, я точно знаю, где-то здесь есть». Сама по себе методика проста. Пользователю даётся задание, связанное с каким-либо отдельным диалоговым окном. Пользователь его выполняет. Через несколько минут пользователя просят нарисовать (пускай даже грубо и некрасиво) только что виденное им окно. После чего рисунок сравнивается с оригиналом. Разумеется, пользователь запоминает только то, что ему кажется актуальным в процессе работы с окном (плюс еще что-нибудь за того, что ему показалось интересным, да и то не всегда). Это один из тех редких случаев, когда срабатывает ограничение на объем кратковременной памяти, так что количество запомнившихся элементов управления не может быть выше порога. Пример проверки качества восприятия. Пользователь, которому нужно сменить шрифт абзаца на Arial из всего диалогового окна выбора шрифта в MS Word запоминает только часть элементов управления. Разумеется, он помнит, что помимо них были и другие, но точно вспомнить остальные элементы он, как правило, не может. наверх к оглавлению Проверка посредством наблюдения за пользователем Один из самых простых видов тестирования. Пользователю дается задание, он его выполняет, его действия фиксируются для дальнейшего анализа на камеру, либо какой-нибудь программой записи состояния экрана (например, Lotus ScreenCam). Метод исключительно полезен для выявления неоднозначности элементов интерфейса. Поскольку каждая неоднозначность приводит к пользовательской ошибке, а каждая такая ошибка фиксируется, обнаружить их при просмотре записанного материала очень легко. В последствии можно посчитать количество ошибок и сделать соответствующие выводы. Кроме того, если замерять время выполнения задания (секундомером), можно оценить производительность работы пользователей. наверх к оглавлению