Адаптация опросника System Usability Scale (SUS) на русскоязычной выборке

Авторы

  • Екатерина Косова Национальный исследовательский университет «Высшая школа экономики», Москва, Россия https://orcid.org/0009-0002-5642-7380
  • Надежда Глебко Национальный исследовательский университет «Высшая школа экономики», Москва, Россия https://orcid.org/0000-0003-0592-677X
  • Елена Горбунова Национальный исследовательский университет «Высшая школа экономики», Москва, Россия https://orcid.org/0000-0003-3646-2605

DOI:

https://doi.org/10.54359/ps.v17i95.1593

Ключевые слова:

System Usability Scale, перевод опросника, валидизация опросника, адаптация опросника, юзабилити, человек-цифровое взаимодействие

Аннотация

В работе описана методология и приведены результаты адаптации популярного юзабилити-опросника System Usability Scale (Шкала удобства использования системы, SUS) для русскоязычных пользователей. Адаптация проводилась на выборке из 657 интернет-пользователей, носителей русского языка, на базе веб-интерфейса подписочного сервиса. Поскольку один из наиболее дискуссионных вопросов в контексте использования SUS – факторная структура этого опросника, был проведен трехчастный эксплораторный факторный анализ (последовательно по методу минимальных остатков, по методу максимального правдоподобия, анализ главных компонент). Все использованные методы однозначно подтвердили двухфакторную структуру опросника. В рамках конфирматорного факторного анализа дополнительно сравнивались три наиболее частотные в литературе факторные модели SUS: изначальная однофакторная, двухфакторная семантическая и двухфакторная тональная. Согласно результатам, последняя отображает факторную нагрузку более адекватно данным. В ней выделенные факторы различаются по тональности: нечетные вопросы имеют позитивную тональность, а четные – негативную. Тест надежности Кронбаха также показал высокую согласованность по полученным субшкалам опросника. Таким образом, адаптированная версия SUS представляет собой валидную и надежную методику измерения удобства использования (юзабилити) системы для русскоязычной аудитории и может применяться как фундаментальными исследователями когнитивных процессов и того, как они проявляются при взаимодействии с интерфейсами различных типов, так и практиками, проектирующими удобные пользовательские интерфейсы.

Скачивания

Данные скачивания пока недоступны.

Авторы

Екатерина Косова, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия

Сотрудник Научно-учебной лаборатории когнитивной психологии пользователя цифровых интерфейсов, Национальный исследовательский университет «Высшая Школа Экономики» (НИУ ВШЭ), Кривоколенный пер., д. 3, 101000 Москва, Российская Федерация.

Надежда Глебко, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия

Сотрудник Научно-учебной лаборатории когнитивной психологии пользователя цифровых интерфейсов, Национальный исследовательский университет «Высшая Школа Экономики» (НИУ ВШЭ), Кривоколенный пер., д. 3, 101000 Москва, Российская Федерация.

Елена Горбунова, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия

Доцент факультета социальных наук департамента психологии, заведующая Научно-учебной лабораторией когнитивной психологии пользователя цифровых интерфейсов, Национальный исследовательский университет «Высшая Школа Экономики» (НИУ ВШЭ), Кривоколенный пер., д. 3, 101000 Москва, Российская Федерация.

Литература

Assila A., Ezzedine H., de Oliveira K.M. Standardized usability questionnaires: Features and quality focus. Electronic Journal of Computer Science and Information Technology, 2016, 6(1), 15–31.

Bangor A., Kortum P.T., Miller J.T. An empirical evaluation of the system usability scale. Intl. Jour-nal of Human–Computer Interaction, 2008, 24(6), 574–594. doi:10.1080/10447310802205776

Barnette J.J. Effects of stem and Likert response option reversals on survey internal consistency: If you feel the need, there is a better alternative to using those negatively worded stems. Educational and psychological measurement, 2000, 60(3), 361–370. doi:10.1177/00131640021970592

Bartlett M.S. Properties of sufficiency and statistical tests. Proceedings of the Royal Society of Lon-don. Series A-Mathematical and Physical Sciences, 1937, 160(901), 268–282. doi:10.1098/rspa.1937.0109

Bastien J.M.C. Usability testing: a review of some methodological and technical aspects of the meth-od. International journal of medical informatics, 2010, 79(4), 18–23. doi:10.1016/j.ijmedinf.2008.12.004

Beaton D.E., Bombardier C., Guillemin F., Ferraz M.B. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine, 2000, 25(24), 3186–3191. doi:10.1097/00007632-200012150-00014

Bevan N., Macleod M. Usability measurement in context. Behaviour & information technology, 1994, 13(1–2), 132–145. doi:10.1080/01449299408914592

Blažica B., Lewis J.R. A slovene translation of the system usability scale: The SUS-SI. International Journal of Human-Computer Interaction, 2015, 31(2), 112–117. doi:10.1080/10447318.2014.986634

Bleijenbergh I., Rouwette E.A.J.A., Van der Wal M.M., Korzilius H. Quality Criteria for Action Re-search: The importance of Usability of Research. Academy of Management Proceedings, 2018, 2018(1), 16684. doi:10.5465/AMBPP.2018.16684abstract

Bolarinwa O.A. Principles and methods of validity and reliability testing of questionnaires used in social and health science researches. Nigerian Postgraduate Medical Journal, 2015, 22(4), 195–201. doi:10.4103/1117-1936.173959

Borsci S., Federici S., Bacci S., Gnaldi M. Assessing user satisfaction in the era of user experience: Comparison of the SUS, UMUX, and UMUX-LITE as a function of product experience. Internation-al journal of human-computer interaction, 2015, 31(8), 484–495. doi:10.1080/10447318.2015.1064648

Botella F., Alarcon E., Peñalver A. How to classify to experts in usability evaluation. Proceedings of the XV International Conference on Human Computer Interaction, 2014, No. 25, 1–4. doi:10.1145/2662253.2662278

Brooke J. System usability scale (SUS): a quick-and-dirty method of system evaluation user infor-mation. Reading, UK: Digital equipment co ltd, 1986. No. 43, 1–7.

Brooke J. SUS: a “quick and dirty” usability. Usability evaluation in industry, 1996, 189(3), 189–194.

Brooke J. SUS: a retrospective. Journal of usability studies, 2013, 8(2), 29–40.

Cattell R.B. The scree test for the number of factors. Multivariate behavioral research, 1966, 1(2), 245–276. doi:10.1207/s15327906mbr0102_10

Cooke L. Assessing concurrent think-aloud protocol as a usability test method: A technical communi-cation approach. IEEE Transactions on Professional Communication, 2010, 53(3), 202–215. doi:10.1109/TPC.2010.2052859

Cronbach L.J. Coefficient alpha and the internal structure of tests. Psychometrika, 1951, 16(3), 297–334. doi:10.1007/BF02310555

Demi̇rkol D., Şeneler Ç.A Turkish translation of the system usability scale: The SUS-TR. Uşak Ün-iversitesi Sosyal Bilimler Dergisi, 2018, 11(3), 237–253.

Epstein J., Santo R.M., Guillemin F. A review of guidelines for cross-cultural adaptation of question-naires could not bring out a consensus. Journal of clinical epidemiology, 2015, 68(4), 435–441. doi:10.1016/j.jclinepi.2014.11.021

Finstad K. The usability metric for user experience. Interacting with computers, 2010, 22(5), 323–327. doi:10.1016/j.intcom.2010.04.004

Frøkjær E., Hertzum M., Hornbæk K. Measuring usability: are effectiveness, efficiency, and satisfac-tion really correlated? Proceedings of the SIGCHI conference on Human Factors in Computing Sys-tems, 2000, 1–6 April, CHI Letters, 2(1), 345–352. doi:10.1145/332040.332455

Gao M., Kortum P., Oswald F.L. Multi-language toolkit for the system usability scale. International Journal of Human–Computer Interaction, 2020, 36(20), 1883–1901. doi:10.1080/10447318.2020.1801173

Glebko N.R., Gorbunova E.S. The “baby duck syndrome”: how interaction with the interface affects the occurrence of cognitive biases. Psychological Studies, 2022, 5(85), 4. doi:10.54359/ps.v15i85.1274 (in Russian)

Grishanova T.V. The role and significance of computer technology in the life of modern man. Bulletin of the educational consortium Central Russian University, 2017, No. 1, 62–64. (in Russian)

Hornbæk K. Current practice in measuring usability: Challenges to usability studies and research. In-ternational journal of human-computer studies, 2006, 64(2), 79–102. doi:10.1016/j.ijhcs.2005.06.002

Horst H.A. New media technologies in everyday life. In: H.A. Horst, D. Miller (Eds.), Digital an-thropology. London: Routledge, 2020. pp. 61–79.

Jordan P.W. An introduction to usability. London: CRC Press, 2020. doi:10.1201/9781003062769

Kaiser H.F. The application of electronic computers to factor analysis. Educational and psychological measurement, 1960, 20(1), 141–151. doi:10.1177/001316446002000116

Kaiser H.F., Rice J. Little jiffy, mark IV. Educational and psychological measurement, 1974, 34(1), 111–117. doi:10.1177/001316447403400115

Kaya A., Ozturk R., Gumussoy C.A. Usability measurement of mobile applications with system usa-bility scale (SUS). Industrial Engineering in the Big Data Era: Selected Papers from the Global Joint Conference on Industrial Engineering and Its Application Areas, Springer International Publishing, 2018, 21–22 June, 2019, 389–400. doi:10.1007/978-3-030-03317-0_32

Kirakowski J. The use of questionnaire methods for usability assessment. In: T. Boesser (Ed.), Measures and Methods for Quality of Use. Berlin: Springer Verlag, 1994.

Kompaniets V.S., Lyz A.E. Ergodesign of the user interface: usability research methods. Engineering Bulletin of the Don, 2017, 46(3), 56. (in Russian)

Kortum P., Sorber M. Measuring the usability of mobile applications for phones and tablets. Interna-tional Journal of Human-Computer Interaction, 2015, 31(8), 518–529. doi:10.1080/10447318.2015.1064658

Kosova E.M., Gorbunova E.S. Exploring web-interface clues inducing e-trust: literature review. Psy-chological Studies, 2023, 16(87), 7. doi:10.54359/ps.v16i87.1353 (in Russian)

Kostin A.N., Satin D.K., Golikov Yu.Ya. Domestic engineering psychology and usability: real and imaginary priorities. Psychological journal, 2013, 34(4), 109–112. (in Russian)

Kujala S., Kauppinen M., Kojo T., Lehtola L. The role of user involvement in requirements quality and project success. 13th IEEE International Conference on Requirements Engineering (RE'05), 2005, 75–84. doi:10.1109/RE.2005.72

Laykova A.A. Website usability: principles and methods of assessment. Current problems of aviation and astronautics, 2016, 2(12), 745–747. (in Russian)

Lewis J.R. Usability: lessons learned… and yet to be learned. International Journal of Human-Computer Interaction, 2014, 30(9), 663–684. doi:10.1080/10447318.2014.930311

Lewis J.R., Sauro J. The factor structure of the system usability scale. Human Centered Design: First International Conference (HCD 2009), Springer Berlin Heidelberg, 2009, 94–103. doi:10.1007/978-3-642-02806-9_12

Lewis J.R., Sauro J. Revisiting the factor structure of the System Usability Scale. Journal of Usability Studies, 2017, 12(4), 183–192.

Lewis J.R., Utesch B.S., Maher D.E. Measuring perceived usability: The SUS, UMUX-LITE, and AltUsability. International Journal of Human-Computer Interaction, 2015, 31(8), 496–505. doi:10.1080/10447318.2015.1064654

Lourenço D.F., Carmona E.V., Lopes M.H.B.M. Translation and cross-cultural adaptation of the Sys-tem Usability Scale to Brazilian Portuguese. Aquichan, 2022, 22(2). doi:10.5294/aqui.2022.22.2.8

Marzuki M.F.M., Yaacob N.A., Yaacob N.M. Translation, cross-cultural adaptation, and validation of the Malay version of the system usability scale questionnaire for the assessment of mobile apps. JMIR human factors, 2018, 5(2), e10308. doi:10.2196/10308

Mitina O.V. Development and adaptation of psychological questionnaires. Moscow: Smysl, 2022. (in Russian)

Nielsen J. Usability metrics: Tracking interface improvements. IEEE software, 1996, 13(6), 1–2. doi:10.1109/MS.1996.8740869

Nielsen J. Designing web usability: The practice of simplicity. Indianapolis (Indiana, USA): New rid-ers publishing, 1999. doi:10.1007/s10209-022-00869-9

Orfanou K., Tselios N., Katsanos C. Perceived usability evaluation of learning management systems: Empirical evaluation of the System Usability Scale. The International Review of Research in Open and Distributed Learning, 2015, 16(2), 227–246. doi:10.19173/irrodl.v16i2.1955

Sauro J., Lewis J.R. When designing usability questionnaires, does it hurt to be positive? Proceedings of the SIGCHI conference on human factors in computing systems, 2011, 2215–2224. doi:10.1145/1978942.1979266

Sharfina Z., Santoso H.B. An Indonesian adaptation of the system usability scale (SUS). 2016 Inter-national conference on advanced computer science and information systems (ICACSIS), IEEE, 2016, 145–148. doi:10.1109/ICACSIS.2016.7872776

Shield L., Kukulska-Hulme A. Are language learning websites special? Towards a research agenda for discipline-specific usability. Journal of Educational Multimedia and Hypermedia, 2006, 15(3), 349–369.

Число просмотров

Просмотров: 195

Опубликован

24.08.2024

Как цитировать

Косова, Е., Глебко, Н., & Горбунова, Е. (2024). Адаптация опросника System Usability Scale (SUS) на русскоязычной выборке. Психологические исследования, 17(95), 2. https://doi.org/10.54359/ps.v17i95.1593

Выпуск

Раздел

Новые методики

Наиболее читаемые статьи этого автора (авторов)