Что дают числа для измерения в психологии? Обзор критики в адрес нетестируемых допущений психометрики и возможные альтернативы «измерительной» психологии

Юлия Тюменева

doi:10.54359/ps.v15i84.1198

Авторы

Юлия Тюменева Национальный исследовательский университет «Высшая школа экономики», Москва, Россия

DOI:

https://doi.org/10.54359/ps.v15i84.1198

Ключевые слова:

психометрика, измерение, модель Раша, ошибка измерения, современная теория тестирования

Аннотация

На фоне увеличивающегося числа психометрических исследований в русскоязычной литературе практически никакого критического отношения эти работы не встречают. В то же время, в последние годы критика в адрес психометрики растет: обсуждают не только неправомерное использование количественных измерений в психологии, но часто дезориентирующую роль чисел в вопросе упорядочивания индивидов в континууме черты или способности. Цель этой работы – обеспечить русскоязычную аудиторию представлением о некоторых острых вопросах, поднимаемых в отношении психометрики, которые иначе могут казаться либо уже решенными, либо несущественными. Обзор сфокусирован на критическом анализе нескольких допущений, на которых строится психометрика: психологические признаки (черты и способности) количественны и измеримы; современная теория тестирования открывает доступ к интервальным измерениям; если данные соответствуют модели, то тест может точно упорядочить индивидов в континууме латентной черты (способности); агрегированные данные пригодны для выводов об индивиде. Предлагаются примеры альтернативных практик, свободных от непроверенных допущений и решающих научные (исследовательские), а не инструментальные (измерительные) задачи.

Скачивания

Данные скачивания пока недоступны.

Автор

Юлия Тюменева, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия

Кандидат психологических наук, ст. научный сотрудник Института образования Национального исследовательского университета «Высшая школа экономики», Потаповский пер., д. 16, стр. 10, 101000 Москва, Россия.

Литература

Alekseev V.E. Diskretnaya matematika: Uchebnoe posobie. N.Novgorod: Nizhegorodskij gosuniver-sitet, 2017. (in Russian)

Arhonditsis G.B., Stow C.A., Steinberg L.J., Kenney M.A., Lathrop R.C., McBride S.J., Reckhow K.H. Exploring ecological patterns with structural equation modeling and Bayesian analysis. Ecologi-cal Modelling, 2006, 192(3-4), 385-409. DOI:10.1016/j.ecolmodel.2005.07.028.

Arnulf J.K., Dysvik A., Larsen K.R. Measuring semantic components in training and motivation: a methodological introduction to the semantic theory of survey response. Human Resource Develop-ment Quarterly, 2019, 30(1), 17-38. DOI:10.1002/hrdq.21324.

Arnulf J.K., Nimon K., Larsen K.R., Hovland C.V., Arnesen M. The priest, the sex worker, and the CEO: measuring motivation by job type. Frontiers in Psychology, 2020, 11, 1321. DOI:10.3389/fpsyg.2020.01321.

Barrett P. Beyond psychometrics Measurement, non-quantitative structure, and applied numerics. Journal of Managerial Psychology, 2003, 18(3), 421–439. DOI:10.1108/02683940310484026.

Birnbaum M.H. New paradoxes of risky decision making. Psychological Review, 2008, 115, 463–501. DOI:10.1037/0033-295X.115.2.463.

Borsboom D., Mellenbergh G.J., Van Heerden J. The theoretical status of latent variables. Psycholog-ical Review, 2003, 110(2), 203. DOI:10.1037/0033-295X.110.2.203.

Borsboom D., Mellenbergh G., Heerden J. The Concept of Validity. Psychological Review, 2004, 111, 1061-71. DOI:10.1037/0033-295X.111.4.1061.

Borsboom D., Cramer A.O., Kievit R.A., Scholten A.Z., Franić S. The end of construct validity. In: The Concept of Validity: Revisions, New Directions and Applications. IAP Information Age Publish-ing, 2009. pp. 135-170.

Cavagnaro D.R., Davis-Stober C.P. Transitive in our preferences, but transitive in different ways: an analysis of choice variability. Decision, 1, 102–122. DOI:10.1037/dec0000011.

Cervone D. Personality architecture: Within-person structures and processes. Annual Review of Psy-chology, 2005, 56, 423–452. DOI:10.1146/annurev.psych.56.091103.070133.

Ferguson, A., Myers, C.S., Bartlett, R.J., Banister, H., Bartlett, F.C., Brown, W., Campbell, N.R., Craik, K.J.W., Drever, J., Guild, J., Houstoun, R.A., Irwin, J.O., Kaye, G.W.C., Philpott, S.J.F., Richardson, L.F., Shaxby, J.H., Smith, T., Thouless, R.H., & Tucker, W.S. Quantitative estimates of sensory events: Final report of the committee appointed to consider and report upon the possibility of quantitative estimates of sensory events. British Association for the Advancement of Science, 1940, 1, 331–349.

Feldman L.A. Variations in the circumplex structure of mood. Personality and Social Psychology Bulletin, 1995, 21(8), 806–817. DOI:10.1177/0146167295218003.

Forssell D., Powers W. Perceptual Control Theory. Living Control Systems Pub, 2009, 72, 74–75.

Franić S., Borsboom D., Dolan C.V., Boomsma D.I. The big five personality traits: psychological entities or statistical constructs? Behavior Genetics, 2014, 44(6), 591–604. DOI:10.1007/s10519-013-9625-7.

Franić S., Dolan C.V., Borsboom D., Boomsma D.I. Structural equation modeling in genetics. In: R.H. Hoyle (Ed.), Handbook of structural equation modelling. The Guilford Press, 2012. pp.617–635.

Grice J.W. Observation oriented modeling: Analysis of cause in the behavioral sciences. Academic Press, 2011.

Grice J.W., Barrett P.T., Cota L., Taylor Z., Felix C., Garner S., Medellin E., Vest A. Four bad habits of modern psychologists. Behavioral Sciences, 2017, 7(3), Article 53. DOI:10.3390/bs7030053.

Grice J.W., Cota L.D., Barrett P.T., Wuensch K.L., Poteat M. A simple and transparent alternative to logistic regression. Advances in Social Sciences Research Journal, 2016, 3(7). DOI:10.1177/2158244015604192.

Hambleton R.K., Swaminathan H., Rogers H.J. Fundamentals of item response theory. Sage, 1991. Vol. 2.

Harzheim E. Ordered Sets. Springer Science Business Media, 2005. pp. 71–83.

Hölder O. Die Axiome der Quantitaai und die Lehre vom mass. Ber. Verh. Sächs. Akad. Wiss. Leip-zig Math. Phys, 1901, Kl. 53, 1–46.

Johnson T. Controlling the effect of stimulus context change on attitude statements using Michell's binary tree procedure. Australian Journal of Psychology, 2001, 53(1), 23-28. DOI:10.1080/00049530108255118.

Krantz, D. H., Luce, R. D., Suppes, P., & Tversky, A. Foundations of measurement: Additive and polynomial representations (Vol. 1). New York, NY: Academic Press. 1971.

Kyngdon A. Psychological measurement needs units, ratios, and real quantities: A commentary on Humphry. Measurement, 2011, 9(1), 55–58. DOI:10.1080/15366367.2011.558791.

Laming D.R.J. The measurement of sensation. Oxford University Press. 1997. DOI: 10.1093/acprof:oso/9780198523420.001.0001.

Linacre J.M. Structure in Rasch Residuals: Why Principal Components Analysis. Rasch Measure-ment Transactions, 1998, 12(2), 636. https://www.rasch.org/rmt/rmt122m.htm.

Luce R.D. Several unresolved conceptual problems of mathematical psychology. Journal of mathe-matical psychology, 1997, 41(1), 79–87. DOI:10.1006/jmps.1997.1150.

Luce R.D., Tukey J.W. Simultaneous conjoint measurement: A new type of fundamental measure-ment. Journal of mathematical psychology, 1964, 1(1), 1–27. DOI:10.1016/0022-2496(64)90015-X.

Markus K.A., Borsboom D. The cat came back: Evaluating arguments against psychological meas-urement. Theory & Psychology, 2012. 22(4), 452–466. DOI:10.1177/0959354310381155.

McGrane J.A. Unfolding the conceptualization and measurement of ambivalent attitudes. Doctoral dissertation. University of Sydney, Sydney, Australia, 2009.

Michell J. Measurement in Psychology: A Critical History of a Methodological Concept. Vol. 53. Cambridge, UK: Cambridge University Press. 1999.

Michell, J. Pragmatism, positivism and the quantitative imperative. Theory and Psychology. 2003. 13, 45–52. DOI:10.1177/0959354303013001761.

Michell J. Conjoint Measurement and the Rasch Paradox: A Response to Kyngdon. Theory and Psy-chology. 2008, 18(1), 119 – 124. DOI:10.1177/0959354307086926.

Michell, J. The psychometricians’ fallacy: Too clever by half? British Journal of Mathematical and Statistical Psychology. 2009, 62(1), 41–55. DOI:10.1348/000711007X243582.

Michell, J. “The constantly recurring argument:” inferring quantity from order. Theory and Psychology. 2012, 22, 255–271. DOI:10.1177/0959354311434656.

Michell, J. An introduction to the logic of psychological measurement. Psychology Press. 2014.

Michell, J., and Ernst, C. The axioms of quantity and the theory of measurement. Journal of Mathe-matical Psychology. 1996, 40, 235–252. DOI:10.1006/jmps.1996.0023.

Mischel W., Shoda Y. Reconciling processing dynamics and personality dispositions. Annual review of psychology. 1998, 49(1), 229–258. DOI:10.1146/annurev.psych.49.1.229.

Molenaar P.C., Huizenga H.M., Nesselroade J.R. The relationship between the structure of interindi-vidual and intraindividual variability: A theoretical and empirical vindication of developmental systems theory. In: Understanding human development. Boston, MA: Springer, 2003. pp. 339–360.

Morris S.D., Grice J.W., Cox R.A. Scale imposition as quantitative alchemy: Studies on the transitivi-ty of neuroticism ratings. Basic and Applied Social Psychology, 2017, 39(1), 1–18. DOI:10.1080/01973533.2016.1256288.

Perline R., Wright B.D., Wainer H. The Rasch model as additive conjoint measurement. Applied Psy-chological Measurement, 1979, 3(2), 237–255. DOI:10.1177/014662167900300213.

Psillos S. Scientific realism: How science tracks the truth. London, UK: Routledge, 1999.

Pugesek B.H., Tomer A., Von Eye A. (Eds.). Structural equation modeling: applications in ecological and evolutionary biology. Cambridge University Press, 2003.

Rasch G. Studies in mathematical psychology: I. Probabilistic models for some intelligence and at-tainment tests. Nielsen Lydiche, 1960.

Rasch G. On Specific Objectivity: An attempt at formalizing the request for generality and validity of scientific statements. The Danish Yearbook of Philosophy, 1977, 14, 58–93.

Rasch G. Probabilistic models for some intelligence and attainment tests. University of Chicago Press, 1980.

Scheiblechner H. Additive conjoint isotonic probabilistic models (ADISOP). Psychometrika, 1999, 64(3), 295-316.

Schmidt F.L. Beyond questionable research methods: The role of omitted relevant research in the credibility of research. Archives of Scientific Psychology, 2017, 5(1), 32–41. DOI:10.1037/arc0000033.

Sixtl F. Generalized laws of reaction, the average person, and interindividual variation. In: E.D. Lan-termann, H. Feger (Eds.), Similarity and choice: Papers in honour of Clyde Coombs. Bern, Switzer-land: Huber, 1980. pp. 100–107.

Stankov L., Cregan A. Quantitative and qualitative properties of an intelligence test: Series comple-tion. Learning and Individual Differences, 1993, 5(2), 137–169. DOI:10.1016/1041-6080(93)90009-H.

Stevens S. On the Theory of Scales of Measurement. Science, 1946, 103(2684), 677–680. http://www.jstor.org/stable/1671815.

Trendler G. Measurement in psychology: A case of ignoramus et ignorabimus? A rejoinder. Theory & Psychology, 2013, 23(5), 591–615. DOI:10.1177/0959354313490451.

Trendler G. Measurability, systematic error, and the replication crisis: A reply to Michell (2019) and Krantz and Wallsten (2019). Theory and Psychology, 2019, 29(1), 144–151. DOI:10.1177/0959354318824414.

Tyumeneva Yu.A., Vergeles K.P. Issledovanie tranzitivnosti samoocenok motivacii. Sociologicheskij zhurnal, 2021, №2, 8–24. (in Russian)

Uher J. Quantitative data from rating scales: An epistemological and methodological enquiry. Fron-tiers in Psychology, 2018, 9(DEC), 2599. DOI:10.3389/fpsyg.2018.02599.

Uher J. Psychometrics is not measurement: Unraveling a fundamental misconception in quantitative psychology and the complex network of its underlying fallacies. Journal of Theoretical and Philo-sophical Psychology, 2020, 41(1), 58. DOI:10.1037/teo0000176.

Velleman P., Wilkinson L. Nominal, ordinal, interval, and ratio typologies are misleading. The Ameri-can Statistician, 1993, 47(1), 65-72. DOI:10.1080/00031305.1993.10475938.

Wood R. Fitting the Rasch model—A heady tale. British Journal of Mathematical and Statistical Psy-chology, 2011, 31(1), 27–32. DOI:10.1111/j.2044-8317.1978.tb00569.x.

Write B.D. Logits? Rasch Measurement Transactions, 1993, 7(2), 288.

Ziegler M., Vautier S. A farewell, a welcome, and an unusual exchange. European Journal of Psycho-logical Assessment, 2014, 30(2), 81–85. DOI:10.1027/1015-5759/a000203.