Psikhologicheskie Issledovaniya • ISSN 2075-7999
peer-reviewed • open access journal
      

 

Related Articles

Осин Е.Н., Панкратова А.А., Люсин Д.В. Различия в эмоциональном интеллекте у русских и азербайджанцев: артефакт или вопрос методологии?

ОСИН Е.Н., ПАНКРАТОВА А.А., ЛЮСИН Д.В. РАЗЛИЧИЯ В ЭМОЦИОНАЛЬНОМ ИНТЕЛЛЕКТЕ У РУССКИХ И АЗЕРБАЙДЖАНЦЕВ: АРТЕФАКТ ИЛИ ВОПРОС МЕТОДОЛОГИИ?

 

Сведения об авторах
Литература

Публикуемый в авторской редакции текст является репликой на статью:
Корнилова Т.В., Чумакова М.А., Гаджиева Г.И. Кросс­культурное исследование связей Темной Триады с эмоциональным интеллектом (на российской и азербайджанской выборках). Психологические исследования, 2016, 9(47), 9. URL: http://psystudy.ru/index.php/num/2016v9n47/1285-korchum47.html

Ключевые слова: эмоциональный интеллект, опросник ЭмИн, психометрическая эквивалентность, конфирматорный факторный анализ, культура, гендерные различия, возрастные различия, Россия, Азербайджан
 

 

В последние годы количество кросс-культурных исследований в мире демонстрирует экспоненциальный рост, однако число исследований, использующих статистические методы контроля систематической ошибки, растет гораздо медленнее [He et al., 2016]. Все чаще в литературе обсуждается требование сделать статистическую проверку межгрупповой инвариантности измерений стандартной процедурой в рамках любого  количественного исследования, в котором сопоставляются данные разных культур. Поэтому установление кросс-культурной эквивалентности измерительных инструментов представляется нам важной задачей, а публикация новых отечественных исследований, посвященных ее решению, безусловно, является позитивной тенденцией.

В нашем недавнем исследовании [Панкратова и др., 2013] был проведен сравнительный анализ эмоционального интеллекта у представителей русской и азербайджанской культур с помощью опросника ЭмИн [Люсин, 2009]. По результатам эксплораторного факторного анализа на объединенной выборке была разработана сокращенная версия опросника, включающая 4 шкалы – Понимание своих эмоций, Управление своими эмоциями (в кросс-культурной версии опросника ЭмИн под управлением своими эмоциями имеется в виду регуляция внутреннего состояния и контроль экспрессии), Понимание эмоций других людей, Управление эмоциями других людей. Конфирматорный факторный анализ показал, что выполняется требование сильной эквивалентности, позволяющее сопоставлять средние баллы по этим шкалам в двух культурах. В качестве главного результата было установлено, что для русских характерны более высокие показатели по шкалам Понимание своих эмоций и Управление своими эмоциями, по сравнению с азербайджанцами.

В этом году вышла статья Т.В.Корниловой с соавторами [Корнилова и др., 2016], посвященная исследованию, в рамках которого также использовался опросник ЭмИн для сравнения представителей русской и азербайджанской культур. При проверке кросс-культурной эквивалентности опросника авторы придерживались несколько иной методологии: в качестве теоретической модели использовался ключ к оригинальной версии опросника, кроме этого проверялась эквивалентность не опросника в целом, а его шкал по отдельности. Конфирматорный факторный анализ показал, что требование сильной эквивалентности выполняется только для двух шкал из пяти – Понимание эмоций других людей и Управление своими эмоциями (в оригинальной версии опросника ЭмИн под управлением своими эмоциями имеется в виду регуляция внутреннего состояния), по которым и было проведено сравнение представителей двух культур. В данном исследовании значимых различий между русскими и азербайджанцами по обозначенным выше  шкалам установлено не было, что, по мнению авторов, противоречит нашим результатам.

На наш взгляд, полученные нами и коллегами результаты согласуются друг с другом, а их объединение дает дополнительные возможности для интерпретации.

Так, по шкале Понимание своих эмоций в нашем исследовании – у русских показатели выше, чем у азербайджанцев, в исследовании Т.В.Корниловой с соавторами по этой шкале сравнение не проводилось, так как эта шкала, по мнению авторов, оказалась непригодной для кросс-культурного анализа. По шкале Понимание эмоций других людей в обоих исследованиях значимых различий не было установлено. По шкале Управление своими эмоциями в нашем исследовании – у русских показатели выше, чем у азербайджанцев, в исследовании Т.В.Корниловой с соавторами по этой шкале значимых различий не было установлено. Но под управлением своими эмоциями в первом случае имеется в виду регуляция внутреннего состояния и контроль экспрессии, а во втором случае – только регуляция внутреннего состояния. Учитывая установленные нами гендерные различия, преимущество русских по этой шкале, видимо, связано с тем, что русские мужчины лучше справляются с контролем экспрессии, по сравнению с азербайджанскими мужчинами.

Мы рады, что независимый коллектив авторов провел исследование, аналогичное нашему, хотя и в рамках другого общего замысла – о связи Темной Триады и эмоционального интеллекта. Репликация исследований является большой редкостью для отечественной психологии, поэтому работа Т.В.Корниловой с соавторами представляется нам особенно ценной, тем более что авторы, так же как и мы, стремились использовать современные методы установления кросс-культурной эквивалентности измерительных инструментов. Поскольку эта область исследований активно развивается, существуют различные точки зрения на проблему кросс-культурной эквивалентности и особенности применения конкретных методов ее проверки. Познакомившись с работой Т.В.Корниловой с соавторами, мы обнаружили ряд различий в наших подходах и хотели бы вступить с уважаемыми коллегами в методологическую дискуссию, которая, надеемся, поможет прояснить условия применимости отдельных статистических процедур в кросс-культурных исследованиях.

В первую очередь, мы хотели бы отметить, что, формулируя критическое замечание к нашей работе о «необоснованной процедуре смешения в одну выборку для факторизации данных азербайджанских и российских респондентов», авторы не совсем верно представляют суть использованной нами процедуры. Действительно, если бы мы объединили сырые данные, собранные в двух культурах, в единую выборку с последующим расчетом корреляций, это привело бы к риску возникновения артефактов (aggregation bias) [Van de Vijver, Poortinga, 2002]. В полученной таким образом матрице корреляций были бы смешаны внутригрупповая (на уровне индивидов) и межгрупповая (на уровне стран) структуры связей переменных. Однако, как описано в исходной статье [Панкратова и др., 2013], нами была использована иная процедура – эксплораторный факторный анализ объединенной внутригрупповой (pooled-within) матрицы корреляций, полученной путем усреднения через преобразование Фишера матриц корреляций, рассчитанных в каждой из двух выборок по отдельности. Этот подход является одним из стандартных этапов эксплораторного многоуровневого анализа (exploratory multilevel analysis) [Van de Vijver, Poortinga, 2002] и позволяет получить объединенную внутригрупповую матрицу корреляций, отражающую связи переменных на уровне индивидов, очищенные от вклада различий средних между группами.

В полученной матрице корреляций связи, инвариантные во всех группах, сохраняются, а связи, специфичные для отдельных групп, нивелируются, что позволяет получить относительно инвариантную для всех групп факторную структуру. Соответствие этой структуры каждой отдельной группе проверяется на последующих этапах с помощью эксплораторных методов [Van de Vijver, Leung, 1997] или конфирматорного факторного анализа. Преимущества эксплораторного факторного анализа объединенной внутригрупповой матрицы связей становятся очевидными в ситуациях, когда количество сравниваемых культурных групп составляет несколько десятков [Sircova et al., 2014], что крайне осложняет попытки разработать инвариантную для всех групп модель, опираясь на результаты эксплораторного факторного анализа в каждой группе по отдельности. Другим важным достоинством этого подхода является возможность снизить требования к объему выборки в каждой из сравниваемых культурных групп. Благодаря тому, что при расчете объединенной внутригрупповой матрицы используется весь объем данных, коэффициенты корреляции становятся более стабильными [Schönbrodt, Perugini, 2013], что позволяет получить устойчивую факторную структуру даже в тех случаях, когда объем каждой из выборок по отдельности для этого недостаточен.

Как известно, эксплораторный факторный анализ предъявляет более высокие требования к объему выборки, по сравнению с конфирматорным факторным анализом. При эксплораторном факторном анализе связей пунктов опросника, дисперсия которых всегда содержит большую долю случайной ошибки, для получения стабильной структуры число респондентов должно во много раз превышать число переменных (согласно классической работе Дж.Нанелли, как минимум в 10 раз [Nunnally, 1978]). В конфирматорном факторном анализе рост числа переменных-индикаторов не повышает, а, напротив, снижает требования к объему выборки (см., например, [Wolf et al., 2013]), и этот метод в большинстве случаев может быть успешно применен на выборках, включающих порядка 200 наблюдений. Таким образом,  эксплораторный факторный анализ объединенной внутригрупповой матрицы с использованием полученной структуры в качестве исходной модели для конфирматорного факторного анализа в каждой из групп по отдельности является оптимальной стратегией в ситуациях, когда имеются две и более выборки небольшого объема в сочетании с большим количеством переменных.

В случае нашего исследования при 46 переменных c 4-категориальной шкалой ответа объем азербайджанской выборки (n = 275) не позволил бы получить достаточно устойчивые оценки факторных нагрузок при использовании эксплораторного факторного анализа в каждой из групп по отдельности. Использование конфирматорного факторного анализа для разработки модели измерения в каждой из групп по отдельности было затруднено сочетанием большого количества переменных и небольшого объема выборки, что существенно повышало шансы совершения ошибки I рода при оценке уровня значимости индексов модификации. Использование же эксплораторного факторного анализа объединенной внутригрупповой матрицы дало возможность отсеять пункты, нагрузки которых в одной или обеих группах были невысоки или отличны от теоретической модели, до начала конфирматорного факторного анализа, что уменьшило число переменных и позволило снизить риск совершения ошибки I рода при оценке индексов модификации. К сожалению, ограничения объема статьи не позволили нам полностью развернуть в ней описанные выше соображения, что, по-видимому, и привело к возникшему у коллег недопониманию.

В свою очередь, нам кажется важным обратить внимание на ряд аналитических шагов в работе коллег, с которыми нам трудно согласиться.

Во-первых, авторы полностью отказались от эксплораторного анализа структуры опросника (хотя имевшийся в их распоряжении объем выборок позволяет такой анализ провести), ограничившись констатацией того факта, что конфирматорный факторный анализ на российской выборке показал недостаточно хорошее соответствие теоретической структуры опросника эмпирическим данным. Как правило, после получения такого результата проводится анализ причин несоответствия модели данным. Такими причинами могут быть как неучтенные в модели ковариации ошибок и двойные нагрузки утверждений, так и неверно заданные нагрузки (когда на практике одно или несколько утверждений «работают» не на «свою» шкалу), а также неверно выбранное количество факторов [Brown, 2015]. Проделанный нами  эксплораторный анализ [Панкратова и др., 2013] показал, что оптимальной структурой опросника (по крайней мере, для целей сравнения российской и азербайджанской выборок) является не пяти-, а четырехфакторная структура. При этом отдельные утверждения продемонстрировали недостаточно высокие нагрузки на те факторы, на которые должны были работать, исходя из ключа, и были нами исключены. С учетом этих результатов, использование оригинального ключа без изучения структуры опросника в новых условиях (азербайджанская выборка) кажется нам несколько опрометчивым.

Во-вторых, при разработке модели измерения отдельно для каждой из шкал опросника (с опорой на ключ к оригинальной версии ЭмИн) авторы на основе анализа индексов модификации вводят в модель каждой шкалы достаточно большое количество ковариаций ошибок для пар утверждений. При этом в тексте статьи не приводятся ни статистические критерии, ни содержательная интерпретация, на основе которых эти дополнительные параметры введены. Следует отметить, что ковариации ошибок не только снижают теоретическую объяснительную силу модели, но и подвержены влиянию случайной ошибки (sampling error), повышающей риск оптимизации модели под конкретную выборку (capitalizing on chance). Поэтому вводить их желательно лишь в случае крайней необходимости, а делать это на основе исключительно статистических соображений недопустимо [Brown, 2015]. Предполагаем, что авторы провели содержательный анализ утверждений, но не упомянули об этом в тексте статьи, оставляя читателя в неведении о том, насколько хорошо эти дополнительные параметры обоснованы сходством формулировок утверждений и другими их особенностями, что существенно затрудняет понимание разработанной ими модели и оценку проделанного анализа.

В-третьих, авторы разрабатывают модель измерения только для российской выборки и механически применяют ее к азербайджанской выборке, не разрабатывая модель измерения для азербайджанской выборки отдельно, как это рекомендуется методологами (см., например, [Brown, 2015; Byrne, 2012]). Важность этого шага  связана с тем, что контекст родного языка влияет на понимание респондентами смысла утверждений (особенно лексически и грамматически сложных), создавая систематическую ошибку, которая и приводит к необходимости введения ковариаций ошибок утверждений в модель. Мы не можем быть уверены, что ковариации ошибок, отражающие особенности понимания утверждений респондентами российской выборки, соответствуют данным азербайджанской выборки (и наоборот). С нашей точки зрения, оптимальной стратегией является раздельное построение моделей измерения для российской и азербайджанской выборок с последующей проверкой инвариантности того набора параметров, которые входят в обе модели (partial measurement invariance), либо с последующим исключением переменных, которые приводят к необходимости введения специфичных параметров для одной из выборок [Byrne et al., 1989; Byrne, 2012].

В-четвертых, российская и азербайджанская выборки, использованные авторами при построении мультигрупповой модели, существенно различаются по объему (в 1,8 раза), что затрудняет интерпретацию индексов соответствия мультигрупповой модели. Значение статистики χ², на основе которого рассчитываются все практические индексы соответствия, зависит не только от степени несоответствия между выборочными и оцененными значениями параметров, но и от объема выборки [Brown, 2015]. В случае анализа на одной группе формулы, используемые при расчете практических индексов соответствия (CFI, TLI, RMSEA), позволяют достаточно успешно устранить эту зависимость (по крайней мере, при условии достаточно большого объема выборки и корректно заданной модели) [Fan et al., 1999]. Однако в случае мультигрупповой модели при расчете практических индексов соответствия используются сырые (не взвешенные) значения статистики χ², полученные для каждой из групп по отдельности. В результате степень соответствия модели данным в группе большего объема влияет на показатели мультигрупповой модели сильнее, чем степень соответствия модели данным в группе меньшего объема, что может маскировать имеющиеся в последней проблемы. Именно поэтому в мультигрупповом анализе рекомендуется использовать группы если не равного, то хотя бы близкого объема [Brown, 2015].

В-пятых, авторы используют для кросс-культурного анализа только те шкалы опросника, для которых выполняется требование сильной эквивалентности (scalar invariance). Действительно, сравнение сырых баллов по шкалам, для которых не выполняется это требование, может приводить к артефактам из-за систематической ошибки (item bias) [Van de Vijver, Leung, 2012]. Однако к настоящему времени разработан целый ряд методов, которые позволяют получить достоверную информацию о кросс-культурных различиях и по таким шкалам. Исторически первый из них – построение конфирматорной модели с частичной эквивалентностью (partial measurement invariance) [Byrne et al., 1989]: сняв ограничения на равенство отдельных параметров модели, при определенных условиях можно получить достоверные оценки средних и дисперсий латентных факторов и содержательную информацию о различии средних уровней в группах по латентному конструкту [Byrne, 2012; Brown, 2015]. В настоящее время этот подход, несмотря на его ограничения, принят большинством методологов [Brown, 2015] и широко используется в области кросс-культурных исследований [Milfont, Fischer, 2015]. Есть и более современные методы такие, как приблизительная инвариантность измерений (approximate measurement invariance) [Van de Schoot et al., 2012] или метод подгонки (alignment approach) [Asparouhov, Muthén, 2014]. Таким образом, отказ от сравнения по шкалам, для которых не выполняется требование сильной эквивалентности, как это было принято в 1980-е годы [Burne et al., 1989], в наши дни является необоснованным.

Мы благодарны коллегам за внимание к нашей работе и за проведенный ими анализ на новой выборке, который побудил нас эксплицировать некоторые особенности методологии нашего исследования, недостаточно подробно прописанные в исходной статье. Мы глубоко ценим обоснованную критику и считаем активность по репликации научных результатов крайне важной. Однако мы считаем, что, с учетом изложенных выше методологических различий между двумя исследованиями, их содержательные результаты, касающиеся различий в эмоциональном интеллекте у русских и азербайджанцев, не совсем сопоставимы. К счастью, для более точного сопоставления результатов двух исследований нет никаких препятствий, так как использованная коллегами оригинальная версия опросника ЭмИн содержит все пункты, вошедшие в нашу сокращенную кросс-культурную версию. Мы готовы предоставить коллегам все использованные нами скрипты для кросс-валидизации разработанных нами моделей на их выборке и будем рады содержательному диалогу по результатам такой проверки.


Литература

Корнилова Т.В., Чумакова М.А., Гаджиева Г.И. Кросс­культурное исследование связей Темной Триады с эмоциональным интеллектом (на российской и азербайджанской выборках). Психологические исследования, 2016, 9(47), 9. http://psystudy.ru

Люсин Д.В. Опросник на эмоциональный интеллект ЭмИн: новые психометрические данные. В кн.: Д.В. Люсин, Д.В. Ушаков (Ред.), Социальный и эмоциональный интеллект: от моделей к измерениям. М.: Институт психологии РАН, 2009. С. 264–278.

Панкратова А.А., Осин Е.Н., Люсин Д.В. Особенности эмоционального интеллекта у представителей российской и азербайджанской культур. Психологические исследования, 2013, 6(31), 11. http://psystudy.ru

Asparouhov T., Muthén B. Multiple-group factor analysis alignment. Structural Equation Modeling: A Multidisciplinary Journal, 2014, 21(4), 495–508.

Brown T.A. Confirmatory factor analysis for applied research. N.Y.: The Guilford Press, 2015.

Byrne B.M. Structural equation modeling with Mplus: Basic concepts, applications, and programming. N.Y.: Routledge, 2012.

Byrne B.M., Shavelson R.J., Muthén, B. Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological bulletin, 1989, 105(3), 456–466.

Fan X., Thompson B., Wang L. Effects of sample size, estimation methods, and model specification on structural equation modeling fit indexes. Structural Equation Modeling: A Multidisciplinary Journal, 1999, 6(1), 56–83.

He J., Hanke K., Boer D. What is Error, What is Culture and How can we Know? On Handling Systematic Error in Cross-cultural Research. Paper presented at the 23rd Congress of the International Association for Cross-Cultural Psychology The 23rd Congress of the International Association for Cross-Cultural Psychology, Nagoya, Japan, 2016, July 30-August 3, 2016. http://abstracts.iaccp2016.com/submission29441

Milfont T.L., Fischer R. Testing measurement invariance across groups: Applications in cross-cultural research. International Journal of psychological research, 2015, 3(1), 111–130.

Nunnally J.C. Psychometric theory. N.Y.: McGraw-Hill, 1978.

Schönbrodt F.D., Perugini M. At what sample size do correlations stabilize? Journal of Research in Personality, 2013, 47(5), 609–612.

Sircova A., van de Vijver F., Osin E.N., Milfont T.M., Fieulaine N., Kislali-Erginbilgic A., Zimbardo P.G. et al. A global look at time: A 24-country study of the equivalence of the Zimbardo Time Perspective Inventory. Sage Open, 2014, 4(1). doi:10.1177/2158244013515686

Van De Schoot R., Kluytmans A., Tummers L., Lugtig P., Hox J., Muthén B. Facing off with Scylla and Charybdis: a comparison of scalar, partial, and the novel possibility of approximate measurement invariance. Frontiers in psychology, 2012, 4, 770.  doi:  10.3389/fpsyg.2013.00770

Van de Vijver F.J., Poortinga Y.H. Structural equivalence in multilevel research. Journal of Cross-Cultural Psychology, 2002, 33(2), 141–156.

Van de Vijver F., Leung K. Methods and data analysis for cross cultural research. Newbury Park: Sage, 1997.

Van de Vijver, F. J. R., Leung K. Equivalence and bias: A review of concepts, models, and data analytic procedures. In: D.Matsumoto, F.J.R. Van de Vijver (Eds.), Cross-Cultural Research Methods in Psychology. Cambridge: Cambridge University Press, 2012. p. 17–45.

Wolf E.J., Harrington K.M., Clark S.L., Miller M.W. Sample size requirements for structural equation models an evaluation of power, bias, and solution propriety. Educational and Psychological Measurement, 2013, 73(6), 913–934.

Сведения об авторах

Осин Евгений Николаевич. Кандидат психологических наук, доцент, департамент психологии; ведущий научный сотрудник, международная лаборатория позитивной психологии личности и мотивации; Высшая школа экономики (Национальный исследовательский университет), ул. Мясницкая, д. 20, 101100 Москва, Россия.
E-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра. , Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Панкратова Алина Александровна. Кандидат психологических наук, старший научный сотрудник, кафедра психогенетики, факультет психологии, Московский государственный университет имени М.В.Ломоносова, ул. Моховая, д. 11, стр. 9, 125009 Москва, Россия.
E-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Люсин Дмитрий Владимирович. Кандидат педагогических наук, старший научный сотрудник, лаборатория психологии и психофизиологии творчества, Институт психологии Российской академии наук; ведущий научный сотрудник, лаборатория когнитивных исследований, Высшая школа экономики (Национальный исследовательский университет), ул. Мясницкая, д. 20, 101100 Москва, Россия.
E-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Онлайн-публикация на сайте журнала "Психологические исследования": 16 сентября 2016 г.
URL: http://psystudy.ru/index.php/num/sputniks/44-sctxt/1327-osin2016.html

К началу страницы >>