Везде
Проявление эффекта кросс-модального соответствия при индуцированных эмоциональных состояниях
Оглавление
Аннотация Оценить Содержание публикации
Библиография Комментарии
Поделиться
QR
Метрика
Проявление эффекта кросс-модального соответствия при индуцированных эмоциональных состояниях
Аннотация
Код статьи
S020595920023642-2-1
DOI
10.31857/S020595920023642-2
Тип публикации
Статья
Статус публикации
Опубликовано
Авторы
Щербакова О. В. 
Должность: Доцент кафедры общей психологии
Аффилиация: Санкт-Петербургский государственный университет
Адрес: Санкт-Петербург, Санкт-Петербург, Набережная адмирала Макарова, д. 6, Россия
Андрющенко Е. А.
Должность: Инженер-исследователь лаборатории поведенческой нейродинамики
Аффилиация: Санкт-Петербургский государственный университет
Адрес: Российская Федерация, Санкт-Петербург
Мирошник К. Г.
Должность: магистрант
Аффилиация: Факультет психологии Санкт-Петербургского государственного университета
Адрес: Санкт-Петербург, Набережная адмирала Макарова, д. 6, Россия
Блинова Е. Н.
Должность: Инженер-исследователь лаборатории поведенческой нейродинамики
Аффилиация: Санкт-Петербургский государственный университет
Адрес: Университетская наб., д. 7–9
Штыров Ю. Ю.
Должность: главный научный сотрудник лаборатории поведенческой нейродинамики
Аффилиация:
Санкт-Петербургский государственный университет
Центр функционально-интегративной нейронауки
Адрес: Российская Федерация, Санкт-Петербург
Выпуск
Том 44 № 1
Страницы
30-42
Аннотация

Ранее было показано, что эффект кросс-модального соответствия возникает не только при совместной обработке простых разномодальных сенсорных стимулов, но и при их одновременном предъявлении вместе со словами, обладающими эмоциональной валентностью и пространственными коннотациями (ассоциированными с верхней или нижней частью вертикально ориентированного пространства). Целью настоящего исследования стала проверка гипотезы о возможных изменениях величины эффекта кросс-модального соответствия, возникающего при совместной обработке сенсорных и вербальных стимулов под воздействием индуцированных эмоциональных состояний разной валентности. В исследовании участвовали 36 добровольцев (26 жен., 18–34 г.), которые сперва просматривали видеозаписи, вызывающие положительное, отрицательное или нейтральное эмоциональное состояние, а затем выполняли задание: им предъявлялись звуки разной высоты (1000 и 2000 Гц) и слова, различающиеся по эмоциональной валентности и ассоциированные с различными частями пространственного поля. Необходимо было идентифицировать высоту (низкая/высокая) предъявленного звука. Для анализа использовались двухфакторный смешанный ANOVA с последующими попарными сравнениями (t-критерий Стьюдента для зависимых выборок), которые проводились не только по средним значениям времени реакции, но и по оцененным параметрам экс-Гауссовских распределений. Результаты показали, что эффект аудиовизуального соответствия проявился в ускорении ответов респондентов на предъявление конгруэнтных стимулов по сравнению с неконгруэнтными (t(35) = -3.20, p = .005, dz = -0.53, 95% CI [-0.89, -0.18]), но выраженного влияния валентности индуцированного эмоционального состояния на величину эффекта аудиовизуального соответствия выявлено не было (F(4, 68) = 0.49, p = .744, = .001). Это может объясняться устойчивостью эффекта кросс-модального соответствия к эмоциональным влияниям, спецификой использованных задач и ограничениями дизайна исследования.

Ключевые слова
Кросс-модальное соответствие, мультисенсорная интеграция, эмоциональные состояния, сенсорные стимулы, вербальные стимулы, эмоциональная семантика, воплощенное познание (embodied cognition)
Источник финансирования
Исследование выполнено за счет гранта Российского научного фонда “Роль эмоциональной регуляции в мультисенсорной интеграции вербальной и невербальной информации: психологические и психофизиологические аспекты”, проект № 22-28-01020, https://rscf.ru/project/22-28-01020/. Авторы благодарят В. В. Тимохова за помощь в создании экспериментальной парадигмы исследования.
Классификатор
Дата публикации
26.02.2023
Всего подписок
13
Всего просмотров
306
Оценка читателей
0.0 (0 голосов)
Цитировать Скачать pdf
Доступ к дополнительным сервисам
Дополнительные сервисы только на эту статью
Преимущества сервисов
100 руб. / 1.0 SU
Дополнительные сервисы на все выпуски за 2023 год
Преимущества сервисов
4590 руб. / 91.0 SU
1 Эффект кросс-модального соответствия представляет собой одно из проявлений мультисенсорной интеграции или взаимодействия ощущений. Он основан на формировании единой репрезентации свойств стимулов, принадлежащих к различным сенсорным модальностям, но обладающих сопоставимыми между собой сенсорными характеристиками. Этот эффект относится к одному из двух видов мультисенсорной интеграции – синестетической, которая проявляется в том, что разномодальные, но конгруэнтные по своим свойствам простые стимулы (например, звуки низкой частоты и объекты, расположенные в нижней части зрительного поля) обрабатываются более быстро и точно, чем неконгруэнтные [13; 16; 22; 24; 28; 29], и противопоставляется семантической интеграции, в рамках которой взаимодействие происходит между разномодальными стимулами, конгруэнтными или неконгруэнтными друг другу по своему значению [19; 25; 33; 36; 37]. Несмотря на то, что сам факт ассоциации между ощущениями разных видов известен уже достаточно давно (см., напр., [1; 3]), его систематическое экспериментальное изучение в рамках психологии началось только в последние два десятилетия, когда в фокусе внимания исследователей оказался частный случай синестетического кросс-модального соответствия – аудиовизуальное. Рядом авторов было показано, что более высокие звуки при восприятии ассоциируются с объектами небольшого размера, при этом вертикально расположенными в пространстве [8; 13; 16; 21; 30] и характеризующимися высокой яркостью и насыщенностью [22].
2 На настоящий момент не существует единого мнения относительно конкретных механизмов, обусловливающих возникновение эффекта аудиовизуального соответствия. Некоторые авторы полагают, что в основе данного феномена лежит научение, в ходе которого субъект усваивает объективно существующие в окружающей среде закономерности [11; 29]. Например, издающие высокочастотные звуки птицы чаще обладают небольшими размерами и располагаются в верхней части зрительного поля человека, а млекопитающие, чьи вокализации характеризуются низкими частотами, имеют более крупные размеры и передвигаются по земле, т. е. занимают нижнюю часть пространства. Однако в ряде исследований было показано, что эффект аудиовизуального соответствия проявляется по-разному у носителей разных языков [10; 14], т. е., вероятно, является опосредованным устройством той конкретной речевой системы, которой пользуется человек, и спецификой ее семантической архитектуры [31; 33].
3 В связи с этим особый интерес представляет поиск такого подхода к изучению аудиовизуального соответствия, который, с одной стороны, позволял бы опираться на данные, полученные в исследованиях синестетического взаимодействия, а с другой, давал возможность использовать семантические стимулы. Такой подход открыл бы перспективу для изучения эффекта аудиовизуального соответствия, возникающего в результате совместной обработки простых перцептивных стимулов и стимулов вербальных, имеющих как семантическую составляющую, так и выраженные пространственные коннотации. Одна из первых попыток разработки такого подхода была предпринята в нашей предшествующей работе, в которой на материале задачи совместной обработки звуков, имеющих разную высоту тона, и слов, обозначающих эмоциональные состояния и при этом ассоциированных с различными частями вертикально-ориентированного пространства (например, “восторг” – с верхней, “тоска” – с нижней), было показано, что перцептивные характеристики аудиального стимула идентифицируются легче в том случае, если они конгруэнтны пространственной коннотации предъявляющегося одновременно с ним вербального стимула [2]. В частности, время реакции на конгруэнтные пары стимулов было меньше, чем на неконгруэнтные и нейтральные; различия между неконгруэнтным и нейтральным условием были незначительными. Мы предположили, что ассоциация между характеристиками стимулов разных модальностей приводила к формированию обобщенной (смысловой) ментальной репрезентации, которая способствовала более эффективному выполнению задачи. Это может означать, что, вопреки сложившемуся представлению о том, что в основе эффектов синестетического и семантического соответствия лежат разные механизмы [33], обработка простых (не обладающих семантичностью) сенсорных признаков объектов взаимодействует с обработкой семантических характеристик слов, – или что даже “простая” ассоциация сенсорных параметров стимулов является более осмысленной, чем было принято считать ранее.
4 Поскольку слова, которые использовались в этой работе, обозначали эмоциональные состояния, мы предположили, что прояснить природу полученного нами эффекта поможет введение дополнительной переменной – индуцированного эмоционального состояния, на фоне которого происходит решение экспериментальной задачи. Ранее схожий подход уже использовался авторами других работ, в которых было показано, что негативные эмоциональные состояния, индуцированные посредством предъявления эмоционально-окрашенных звуков [32] или музыкальных отрывков [5], затрудняют последующее восприятие визуально предъявленных слов, семантика которых характеризуется противоположной (позитивной) эмоциональной валентностью. В нашей же работе индуцирование эмоциональных состояний осуществлялось посредством предъявления участникам видеофрагментов с различным эмоциональным содержанием. При этом оценивались скорость и правильность распознания звуков разной высоты, предъявляющихся совместно с визуально представленными словами, обозначающими позитивные и негативные эмоциональные явления и имеющими пространственные коннотации. Таким образом, целью работы, описанной в настоящей статье, стала проверка гипотезы о том, что позитивные и негативные эмоциональные состояния, индуцированные непосредственно перед выполнением задачи на совместную обработку 1) высоких и низких звуков и 2) слов, обозначающих позитивные и негативные эмоциональные явления и имеющих соответствующие пространственные коннотации, будут дифференцированно модулировать протекание процесса мультисенсорной интеграции и, как следствие, выраженность эффекта кросс-модального соответствия.
5 Особенностью данной работы стало то, что проверку гипотезы мы предполагали осуществлять не только путем традиционного сравнения средних значений времени реакции, но и с помощью анализа оцененных параметров экс-Гауссовских распределений. Поскольку традиционный подход к сравнению средних значений игнорирует положительную асимметрию соответствующих распределений и принимает экстремальные значения за выбросы, то не исключено, что интересующий нас эффект может проявляться не в средних тенденциях, а в изменении пропорции медленных ответов. Использование экс-Гауссовских распределений, совмещающих компоненты нормального и экспоненциального распределений, позволяет описать распределение значений времени реакции с помощью трех параметров: параметры мю (µ) и сигма (σ) соответствуют среднему значению и стандартному отклонению для нормального распределения, а параметр тау (τ) соответствует среднему значению и стандартному отклонению экспоненциального распределения и отражает форму правого хвоста распределения, который и включает наиболее медленные ответы. Анализ оцененных параметров экс-Гауссовских распределений уже неоднократно демонстрировал свою полезность в изучении разных психологических феноменов [17; 34]. Опора на более дифференцированное описание распределений времени реакции может выявить более тонкие различия в динамике времени реакции для эффекта кросс-модального соответствия, что может быть особенно актуально при изучении семантически нагруженных стимулов, использованных в нашем эксперименте.
6

МЕТОДИКА1

1. Более подробные данные относительно использованного в работе стимульного материала можно найти по ссылке: >>>>
7 Вербальные стимулы. На начальном этапе работы мы создали базу психолингвистических стимулов, которая состояла из слов русского языка, обозначающих объекты физической среды, части тела и эмоциональные состояния и характеризующихся пространственными коннотациями, т. е. ассоциированных в сознании носителей русского языка с различными частями пространственного поля, ориентированного относительно вертикали. Например, такие слова, как “ключица”, “солнце” и “блаженство” оцениваются большинством респондентов как относящиеся к верхней части пространства, “пятка”, “яма” и “тоска” – к нижней, а “живот”, “штиль” и “удовольствие” – к средней. Для слов, обозначающих эмоциональные состояния, дополнительно были собраны данные относительно их эмоциональной валентности (позитивное/негативное), интенсивности (сильное/слабое) и контролируемости (поддается контролю/не поддается контролю; подробнее см. в: [2]). Из этой базы были отобраны 1) 10 слов: по 5 слов, обозначающих позитивные (восторг, счастье, вдохновение, ликование, восхищение) и негативные (подавленность, разочарование, тоска, презрение, огорчение) эмоциональные состояния и ассоциированных с верхней и нижней частями пространства, соответственно (использовались в эксперименте в качестве целевых стимулов для создания эффекта кросс-модального соответствия); 2) 5 слов, обозначающих физические объекты/ явления и ассоциированных со средней частью пространственного поля: живот, талия, пупок, даль, лес (использовались в качестве контрольных нейтральных стимулов).
8 Аудиальные стимулы. В качестве невербальных аудиальных стимулов были использованы звуковые сигналы продолжительностью 100 мс с высотой тона 1000 и 2000 Гц. Эти стимулы были подготовлены с использованием звукового редактора Audacity v. 2.3.0 ®2.
2. Программное обеспечение Audacity® защищено авторским правом © 1999-2021 Audacity Team. URL: >>>> ПО распространяется на условиях GNU General Public License. Audacity® является зарегистрированной торговой маркой.
9 Видеоролики. Для индукции различных эмоциональных состояний использовались видеозаписи, вызывающие эмоции различной валентности: положительные, отрицательные и нейтральные. Видеоролики не содержали сцен насилия или других потенциально травматичных для психики эпизодов. С опорой на работы экспертов в области изучения эмоциональной сферы человека было отобрано шесть видеороликов (по два ролика для каждой эмоциональной валентности), которые являлись отрывками из фильмов или записями сцен реальной жизни. Результаты апробации выбранных видеозаписей на русскоязычной выборке позволяют судить о том, что они могут быть использованы в исследовательской практике для индукции радости, грусти и нейтрального эмоционального состояния [4; 35].
10 Участники исследования. В исследовании на добровольной безвозмездной основе приняли участие 36 человек (26 женщин; 18–34 года, М = 23.36, SD = 3.93) с высшим или неоконченным высшим образованием разного профиля3. На основе результатов предварительного онлайн-анкетирования в выборку были включены только участники, соответствовавшие следующим критериям: ведущая рука – правая; русский – единственный родной язык; нормальное или скорректированное до нормального зрение и нормальный слух; отсутствие неврологических и психиатрических заболеваний. Все респонденты до начала исследования подписали информированное согласие, одобренное Этическим комитетом Санкт-Петербургского психологического общества.
3. Выборку данной части исследования составили те же респонденты, которые участвовали в работе, описанной нами ранее (см.: [2]).
11 Экспериментальная парадигма исследования4. Для разработки экспериментальной парадигмы мы использовали программную среду NBS Presentation v.21.0 (Neurobehavioral Systems, Беркли, Калифорния, США).
4. Данное исследование является частью более крупного исследовательского проекта, направленного на изучение роли эмоциональной регуляции в мультисенсорной интеграции вербальной и невербальной информации. В его рамках также производилось измерение выраженности различных стратегий регуляции эмоций и некоторых психофизиологических показателей. Рассмотрение этих переменных не входило в задачи настоящей работы.
12 Работа с каждым респондентом осуществлялась в индивидуальном порядке. В ходе эксперимента участники помещались на расстоянии 60–65 см от экрана компьютера. Аудиальные стимулы предъявлялись через наушники с интенсивностью 75 дБ; вербальные стимулы предъявлялись визуально на мониторе компьютера (ASUS ROG PG278Q, частота обновления: 144 Гц; диагональ: 27’’; разрешение экрана: 2560 × 1440 пикселей) – в центре экрана на сером фоне (130, 130, 130 в цветовом пространстве RGB).
13 Экспериментальная процедура включала следующие этапы:
14 1. Обучение. Респонденту для ознакомления последовательно предъявлялись два звука разной частоты (1000 и 2000 Гц); одновременно с этим на экране в письменной форме указывалась релевантная характеристика каждого звука (высокий или низкий);
15 2. Тренировочная серия. Участнику предъявлялась инструкция и предлагалось потренироваться в выполнении экспериментальной задачи, суть которой заключалась в том, чтобы после предъявления целевого звука (1000 Гц или 2000 Гц) нажать на клавиатуре кнопку, которая соответствует его верной характеристике (высокий или низкий). Одновременно с предъявлением звуков на экране предъявлялись слова, обозначающие физические объекты/части тела и не задействованные в основной серии эксперимента;
16 3. Основная серия. Респонденту предъявлялась одна из шести стимульных видеозаписей (две нейтральные, две положительные, две отрицательные; выбор стимула осуществлялся с помощью процедуры псевдорандомизации) для модуляции эмоционального состояния с инструкцией внимательно смотреть на экран во время ее проигрывания. После просмотра участнику предъявлялся целевой звук (1000 Гц или 2000 Гц) вместе с указанием нажать на клавиатуре кнопку, которая соответствует верной характеристике звука (высокий или низкий). Звуки подавались с помощью наушников одновременно со словами, которые предъявлялись на экране монитора в течение 100 мс. Вербальные стимулы были разделены на три группы в зависимости от их эмоциональной валентности и локализации в пространстве (положительный/отрицательный – для вербальных стимулов, отражающих эмоциональные состояния; нейтральный – для вербальных стимулов, обозначающих объекты/явления физической среды). Последовательность предъявления в ходе эксперимента была следующей: фиксационный крест (500 мс), стимулы (звук и слово; 100 мс), окно для ответа (2000 мс), межстимульный интервал (1000 мс; Рисунок 1). Всего каждому респонденту было предъявлено 180 пар стимулов (15 слов × 2 звука × 6 повторений) в псевдорандомизированном порядке. Пары стимулов были распределены на три группы: 1) конгруэнтные стимулы (слова, обозначающие положительные эмоции, и высокий звук; слова, обозначающие отрицательные эмоции, и низкий звук); 2) неконгруэнтные стимулы (слова, обозначающие положительные эмоции, и низкий звук; слова, обозначающие отрицательные эмоции, и высокий звук); 3) контрольные стимулы (нейтральные слова, обозначающие объекты/ явления, и высокий/низкий звук).
17

18 Рис. 1. Схема экспериментального дизайна
19 Ответы участников регистрировались с помощью первой и второй кнопок на пульте Cedrus RB-740 (Cedrus Corp., Сан-Педро, Калифорния, США; расстояние между кнопками составляло ⁓30 мм), который позволяет наиболее точно фиксировать время реакции и правильность ответа, выступавшие в качестве критериев оценки проявления эффекта аудиовизуального соответствия. Для половины респондентов кнопка “1” обозначала высокий звук, а кнопка “2” – низкий; для второй половины респондентов – наоборот. В ходе инструктажа неоднократно подчеркивалась необходимость смотреть на экран; контроль за соблюдением этого требования осуществлялся при помощи веб-камеры, находящейся справа от участника и позволяющей отслеживать направление его взора.
20 Математико-статистические методы обработки данных. Сравнение средних значений времени реакции и оцененных параметров экс-Гауссовских распределений осуществлялось с помощью двухфакторного смешанного дисперсионного анализа и t-критерия Стьюдента для зависимых выборок в программной среде RStudio 2021.9.2.382 c применением пакетов retimes, fitdistrplus и gamlss.dist. Попарные сравнения проводились с применением поправки Бенджамини – Хохберга. В качестве величин эффектов использовались генерализованная η2 [27] и dz-Коэна для зависимых выборок, которые интерпретировалась в свете “классических” пороговых значений [8]. Сырые данные и код анализа доступны по ссылке: https://osf.io/rbdk3/.
21

РЕЗУЛЬТАТЫ
22

Сравнение средних значений времени реакции. Для проверки гипотезы о связи индуцированного эмоционального состояния с выраженностью эффекта кросс-модального соответствия использовался двухфакторный смешанный дисперсионный анализ. В качестве внутригруппового фактора рассматривалась конгруэнтность стимула, а в качестве межгруппового – валентность индуцированного эмоционального состояния. В роли зависимой переменной выступало время реакции для правильных ответов. Анализ проводился двумя способами: (1) на всех вербальных стимулах и (2) по отдельности для вербальных стимулов с позитивной и негативной эмоциональной валентностью.
23 В ходе предварительного анализа внутри каждой экспериментальной группы были отсеяны пробы, в которых время реакции было либо меньше 100 мс (1.1%), либо отклонялось от среднего значения более чем на 2.5 SD (3.0%). В большинстве случаев валидные ответы не могут быть даны быстрее, чем за 100–200 мс [23], тогда как критерий отклонения от среднего в 2.5 SD является разумным компромиссом между критериями 2 SD и 3 SD [6]. Анализ распределений времени реакции по Q–Q графикам и величинам асимметрии и эксцесса куртозиса не выявил существенных отклонений от нормальности распределения. Поскольку количество наблюдений во всех группах было равным (n = 12), то любые отклонения от гомогенности дисперсий можно считать несущественными [7]. Ввиду нереалистичности допущения о сферичности и недостаточной чувствительности W-критерия Моучли, для корректировки числа степеней свободы применялась поправка Хюнха – Фельдта [18].
24 Описательные статистики для каждой из групп представлены в Таблице 1. Несмотря на то, что при сравнении времени реакции для конгруэнтных и неконгруэнтных проб по всем вербальным стимулам был выявлен эффект кросс-модального соответствия (t(35) = -3.20, p = .005, dz = -0.53, 95% CI [-0.89, -0.18]), значимого эффекта взаимодействия факторов конгруэнтности стимулов и валентности индуцированного эмоционального состояния обнаружено не было (F(4, 68) = 0.49, p = .744, ηG2  = .001). Аналогично слабо выраженный эффект кросс-модального соответствия был выявлен в отдельности для вербальных стимулов позитивной (t(35) = -1.43, p = .162, dz = -0.24, 95% CI [-0.58, 0.10]) и негативной валентностей (t(35) = -2.24, p = .032, dz = -0.37, 95% CI [-0.72, -0.03]), но значимого эффекта взаимодействия двух факторов обнаружено не было (позитивная: F(4, 61) = 1.14, p = .343, ηG2  = .005; негативная: F(3, 54) = 0.70, p = .568, ηG2  = .004). Таким образом, несмотря на обнаружение эффекта кросс-модального соответствия, проявившегося в ускорении ответа в конгруэнтном условии по сравнению с неконгруэнтным в среднем на 16 мс, гипотеза о зависимости выраженности соответствующего эффекта от эмоционального состояния субъекта не получила подтверждения при простом сравнении средних значений.
25 Таблица 1. Описательные статистики для времени реакции (в мс).
26

27 Анализ экс-Гауссовских распределений. Поскольку традиционный подход к сравнению средних значений по времени реакции игнорирует положительную асимметрию соответствующих распределений и принимает экстремальные значения за выбросы, то не исключено, что вариативность эффекта кросс-модального соответствия в зависимости от эмоционального состояния субъекта может проявляться не в средних тенденциях, а в изменении пропорции медленных ответов [9]. Для проверки данного предположения проводился анализ экс-Гауссовских распределений. Гипотеза проверялась с помощью двухфакторного смешанного дисперсионного анализа по аналогии с описанным ранее сравнением средних. В роли зависимых переменных выступали значения оцененных параметров экс-Гауссовских распределений.
28 Оценка параметров µ, σ и τ производилась по отдельности для каждого участника по каждому экспериментальному условию с помощью метода максимального правдоподобия. Количество проб, по которым производилась оценка параметров, варьировалась в зависимости от количества правильных ответов, данных конкретным респондентом (M = 57.42, SD = 2.74). Далее необходимо было убедиться в том, что эмпирическое распределение времени реакции лучше описывается экс-Гауссовским распределением, чем нормальным распределением. Для этого были сопоставлены показатели сходимости для обоих распределений по кумулятивным функциям вероятности и графикам плотности распределения, тестам Андерсона – Дарлинга и Крамера – фон Мизеса, а также информационному критерию Акаике (AIC) и байесовскому критерию (BIC). По умолчанию оценка сходимости осуществлялась по методу максимального правдоподобия. Когда использование последнего было невозможно из-за возникновения ошибок, применялся метод максимизации степени соответствия (maximum goodness-of-fit estimation) со смещением веса на правый хвост распределения (right-tail AD). В подавляющем большинстве случаев все методы указывали на более точное соответствие эмпирических распределений экс-Гауссовскому распределению.
29 В данном анализе использовался более сложный алгоритм отсева выбросов. Во-первых, исключались пробы с временем реакции меньше 100 мс. Во-вторых, для более поздних ответов последовательно использовались три критерия отсева выбросов по отклонению от среднего: 2.5 SD (3%), 3 SD (1.7%) и 4 SD (0.6%). Необходимость такого подхода обусловлена большей чувствительностью анализа экс-Гауссовских распределений к характеристикам формы распределения и важностью проверки устойчивости получаемого результата в зависимости от способов предобработки данных. Во всех случаях допущения о нормальности распределения и гомогенности дисперсий были соблюдены, а для коррекции отклонения от сферичности применялась поправка Хюнха – Фельдта.
30 Результаты анализа представлены в Таблице 2. Эффект взаимодействия факторов конгруэнтности и индуцированного эмоционального состояния не достиг уровня статистической значимости ни для одного из параметров распределения, и полученный результат не зависел от критерия отсева выбросов. Величина эффекта для взаимодействия варьировалась от нулевой ( ηG2  
31 Таблица 2. Результаты сравнения для оцененных параметров экс-Гауссовских распределений.
32

33 Ввиду того, что некоторые величины эффектов в дисперсионном анализе соответствовали малой величине и могли не достичь статистической значимости из-за недостаточной статистической мощности, мы провели попарные сравнения для уровней конгруэнтности в зависимости от валентности эмоционального состояния с помощью t-критерия Стьюдента для зависимых выборок, чтобы попытаться установить возможный эффект взаимодействия по величинам эффекта, а не по уровню статистической значимости. При этом из-за ограничений по объему в тексте приводятся только результаты, полученные при отсеве выбросов по критерию M ± 2.5 SD. В дополнение был проведен анализ сенситивности, чтобы оценить ограничения, связанные с недостаточной статистической мощностью. Таблицы с результатами попарных сравнений для двух других критериев отсева выбросов и графики для анализа сенситивности доступны по ссылке: >>>> .
34 Результаты сравнений представлены в Таблице 3. По пропорции замедленных ответов (τ) при сравнении конгруэнтного условия с неконгруэнтным и нейтральным величины эффектов варьировались от умеренных до высоких, тогда как при сравнении неконгруэнтного условия с нейтральным – от незначительных до слабых. Однако общий паттерн величин эффектов для разных параметров распределения оставался единообразным и практически не зависел от индуцированного эмоционального состояния. Вместе с тем анализ сенситивности для α = .05, статистической мощности 80% и имеющегося объема выборки для дисперсионного анализа (n = 36) и попарных сравнений (n = 24) показал, что проведенный анализ наиболее чувствителен к обнаружению высокой величины эффекта и недостаточно чувствителен к умеренной и слабой величинам эффекта.
35 Таблица 3. Результаты попарных сравнений для уровней фактора конгруэнтности в зависимости от валентности индуцированного эмоционального состояния.
36

37 Примечание. Все сравнения выполнены при df = 11. Столбец padj. содержит величины p-уровня после применения поправки Бенджамини – Хохберга, а столбец 95% CI — 95% доверительные интервалы для величины эффекта dz.
38

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ
39 В данной работе проверялась гипотеза о влиянии индуцированного эмоционального состояния на выраженность эффекта кросс-модального соответствия, который возникал в ходе решения задачи на совместную обработку звуков разной высоты и имеющих пространственные коннотации слов, обозначающих эмоциональные состояния. Полученные результаты позволяют утверждать, что, хотя сам эффект аудиовизуального соответствия проявился в ускорении ответов участников на предъявление конгруэнтных стимулов по сравнению с неконгруэнтными, влияние валентности индуцированного эмоционального состояния на величину эффекта аудиовизуального соответствия не было ярко выраженным, что противоречит нашему исходному предположению. При этом результат был идентичным как при анализе всех вербальных стимулов, так и при анализе вербальных стимулов позитивной и негативной валентности по отдельности.
40 Мы видим несколько возможных объяснений полученным результатам. Первое заключается в том, что, возможно, кросс-модальное (аудиовизуальное) соответствие действительно является базовым перцептивным феноменом, обладающим относительной устойчивостью и не зависящим от содержания фоновых эмоциональных состояний субъекта – по крайней мере, от состояний той степени интенсивности, которая в принципе могла быть индуцирована в наших экспериментальных условиях и при этом не создавала бы угрозу психологической безопасности респондентов. Также необходимо учесть, что выбранный нами квазиэкспериментальный дизайн не предполагал контроля эмоциональных состояний у участников исследования после просмотра ими видеороликов. Несмотря на предварительную апробацию этих видеороликов в предшествующих работах [4; 35], однозначно утверждать, что соответствующие эмоциональные состояния действительно были индуцированы в ходе нашего исследования, не представляется возможным. Поэтому трактовка выводов исследования в терминах причинно-следственной связи между индуцированными эмоциональными состояниями и величиной эффекта кросс-модального соответствия должна осуществляться с определенной долей осторожности.
41 Второе объяснение связано с содержательной спецификой экспериментальной задачи, использовавшейся в нашем исследовании и предполагавшей работу респондентов со словами, обозначающими эмоциональные состояния. Необходимость запуска механизмов эмоционального реагирования, таким образом, была встроена в само содержание экспериментального задания как основной деятельности, которую требовалось выполнять участникам. Это обстоятельство заметно отличало использовавшуюся нами задачу от задач, стоявших перед участниками исследований, в которых на материале задач, не имеющих самостоятельного эмоционального содержания, было показано влияние эмоционального фона на протекание когнитивных процессов [12; 15; 20; 26] и по аналогии с которыми можно было бы ожидать фасилитацию когнитивной (в данном случае – перцептивной) обработки под воздействием положительного эмоционального состояния, что проявилось бы в уменьшении времени реакции на конгруэнтные пробы. Возможно, отсутствие выраженного влияния индуцированного эмоционального состояния на выраженность эффекта аудиовизуального соответствия является следствием интерференции содержательных характеристик стимулов (слов, обозначающих эмоциональные состояния) и самих эмоциональных состояний, искусственно индуцируемых в экспериментальной ситуации.
42 Наконец, третье объяснение связано с ограничениями дизайна исследования. В частности, по результатам анализа сенситивности было показано, что при имеющемся объеме выборки использованные методы обработки данных обладали субоптимальной статистической мощностью для обнаружения слабых и умеренных величин эффектов. Если допустить более низкую выраженность интересующего нас влияния индуцированных эмоциональных состояний на величину эффекта кросс-модального (аудиовизуального) соответствия, то формулировка вывода о наличии или отсутствии этого влияния в генеральной совокупности на данном этапе представляется невозможной.
43

ВЫВОДЫ
44 Основная гипотеза нашей работы – о дифференциальном влиянии индуцированного эмоционального состояния на величину эффекта кросс-модального (аудиовизуального) соответствия – на данном этапе не получила подтверждения, однако для формулировки более однозначного вывода о наличии или отсутствии такого влияния требуются дальнейшие исследования. В частности, перспективным представляется использование более широкого арсенала средств для индукции эмоциональных состояний у участников и дополнительный контроль интенсивности полученного результата, который в нашей работе отсутствовал. Также одним из направлений дальнейшей работы может стать создание экспериментального дизайна, который позволил бы проконтролировать потенциальную интерференцию, возникающую между эмоционально-окрашенными словами, содержащимися в стимульных пробах, и индуцированными эмоциональными состояниями, которые могут опосредовать кросс-модальную интеграцию. Наконец, отдельный интерес представляет учет не только ситуативных эмоциональных характеристик респондентов – эмоциональных состояний, которые выступали в качестве независимой переменной в настоящей работе, но и более устойчивых – например, стратегий эмоциональной регуляции, которые могут оказывать более выраженное влияние на механизмы мультисенсорной интеграции.

Библиография

1. Ананьев Б.Г. Теория ощущений. Л.: Изд-во Ленингр. ун-та, 1961.

2. Андрющенко Е.А., и др. На повышенных тонах: роль пространственного познания в кросс-модальном взаимодействии эмоциональной семантики и аудиального восприятия // Психология. Журнал Высшей школы экономики, 2022 (в печати).

3. Кравков С.В. Взаимодействие органов чувств. М.: Изд-во Академии наук СССР, 1948.

4. Панкратова А.А., Люсин Д.В. Видеоролики для индукции эмоций в лабораторных условиях: нормативные данные и кросс-культурный анализ // Экспериментальная психология. 2018. Т. 11. № 2. С. 5–15.

5. Armitage J., Eerola T. Cross-modal Transfer of Valence or Arousal from Music to Word Targets in Affective Priming? // Auditory Perception & Cognition. 2022. V. 5. № 3-4. P. 192–210.

6. Berger A., Kiefer M. Comparison of different response time outlier exclusion methods: a simulation study // Frontiers in Psychology. 2021. V. 12. Article 2194.

7. Blanca M. J., et al. Effect of variance ratio on ANOVA robustness: Might 1.5 be the limit? // Behavior Research Methods. 2018. V. 50. № 3. P. 937–962.

8. Brunetti R., et al. Are crossmodal correspondences relative or absolute? Sequential effects on speeded classification // Attention, Perception, & Psychophysics. 2018. V. 80. № 2. P. 527–534.

9. Cohen J. Statistical power analysis for the behavioral sciences (2nd ed.). Erlbaum. 1988.

10. Dolscheid S., et al. Space-pitch associations differ in their susceptibility to language // Cognition. 2020. V. 196. Article 104073.

11. Ernst M.O. Learning to integrate arbitrary signals from vision and touch // Journal of Vision. 2007. V. 7. № 5:7. P. 1–14.

12. Estrada C., Young M., Isen A.M. Positive affect influences creative problem solving and reported source of practice satisfaction in physicians // Motivation and Emotion. 1994. V. 18. P. 285–299.

13. Evans K.K., Treisman A. Natural cross-modal mappings between visual and auditory features // Journal of Vision. 2010. V. 10. № 1: 6. P. 1–12.

14. Fernandez-Prieto I., Spence C., Pons F., Navarra J. Does language influence the vertical representation of auditory pitch and loudness? // i-Perception. 2017. V. 8. № 3. P. 1–11.

15. Fredrickson B.L., Branigan C. Positive emotions broaden the scope of attention and thought‐action repertoires // Cognition & Emotion. 2005. V. 19. № 3. P. 313–332.

16. Gallace A., Spence C. Multisensory synesthetic interactions in the speeded classification of visual size // Perception & Psychophysics. 2006. V. 68. № 7. P. 1191–1203.

17. Gu S.L.H., Gau S.S.F., Tzang S.W., Hsu W.Y. The ex-Gaussian distribution of reaction times in adolescents with attention-deficit/hyperactivity disorder // Research in Developmental Disabilities. 2013. V. 34. № 11. P. 3709–3719.

18. Haverkamp N., Beauducel A. Violation of the sphericity assumption and its effect on type-I error rates in repeated measures ANOVA and multi-level linear models (MLM) // Frontiers in Psychology. 2017. V. 8. Article. 1841.

19. Hein G., et al. Object familiarity and semantic congruency modulate responses in cortical audiovisual integration areas // The Journal of Neuroscience. 2007. V. 27. P. 7881–7887.

20. Isen A.M., Daubman K.A., Nowicki G.P. Positive affect facilitates creative problem solving // Journal of Personality and Social Psychology. 1987. V. 52. № 6. P. 1122–1131.

21. Janyan A., et al. Look and ye shall hear: Selective auditory attention modulates the audiovisual correspondence effect // i-Perception. 2022. V. 13. № 3. P. 1–10.

22. Jonas C., Spiller M. J., Hibbard P. Summation of visual attributes in auditory–visual crossmodal correspondences // Psychonomic Bulletin & Review. 2017. V. 24. № 4. P. 1104–1112.

23. Luce R.D. Response times: Their role in inferring elementary mental organization. New York, NY: Oxford University Press. 1991.

24. Makovac E., Gerbino W. Sound–shape congruency affects the multisensory response enhancement // Visual Cognition. 2010. V. 18. P. 133–137.

25. Molholm S., Ritter W., Javitt D.C., Foxe J.J. Multisensory visual–auditory object recognition in humans: A high-density electrical mapping study // Cerebral Cortex. 2004. V. 14. P. 452–465.

26. Nasby W., Yando R. Selective encoding and retrieval of affectively valent information: Two cognitive consequences of children's mood states // Journal of Personality and Social Psychology. 1982. V. 43. P. 1244–1253.

27. Olejnik S., Algina J. Generalized eta and omega squared statistics: measures of effect size for some common research designs // Psychological Methods. 2003. V. 8. № 4. P. 434–447.

28. Parise C., Spence C. Synesthetic congruency modulates the temporal ventriloquism effect // Neuroscience Letters. 2008. V. 442. P. 257–261.

29. Parise C.V., Spence C. ‘When birds of a feather flock together’: synesthetic correspondences modulate audiovisual integration in non-synesthetes // PloS One. 2009. V. 4. № 5. Article e5664.

30. Patching G.R., Quinlan P.T. Garner and congruence effects in the speeded classification of bimodal signals // Journal of Experimental Psychology: Human Perception and Performance. 2002. V. 28. P. 755–775.

31. Puigcerver L., Rodríguez-Cuadrado S., Gómez-Tapia V., Navarra J. Vertical mapping of auditory loudness: loud is high, but quiet is not always low // Psicológica Journal. 2019. V. 40. № 2. P. 85–104.

32. Scherer L.D., Larsen R.J. Cross-modal evaluative priming: Emotional sounds influence the processing of emotion words // Emotion. 2011. V. 11. № 1. P. 203–208.

33. Spence C. Crossmodal correspondences: A tutorial review // Attention, Perception, & Psychophysics. 2011. V. 73. № 4. P. 971–995.

34. Steinhauser M., Hübner R. Distinguishing response conflict and task conflict in the Stroop task: evidence from ex-Gaussian distribution analysis // Journal of Experimental Psychology: Human Perception and Performance. 2009. V. 35. № 5. P. 1398–1412.

35. Suchkova E., Lyusin D. The Influence of Natural and Induced Emotional States on the Recognition of Emotional Facial Expressions (November 6, 2020). Higher School of Economics Research Paper No. WP BRP 121/PSY/2020. SSRN: https://ssrn.com/abstract=3732065 (дата обращения: 03.07.2022).

36. van Atteveldt N., Formisano E., Goebel R., Blomert L. Integration of letters and speech sounds in the human brain // Neuron. 2004. V. 43. P. 271–282.

37. Vatakis A., Spence C. Crossmodal binding: Evaluating the “unity assumption” using audiovisual speech stimuli // Perception & Psychophysics. 2007. V. 69. P. 744–756.

Комментарии

Сообщения не найдены

Написать отзыв
Перевести