Мета-анализ и попытка широкомасштабного тиражирования преимущества бессознательной мысли
Действительно ли трудные решения лучше всего принимать после кратковременного отвлечения внимания? Предыдущие исследования, посвященные этому важному вопросу, привели к десяткам экспериментов, в которых участников просили выбрать наилучший из нескольких вариантов (например, автомобили или квартиры) либо после сознательного обдумывания, либо после кратковременного отвлечения внимания, вызванного несвязанной задачей. Результаты этих исследований были неоднозначными. Некоторые исследователи обнаружили, что участники, которые сначала выполнили несвязанное задание, с большей вероятностью выбрали наилучший вариант, в то время как другие не нашли доказательств этого так называемого преимущества бессознательного мышления (UTA). В текущем исследовании были рассмотрены два объяснения этого несоответствия в предыдущих результатах. Согласно отчету о надежности, UTA не существует, и предыдущие сообщения об этом эффекте касались только ложных эффектов, полученных с использованием ненадежной парадигмы. В отличие от этого, учетная запись модератора предполагает, что UTA - это реальный эффект, который возникает только при выполнении определенных условий в задаче выбора. Чтобы проверить эти аккаунты, мы провели мета-анализ и крупномасштабное исследование репликации (N = 399), которые соответствовали условиям, считавшимся оптимальными для репликации UTA. В соответствии с принципом надежности, крупномасштабное исследование по репликации не дало никаких доказательств в пользу UTA, а метаанализ показал, что предыдущие отчеты по UTA были ограничены маломощными исследованиями, в которых использовались относительно небольшие размеры выборки. Более того, результаты широкомасштабного исследования также опровергли недавнее предположение о том, что UTA может быть гендерно-специфичным. Таким образом, мы приходим к выводу, что не существует надежной поддержки утверждению о том, что кратковременное переключение внимания приводит к принятию более эффективных решений, чем период обдумывания.1 Вступление
В то время как исследования человеческого суждения и процесса принятия решений привели к многочисленным выводам, свидетельствующим о том, что лучший способ сделать трудный выбор - тщательно обдумать варианты и их последствия (например, Baron, 2008; Ссылка на Канемана, 2011), теория бессознательного мышления (ссылка на Дейкстерхейса и Нордгрендейкстерхейса и Нордгрена, 2006) предполагает, что это не обязательно лучший способ сделать трудный выбор. Скорее, эта теория предполагает, что лучший способ принять трудное решение - воздержаться от кропотливого сознательного обдумывания и позволить своему подсознанию решить проблему, в то время как человек занимается более приятными занятиями, такими как разгадывание кроссворда. Более конкретно, эта теория утверждает о существовании бессознательной формы мышления, которая обладает гораздо большей способностью к обработке информации, чем сознательное мышление. В результате кратковременное отвлечение внимания пойдет на пользу принятию трудного решения, поскольку позволит умному подсознанию взять инициативу в свои руки и решить возникшую проблему.Так действительно ли следует рекомендовать лицам, принимающим решения, — как это было сделано (BBC News, 2006; Ссылка на HoareHoare, 2012) — воздерживаться от сознательного обдумывания и полагаться на свое подсознание при принятии трудных решений? Исследования, посвященные этому вопросу, начались с оригинальных исследований, в которых Дейкстерхуис и его коллеги представили участникам большое количество объектов недвижимости с различными вариантами выбора (например, автомобили, кандидаты в соседи по комнате, квартиры), а затем попросили участников выбрать наилучший вариант либо после периода сознательного обдумывания, либо после того, как они определились с выбором. после выполнения несвязанной задачи. (Графическое изображение парадигмы приведено на рисунке 1.) Хотя статистический анализ, проведенный Дейкстерхейсом и его коллегами, был неоптимальным, результаты некоторых из этих экспериментов действительно показали, что участники, которые сначала выполняли несвязанное задание, с большей вероятностью выбирали наилучший вариант, чем участники, которым была предоставлена возможность обдумать — явление, называемое преимуществом бессознательного мышления. После этих отчётов многие другие исследователи попытались повторить результаты UTA (например, Acker, 2008, который проанализировал результаты, полученные в 2008 году), и результаты этих попыток были неоднозначными, поскольку они были разделены почти поровну между исследованиями, которые нашли доказательства UTA и не нашли их.
2 Текущее исследование
В текущем исследовании мы сопоставляем два объяснения противоречивых результатов предыдущих исследований, в которых рассматривался UTA. Согласно представлению о надежности, UTA не существует, и предыдущие сообщения об этом эффекте не касаются ничего, кроме ложных различий, полученных из ненадежной парадигмы. В отличие от этого, аккаунт модератора предполагает, что UTA является реальным, но соблюдается только при выполнении определенных условий в задаче выбора. В следующих разделах мы сначала подробно рассмотрим аргументацию, лежащую в основе этих аккаунтов, а затем перейдем к подходу, который мы использовали для принятия решения между ними.2.1 Учет надежности
На учет надежности уже намекали в одном из ранних исследований, в котором не удалось воспроизвести UTA. В этом исследовании Acker (2008) провел мета-анализ 17 экспериментов, которые были доступны на тот момент. Анализ показал, что только в пяти из этих экспериментов был отмечен статистически значимый эффект UTA. Кроме того, Экер обнаружил, что эти эксперименты имели “наибольший эффект, но в то же время наименьший размер выборки”, что повышает вероятность того, что результаты, полученные в этих исследованиях, касались побочных эффектов.
Действительно, парадигма бессознательного мышления, показанная на рисунке 1, обладает тремя свойствами, которые в совокупности, по-видимому, являются мощным средством получения ложных результатов, особенно при небольших размерах выборки. Начнем с того, что парадигма включает в себя сложную задачу, выполнение которой, вероятно, будет зависеть от множества факторов, которые могут различаться в зависимости от времени и участников, включая концентрацию, образ мышления, пол, мотивацию, знания о предстоящем выборе, внимание и память. Во-вторых, парадигма использует межпредметное манипулирование образом мышления со случайным распределением, что означает, что эффект от манипулирования отвлечением и обдумыванием оценивается путем сравнения результатов разных участников. В-третьих, показатель эффективности выполнения задания основан только на единичном наблюдении за каждым участником, а это означает, что каждый участник выполняет задание только один раз, без практики. Можно утверждать, что такое сочетание свойств является эффективным способом получения ложных результатов, поскольку использование случайного распределения не обязательно гарантирует равное распределение факторов, связанных с задачей, между двумя группами участников, особенно когда число таких факторов велико, как, по-видимому, и имеет место в парадигме бессознательного мышления. Более того, использование схемы с одним испытанием влечет за собой то, что показатель эффективности, полученный для каждого участника, неизбежно будет ненадежным показателем истинной средней производительности этого участника. Соответственно, представляется очевидным, что надежность и достоверность результатов исследований, изучающих UTA, в решающей степени зависит от того, был ли в этих исследованиях использован достаточно большой объем выборки, чтобы сбалансировать многие потенциальные мешающие факторы при сравнении результатов в условиях обдумывания и отвлечения внимания. Само собой разумеется, что исследования с небольшой выборкой, которые выявили статистически значимую разницу в производительности в условиях обдумывания и отвлечения внимания, были ложными.
2.2 Учетная запись модератора
В отличие от аккаунта надежности, аккаунт модератора предполагает, что UTA - это реальный эффект, который наблюдается только при соблюдении определенных условий в отношении задачи выбора. Это объяснение было предложено в недавнем мета-анализе, проведенном сторонниками теории бессознательного мышления. Анализ включал в себя большую коллекцию опубликованных и неопубликованных наборов данных, а также большое количество потенциальных модераторов UTA, включая, казалось бы, тривиальные методологические детали, такие как то, включало ли отвлекающее задание головоломку с поиском слов или анаграмму. Результаты показали, что суммарный эффект составил 0,218 (ДИ: 0,130-0,307, p < 0,01), что позволяет предположить, что в целом отвлечение внимания при принятии сложных решений действительно имеет место. Более того, многие из переменных-модераторов, включенных в анализ, действительно оказали значительное влияние на величину этого преимущества. В частности, было установлено, что величина эффекта от UTA зависит от сложности задачи выбора, типа цели, которую участники ставили перед собой на этапе сбора информации о задаче, способа представления информации об альтернативах выбора, продолжительности фазы обдумывания или отвлечения внимания, и характер задачи, которая была использована для отвлечения внимания в состоянии отвлечения внимания. Соответственно, Стрик и др. сделан вывод о том, что UTA реальна, но для возникновения этого эффекта требуется выполнение определенных условий, на что указывают результаты анализа, проведенного модератором.
3 Основные положения текущего исследования
В текущем исследовании мы намеревались провести сравнение между надежными аккаунтами и аккаунтами модераторов. С этой целью мы провели крупномасштабное исследование репликации, которое соответствовало каждому из условий, показавших значительный эффект в мета-анализе, проведенном Strick et al. (2011; см. таблицу 1), и мы провели мета-анализ, который вышел за рамки анализа, проведенного Strick et al. путем изучения взаимосвязи между размерами выборки и эффекта с помощью воронкообразного графика (т.е. графика, который отображает размеры эффекта в зависимости от показателя точности исследования, который напрямую связан с размером выборки, например, как величина, обратная стандартной ошибке; например, Egger, Smith, Schneider, & Meyer, 1997; Reference Light и PillemerLight & Pillemer, 1984). Согласно отчету о надежности, предыдущие выводы о значительном преимуществе отвлечения внимания касаются не чего иного, как ложного результата, и, следовательно, можно ожидать, что эти результаты будут ограничены исследованиями, в которых использовались относительно небольшие размеры выборки, поскольку вероятность ложного эффекта должна уменьшаться с увеличением размера выборки. Кроме того, учет надежности также предсказывает, что наше крупномасштабное исследование по репликации не должно показать значительного UTA, несмотря на то, что дизайн этого исследования соответствовал рекомендациям, представленным в мета-анализе Strick et al. (2011). Напротив, в отчете модератора было бы предсказано, что UTA также следует соблюдать в исследованиях, в которых использовался относительно большой объем выборки, при условии, что они соответствовали условиям, при которых ожидается возникновение UTA (Ссылка Strick, Dijksterhuis, Bos и Van BaarenStrick et al., 2011). Таким образом, согласно сообщению модератора, наше крупномасштабное исследование репликации, как ожидается, также выявит UTA.4 Крупномасштабное исследование репликации
Отправной точкой для широкомасштабного исследования по тиражированию стало недавнее исследование, в котором Ньювенштейн и Ван Рейн (2012) провели первое тестирование учетной записи модератора и получили ряд результатов, требующих дальнейшего эмпирического подтверждения. В этом более раннем исследовании Ньювенштейн и Ван Рейн использовали задачу, которая удовлетворяла условиям, при которых UTA, согласно Стрику и др., должна быть сильной. (2011), при этом контраст между обдумыванием и отвлечением внимания был реализован в виде внутрипредметного проекта, чтобы исключить возможность того, что любая наблюдаемая УТП может быть вызвана ложными различиями между группами. Результаты четырех таких экспериментов не дали статистически значимого эффекта UTA, что позволяет предположить, что даже при соблюдении всех условий замедления, определенных Стриком и др. , UTA либо невелик, либо не наблюдается вообще. Однако важно отметить, что в этих экспериментах использовался относительно небольшой размер выборки (24-48 участников), а эксперимент, в котором использовался самый большой размер выборки (N = 48), показал незначительную разницу в направлении UTA. Кроме того, результаты также позволили предположить, что, возможно, UTA зависит от пола, поскольку последующий исследовательский анализ всех четырех экспериментов выявил значительную взаимосвязь между образом мышления и полом: участники мужского пола продемонстрировали статистически значимое преимущество в осознанном мышлении, в то время как участницы женского пола продемонстрировали незначительную тенденцию к UTA. Наконец, результаты этих экспериментов также показали, что, поскольку UTA действительно существует, это может произойти только тогда, когда продолжительность фазы обдумывания в состоянии сознательного обдумывания установлена на уровне нескольких минут. В частности, результаты показали, что участникам потребовалось всего 30 секунд, чтобы обдумать свой выбор, и они также предоставили доказательства того, что производительность в состоянии осознанного обдумывания выше, когда фаза обдумывания проходит в произвольном темпе, в отличие от фиксированной и неоправданно долгой (см. также ссылки на Пейна, Сампера, Беттмана и Лучепейн, Сампер, Беттман и Люс, 2008).Учитывая опасения по поводу надежности результатов, полученных в рамках парадигмы бессознательного мышления, и учитывая постфактумный характер исследовательских анализов, которые предполагали, что UTA может быть гендерно специфичным, очевидно, что результаты, представленные Ньювенштейном и Ван Рейном (2012), требуют более тщательного тестирования с более широким охватом. группа участников. С этой целью в текущем исследовании был повторен первый эксперимент Ньювенштейна и Ван Рейна, то есть тот, который показал незначительную разницу в направлении UTA, с выборкой участников, которая была почти на порядок больше (N = 399), чем выборка, использованная Ньювенштейном и Ван Рейном. Ван Рийн, таким образом, предлагает гораздо более убедительную проверку сноски 2 к UTA и потенциальной сдерживающей роли гендера. Кроме того, в этой крупномасштабной попытке тиражирования также использовался индивидуальный подход для сравнения условий обдумывания и отвлечения внимания, при этом порядок выполнения этих условий был сбалансирован для всех участников. Кроме того, эксперимент включал в себя две версии условия обдумывания, которые отличались по тому, была ли продолжительность фазы обдумывания фиксированной или изменялась самостоятельно, что позволило нам проверить, действительно ли выполнение условия обдумывания - и, возможно, возникновение UTA — зависит от продолжительности фазы обдумывания. Продолжительность этапа обсуждения варьировалась в зависимости от испытуемых, и мы использовали два разных набора вариантов для двух вариантов, которые должны были быть сделаны каждым участником (например, выбор между четырьмя автомобилями или четырьмя квартирами), со случайным распределением этих наборов вариантов по двум условиям выбора.
4.1 Методы
4.1.1 Участники
Исследование было проведено в рамках тестовой сессии в Амстердамском университете (Сноска 3), в которой все студенты первого курса факультета психологии могли принять участие на добровольной основе для получения зачета по курсу. Число студентов, принявших участие в исследовании, составило 423 человека, и в эту выборку вошли 24 человека, для которых голландский язык не был родным, чьи данные были исключены из анализа. Исключение этих участников не повлияло на результаты. Остальным 399 участникам было в среднем 19,7 лет (SD = 1,86 года), и среди них было 130 мужчин.
4.1.2 Материалы
Эксперимент проводился на компьютере с использованием программы, написанной на Adobe Authorware. Эксперимент состоял из двух заданий на выбор и задания на поиск слов. Головоломка с поиском слов использовалась для отвлечения участников на этапе бессознательного обдумывания.
Для каждого из заданий на выбор участники получали информацию о четырех вариантах — автомобилях или квартирах, — которые были описаны в терминах двенадцати свойств, которые могли быть желательными или нежелательными.Сноска 4 Качество вариантов определялось с точки зрения их количества желательных свойств, таким образом, наилучший вариант обладал 9 желательными свойствами, в то время как два промежуточных варианта обладали по 6 желательными свойствами, а наихудший вариант обладал только 3 желательными свойствами. На этапе сбора информации эти свойства были представлены одно за другим в виде серии временных дисплеев, каждый из которых включал вымышленное название опции, предложение, описывающее свойство опции, и изображение выбранного варианта. На картинках были изображены настоящие автомобили и жилые дома (см. также Nieuwenstein & Van Rijn, 2012). Задание-головоломка для поиска слов состояло из набора букв размером 10х10, который был показан вместе с заданным словом. Буквы были проиндексированы цифрами от 1 до 100, и задача участников состояла в том, чтобы найти нужное слово и ввести цифры, соответствующие первой и последней букве слова. Целевые слова обозначали страны, овощи или фрукты и могли быть записаны в массиве в любом направлении.
4.1.3 Процедура
В начале исследования участники отрабатывали задание-головоломку по поиску слов, которое позже им было предложено выполнить еще раз на этапе бессознательного обдумывания. После выполнения этого задания в течение одной минуты участникам сообщили, что сейчас они увидят презентацию о четырех [автомобилях/квартирах], каждый из которых будет описан в терминах различных свойств. В соответствии с рекомендациями Стрика и др. (2011), участники были проинструктированы о том, что у них должно сложиться хорошее впечатление о каждом из этих вариантов. Затем им была показана последовательность из 48 отображений параметров и их свойств. Свойства были сгруппированы по параметрам, и двенадцать свойств были представлены в одинаковом порядке для каждого из четырех вариантов. Продолжительность каждого отображения была установлена равной 2,5 секундам. В условиях отвлечения внимания за этим этапом получения информации следовала инструкция, в которой участникам говорилось, что позже их попросят высказать свое мнение о вариантах и что сначала им нужно будет выполнить задание-головоломку с поиском слов в течение трех минут. В условиях обсуждения участникам также сказали, что позже их попросят высказать свое мнение о вариантах, и проинструктировали, что сначала у них будет три минуты (фиксированный этап обсуждения) или столько, сколько им потребуется (самостоятельный этап обсуждения), чтобы тщательно обдумать варианты. В течение этого периода в поле зрения оставались изображения и названия опций, а также счетчик, который показывал время в секундах. В режиме самостоятельного обсуждения на дисплее отображался тот же дисплей, но теперь участники могли нажать определенную клавишу, как только они приняли решение. На этом этапе участники получали инструкцию выбрать наилучший вариант, нажав соответствующую клавишу на клавиатуре. В режиме фиксированного обдумывания эта инструкция появлялась автоматически по истечении трех минут. После выбора наилучшего варианта участников просили указать по 10-балльной шкале, насколько они уверены в своем выборе. Кроме того, участников теста с фиксированной 3-минутной фазой обсуждения попросили оценить, сколько времени им потребовалось для принятия решения. Для участников, находившихся в состоянии самостоятельного обсуждения, программа регистрировала, сколько времени прошло, прежде чем они сообщили, что приняли решение.
4.1.4 Проектирование
Каждый участник сделал один выбор после сознательного обдумывания и один выбор после выполнения задания на поиск слов, и порядок выполнения этих условий был сбалансирован для всех участников. Для половины участников продолжительность фазы обдумывания в состоянии осознанного обдумывания была установлена на уровне 3 минут, а для остальных участников она была самостоятельной. Продолжительность задания по поиску слов, которое использовалось для отвлечения внимания от мыслей в состоянии рассеянности, составила для всех участников три минуты. Два порядка выполнения условий обдумывания и отвлечения внимания, а также две продолжительности фазы обдумывания были скрещены, чтобы создать четыре разных варианта задания, и участники были случайным образом распределены по одному из этих четырех вариантов. Два набора вариантов (автомобили и квартиры) были случайным образом распределены в зависимости от условий обдумывания и отвлечения внимания, что позволило сбалансировать внутренние и межпредметные факторы.
4.1.5 Анализ данных
План анализа данных состоял в том, чтобы проверить точность выполнения задачи выбора в отношении основных эффектов и взаимодействий между образом мышления (обдумывание и отвлечение внимания), полом (мужчина или женщина) и продолжительностью фазы обдумывания в режиме обдумывания (фиксированный или самостоятельный темп). Точность выбора определялась в зависимости от того, выбрал ли участник вариант с наибольшим количеством желаемых свойств, как это обычно делается в этой парадигме. Поскольку этот результат имеет биномиальное распределение, данные были смоделированы с использованием логит-функции и проанализированы с использованием обобщенной линейной модели (GLM). Эффекты, которые были протестированы с использованием GLM, были оценены с использованием обобщенных оценочных уравнений, чтобы учесть возможность корреляции результатов наблюдений с таким фактором, как образ мышления испытуемых. Оценки достоверности были обработаны как порядковая переменная и проанализированы для тех же эффектов с использованием GLM.
4.2 Результаты
В качестве первого шага при анализе данных мы исследовали, сколько времени требовалось участникам для обдумывания своего выбора в условиях фиксированного и самостоятельного темпа осознанного мышления, и мы исследовали, зависит ли точность выбора в этих условиях от того, была ли продолжительность фазы обдумывания самостоятельной или фиксированной на уровне трех минут. Анализ времени на обдумывание показал, что в среднем участникам в условиях самостоятельной работы требовалось всего 23 секунды на обдумывание (SD = 19,4, 95% ДИ = [20,5; 26,1]). Кроме того, этот анализ показал, что не было существенной взаимосвязи между точностью выбора и временем обдумывания, при этом среднее время обдумывания составило 25,0 (SD = 25,4, 95% ДИ = [20,0; 30,7]) и 21,7 секунды (SD = 13,1, 95% ДИ = [13,5; 24,4])., соответственно, для участников, сделавших неправильный или правильный выбор (t[195] = 1,17, p = .24, d Коэна = .17). Аналогичный результат был получен для участников, для которых продолжительность фазы обдумывания была установлена на уровне трех минут. Если быть точным, эти участники сообщили, что им потребовалось 37 секунд (SD= 31,0, 95% ДИ= [32,7; 41,4]) в среднем для обдумывания, и для этих участников время обдумывания, по их собственным оценкам, не отличалось между участниками, которые сделали правильный или неправильный выбор, M = 37,7 ( SD = 30,1, 95% ДИ= [31,3; 44,3]) против M = 37,1 ( SD = 31,8, 95% ДИ = [ 32,1; 42,7]) секунд соответственно, t(200) = .15, p = .88, d Коэна = 0,02. Наконец, сравнение точности выбора в условиях обсуждения с самостоятельной и фиксированной фазой обсуждения не показало существенного влияния продолжительности фазы обсуждения, при этом процент правильных решений составил 59,4 и 56,9% соответственно для фиксированных и самостоятельных условий, Z = .52, p = .61.
Основной интересующий нас анализ касался точности выбора с учетом влияния образа мыслей и пола. Как видно из таблиц 3A и 3B, не было выявлено существенных эффектов, связанных с образом мышления, при этом процент правильных решений составил 58,2% и 61,9% соответственно в условиях обдумывания и отвлечения внимания.Примечание 5 Единственным фактором, повлиявшим на достижение значимости, был гендерный фактор: участники женского пола значительно чаще выбирали наилучший вариант, чем участники мужского пола (63% против 53% соответственно). Однако важно отметить, что гендер не взаимодействовал с образом мышления, поэтому не удалось воспроизвести эффект взаимодействия, который был обнаружен в предварительном анализе, проведенном Ньювенштейном и Ван Рейном (2012). Наконец, анализ оценок уверенности не выявил существенного влияния образа мышления или продолжительности фазы обсуждения, в то время как он выявил значительное влияние пола, χ2(1) = 13,27, p < 0,001, при этом участники женского пола были менее уверены в своем выборе, чем участники мужского пола (M = 6,9 против M = 7,4 соответственно).
4.3 Байесовский факторный анализ
Хотя результаты GLM-анализа четко демонстрируют отсутствие статистически значимого UTA, этот тип анализа не позволяет количественно оценить, в какой степени результаты подтверждают нулевую гипотезу по сравнению с альтернативной гипотезой, которая предполагает, что эффект действительно существует. Одним из подходов, который предлагает элегантные средства для этого, является вычисление коэффициента Байеса (например, Dienes, 2008; Ссылка DienesDienes, 2011; Ссылка JeffreysJeffreys, 1961; Ссылка Morey and RouderMorey & Rouder, 2011; Ссылка Newell and RakowNewell & Rakow, 2011; Ссылка на Rouder, Speckman, Sun, Morey и IversonRouder, Speckman, Sun, Morey и Iverson, 2009; Ссылка на WagenmakersWagenmakers, 2007). Чтобы быть точным, коэффициент Байеса может быть использован для конкурентного сопоставления двух моделей данных, которые в данном случае представляют нулевую гипотезу (H0) об отсутствии эффекта UTA и альтернативную гипотезу (H1), которая предполагает, что этот эффект действительно существует. Коэффициент Байеса - это относительная вероятность данных в соответствии с этими двумя гипотезами, и результат этого вычисления указывает на степень, в которой рациональные наблюдатели должны скорректировать свои относительные убеждения в ответ на полученные данные. В частности, если коэффициент Байеса больше единицы, это указывает на то, что вера должна быть скорректирована в пользу нулевой гипотезы, а если он меньше единицы, это указывает на то, что вера должна быть скорректирована в пользу альтернативной гипотезы.
Чтобы выгодно противопоставить модели h0 и H1, мы сначала должны были построить модель для H1, которая должна была точно представлять результат, который сторонник UTA предсказал бы для текущего исследования. Для построения модели мы использовали результаты шести экспериментов, которые были проведены сторонниками UTA и которые, как сообщалось, показали значительный UTA (Эксперимент 2 в Dijksterhuis [2004], Эксперимент 1 в Dijksterhuis и др. [2006], эксперименты 1 и 2 в работе Nordgren, Bos и Dijksterhuis [2011] и эксперименты 1 и 2 в работе Strick, Dijksterhuis и Van Baaren [2010]). Причины использования этих экспериментов в качестве основы для модели H1 заключались в том, что все они, как сообщалось, свидетельствовали в пользу UTA (хотя не все эти эффекты были статистически значимыми, см. Дополнение), а также в том, что они были похожи на текущее исследование с точки зрения оценки их результатов (пропорции правильного выбора). Причина, по которой мы решили использовать только те исследования, в которых были указаны правильные пропорции, в отличие от всех исследований, проведенных сторонниками UTA, заключалась в том, что это позволило нам использовать одну и ту же шкалу для моделирования данных из нашего собственного исследования и из исследований, которые мы использовали для построения H1 ранее.
В совокупности шесть экспериментов, использованных в качестве основы для h1 prior, включали 150 участников в состоянии отвлечения внимания и 172 участника в состоянии обдумывания, и доля правильных решений в этих условиях составила 0,62 и 0,31 соответственно. На основе этих данных мы разработали модель для H1 (подробности см. в приложении), которая, как можно утверждать, отражает прогноз, который сторонник UTA сделал бы для текущего эксперимента в соответствии со своими собственными наблюдениями. Действительно, можно даже утверждать, что наша оценка этого прогноза недооценивает эффект, который сторонник UTA предсказал бы для текущего исследования, поскольку 6 исследований, использованных для получения этого прогнозируемого результата, не все соответствовали всем требованиям для сильного эффекта UTA, как было предложено Стриком и соавторами. (2011) в своем мета-анализе. Таким образом, в той мере, в какой кто-то считает, что UTA сильнее, если следовать рекомендациям Стрика и др. если следовать этому, следует также полагать, что результат, который мы получили в качестве прогноза для предшествующего H1, недооценивает величину UTA, которую сторонники прогнозировали бы для нашего эксперимента, который соответствовал всем рекомендациям Стрика и др.
При вычислении коэффициента Байеса мы предположили, что пропорции правильных выборов в условиях обдумывания и отвлечения внимания были биномиально распределены, а параметры этих распределений были получены из стандартной пробит-модели. Применив эту пробит-модель к 6 предыдущим исследованиям, показывающим UTA, мы получили распределение априорных ожиданий истинного размера эффекта при H1 (показано пунктирной линией на рисунке 2). В текущем исследовании мы применили аналогичную процедуру для моделирования результатов сравнения условий обдумывания и отвлечения внимания между испытуемыми, используя только результаты для условий, которые были выполнены каждым участником в первую очередь (примечание 6) (см. таблицу 4). Затем был вычислен байесовский коэффициент как степень, на которую плотность вокруг нулевой гипотезы d= 0 увеличилась с предшествующей для H1 до последующей после включения данных нашего крупномасштабного исследования. Как видно из рисунка 2, нулевой эффект нашего исследования привел к тому, что апостериорное распределение собралось вокруг нулевого значения d= 0. В частности, плотность при d= 0 увеличилась в 7,83 раза, что означает, что рациональный наблюдатель, который считает, что h1 вместо H0, должен скорректировать свое мнение в пользу H0 в 7,83 раза.Сноска 7
5 Метаанализ
Взятые вместе, результаты крупномасштабного исследования репликации предоставляют убедительные доказательства против учетной записи модератора, поскольку они ясно показывают, что масштабное исследование, оптимизированное в соответствии с предполагаемыми модераторами UTA, не дает никаких доказательств этого эффекта. По сути, результаты крупномасштабного исследования по тиражированию также могут рассматриваться в качестве подтверждения достоверности отчета. Как описано во введении, этот отчет не только предсказывает, что UTA не будет обнаружен в крупномасштабном исследовании, но и предсказывает, что предыдущие исследования, которые действительно показали этот эффект, должны быть ограничены исследованиями, которые были ненадежными из-за использования небольших размеров выборки.Чтобы проверить этот прогноз, мы изучили взаимосвязь между эффектом и размерами выборки для набора данных, который включал как наше крупномасштабное исследование, так и все ранее опубликованные эксперименты, в которых сравнивалась точность сложных решений, сделанных после отвлечения внимания или обдумывания. В частности, мы собрали данные из всех опубликованных исследований, в которых использовались задания на выбор одного и того же типа с несколькими атрибутами, а также те же типы условий для обдумывания и отвлечения внимания, которые Дейкстерхейс и его коллеги использовали в своих основополагающих исследованиях 2004 и 2006 годов (описание задания приведено на рис. 1), и которые с тех пор были изменены. был использован в десятках попыток репликации. (Список этих исследований, их результаты и размеры выборки приведены в таблице 6.) Основываясь на этих данных, мы построили так называемый воронкообразный график, на котором размеры эффекта были сопоставлены с показателем точности исследования, напрямую связанным с размером выборки, а именно с величиной, обратной стандартной ошибке (Ссылка Egger, Smith, Schneider and MinderEgger et al., 1997; см. также, Bakker et al, 2012; Reference Light и PillemerLight & Pillemer, 1984). Что особенно важно для настоящего исследования, этот тип графика позволяет выделить области, имеющие статистическую (не) значимость, поскольку значимость стандартизированного показателя средней разницы является функцией показателя и его стандартной ошибки. Таким образом, воронкообразный график позволяет зрителю одним взглядом оценить как распределение значимых, так и несущественных эффектов, а также взаимосвязь между этими эффектами и их достоверностью, определяемой в терминах стандартной ошибки. Соответственно, изучив график воронки, можно определить, действительно ли предыдущие сообщения о значительном UTA ограничивались исследованиями, которые были относительно ненадежными из-за использования небольших объемов выборки, как и предсказывалось в отчете о надежности.
Помимо использования воронкообразного графика для изучения взаимосвязи между эффектом и размерами выборки, мы подвергли набор данных количественному метаанализу, в ходе которого рассчитали общую величину эффекта, а также проанализировали и скорректировали набор данных на предмет наличия предвзятости публикаций, используя процедуры, подробно описанные в следующих разделах.
5.1 Критерии сбора данных и включения в исследование
Исследования, сравнивающие влияние рассеянности и обдумывания на суждения и принятие решений человеком, были проведены путем поиска в базе данных Web of Science по ключевым словам “бессознательное мышление” и “обдумывание без внимания”. Кроме того, мы проверили все ссылки на два основополагающих исследования Дейкстерхейса и его коллег (Ссылка на Дейкстерхейса, 2004; Ссылка на Дейкстерхейса и Ван Олдендейкстерхейса и др., 2006), и мы перепроверили найденные исследования с набором исследований, включенных в мета-анализ Стрика и др. (2011). В результате этого поиска был получен набор из 54 опубликованных научных статей, в которых сообщалось в общей сложности о 129 уникальных сравнениях влияния отвлечения внимания и обдумывания на некоторые показатели точности суждений или выбора (общее описание этих исследований приведено в таблице 5; список всех найденных исследований приведен в приложении).
Как видно из таблицы 5, в большинстве опубликованных исследований, в которых сравнивалось влияние отвлечения внимания и обдумывания на суждения и принятие решений, использовалась задача выбора по нескольким признакам, аналогичная той, которая использовалась в текущей крупномасштабной попытке тиражирования. В частности, из 54 научных статей, которые мы нашли, 33 включали одно или несколько исследований, в которых сравнивалось влияние отвлечения внимания и обдумывания на задачу выбора с несколькими атрибутами, и в этих статьях вместе сообщалось в общей сложности о 81 таком исследовании (63% всех исследований). Для сравнения, следующая по величине группа исследований, в которой изучалось влияние обдумывания и отвлечения внимания на креативность, включала всего 13 исследований, о которых сообщалось в 5 научных статьях. Поскольку нашей основной целью при проведении мета-анализа было изучение взаимосвязи между размерами выборки и эффектами, мы решили ограничить наш анализ исследованиями, в которых использовалась задача выбора с несколькими атрибутами, поскольку эти исследования составляли подавляющее большинство всех исследований, а также потому, что использование однотипных задач означало, что они могли предполагается, что все они измеряют один и тот же эффект. Исследования, в которых изучалось влияние обдумывания и отвлечения внимания на решение задач с несколькими аттракторами, включались в метаанализ, если они удовлетворяли следующим трем критериям включения:
1. Исследование должно включать достаточную информацию для расчета коэффициента хеджирования, показателя стандартизированной средней разницы между условиями. Этот критерий привел к исключению одного исследования.
2. Инструкции, данные участникам, должны были быть аналогичны инструкциям, использованным Дейкстерхейсом и его коллегами в их основополагающих исследованиях 2004 и 2006 годов. Это означало, что участники должны были быть проинструктированы о том, как составить представление о вариантах на этапе получения информации (в отличие от инструктажа по запоминанию информации о вариантах), и что они должны были быть проинформированы перед выполнением отвлекающего задания о том, что позже их попросят оценить или выбрать один из вариантов. Этот критерий привел к исключению 7 исследований, в каждом из которых использовалась инструкция для запоминания информации на этапе получения информации.
3. Задача выбора, используемая в задаче выбора с несколькими атрибутами, должна была быть сложной, поскольку UTA прогнозируется только для сложных вариантов. Сложность задачи выбора с несколькими атрибутами может быть определена в терминах количества вариантов, умноженного на количество атрибутов, используемых для описания этих вариантов. Ссылка Дийкстерхейс и Нордгрендийкстерхейс и Нордгрен (2006) не предложили критерия того, когда выбор из нескольких атрибутов следует считать сложным, но исследования, проведенные Дийкстерхейсом и его коллегами, ясно показывают, что варианты, включающие в общей сложности 16 атрибутов, считаются простыми и, следовательно, вряд ли приведут к UTA, в то время как варианты, включающие в себя в общей сложности 16 атрибутов. было предсказано, что использование в общей сложности 30 или более атрибутов приведет к UTA и, таким образом, может считаться сложным. Соответственно, мы включили только исследования, в которых было в общей сложности не менее 30 признаков, в результате чего были исключены 4 исследования, в каждом из которых использовалась задача выбора с несколькими признаками, в которой четыре варианта определялись только четырьмя признаками.
5.2 Набор данных и расчет величины эффекта
После исключения двенадцати исследований с множественным выбором признаков, которые не соответствовали нашим критериям включения, в нашем наборе данных осталось в общей сложности 69 исследований. В качестве последующего шага мы рассчитали суммарные величины эффекта для 7 исследований, в которых были представлены результаты двух отдельных сравнений для двух групп участников. Чтобы быть точным, мы рассчитали суммарные величины эффекта для исследований, в которых сравнивались состояния отвлечения и обдумывания по отдельности для двух групп участников, которые отличались тем, что были настроены на получение ощущения высокой или низкой мощности (эксперименты 1 и 2 в работе Smith, Dijksterhuis и WigboldusSmith, Dijksterhuis и Wigboldus, 2008), потребление одной банки 7-Up (ссылка Bos, Dijksterhuis и Van BaarenBos, Dijksterhuis и Van Baaren, 2012), низкое по сравнению с высокая потребность в познании (эксперимент 2 Ласситера, Линдберга, Гонсалес-Вальехо, Беллезы и Филлипса, 2009), или особенности против конфигурационное мышление (эксперименты 2 и 3 в Lerouge, 2009). Причина, по которой результаты были обобщены по этим факторам, зависящим от испытуемых, заключалась в том, что можно было ожидать, что эти факторы естественным образом будут различаться у разных участников других исследований. Наконец, мы также рассчитали суммарные величины эффекта для двух исследований, в которых информация о вариантах была представлена в двух разных форматах (числовые оценки по сравнению с оценками, определяемыми цветом, и числовые оценки по сравнению с оценками по количеству звездочек; ссылки на Абади, Вильжубера, Варокье и Валле-Туранжоабади, Вильжубера, Варокье и Валле-Туранжо, 2013а). В результате вычисления этих составных величин эффекта наш набор данных был сокращен до 61 уникальной величины эффекта (результаты исследований и их величины эффекта приведены в таблице 6). Расчет величины эффекта проводился с использованием функции compute.es в R, а мета-анализ проводился с использованием пакета metafor от Viechtbauer (2010).
5.3 Результаты
Объем выборки 61 исследования, включенного в наш набор данных, варьировался от 40 до 399, а величина их эффекта − от -.74 до 1,48 (см. таблицу 6). Основываясь на этих данных, мы построили график-воронку для визуализации распределения значимых и несущественных эффектов и их связи с точностью исследования, определяемой в терминах, обратных стандартной ошибке (см. рис. 3а). Белой областью на графике отмечена область, в которой величина эффекта была незначительной, тогда как серыми областями отмечены области, в которых величина эффекта была значительной либо в направлении осознанного мысленного преимущества (CTA; область слева, где g Хеджеса < 0), либо в направлении неосознанного мысленного преимущества (UTA; область справа, с g > 0 для живой изгороди). Как видно из этого рисунка, опубликованная литература об эффекте неосознанного мышления в задачах с множественным выбором признаков включает в себя преимущественно незначимые эффекты (N = 45) и только 16 статистически значимых эффектов, из которых 12 были направлены в сторону UTA, тогда как 4 были в противоположном направлении, то есть, в направлении преимущества обдумывания перед отвлечением внимания. Более того, график показывает четкую взаимосвязь между точностью исследования и выявлением значительного UTA, так что обнаружение значительного UTA, по-видимому, ограничивается исследованиями с более низкой точностью. Действительно, исследования с относительно высокой точностью показывают либо незначительную разницу, либо преимущество для обдумывания. Соответственно, можно сделать вывод, что наблюдение статистически значимого UTA, по-видимому, ограничивается исследованиями, которые были ненадежными из-за использования небольших размеров выборки.
В качестве следующего шага нашего анализа мы подвергли набор данных количественному метаанализу, чтобы рассчитать общий размер эффекта. В анализе использовалась модель случайных эффектов, и суммарный размер эффекта составил 0,15, с доверительным интервалом [0,03; 0,26], Z-баллом 2,54 и p = 0,01, что позволяет предположить существование небольшой, но статистически значимой UTA. Однако важно отметить, что распределение величин эффекта, показанное на рисунке 3а, предполагает, что этот эффект может нуждаться в корректировке из-за предвзятости публикаций, поскольку распределение представляется асимметричным, с относительно большим количеством низкоточных эффектов UTA и лишь несколькими низкоточными эффектами равной величины в противоположном направлении. Причина, по которой такая асимметрия может указывать на предвзятость публикаций, заключается в том, что теоретически полностью заполненная воронка должна была бы демонстрировать симметричное распределение исследований вокруг предполагаемого истинного среднего значения эффекта, так что исследования с одинаковым уровнем точности должны были бы быть распределены симметрично вокруг этого среднего значения. Поэтому асимметричная воронка, в которой отсутствуют эффекты определенной величины, направления и точности, часто интерпретируется как отражение предвзятого отношения публикаций к этому типу результатов (например, Egger et al., 1997).
Поскольку предвзятость публикаций представляет собой распространенную проблему в мета-анализе, для ее решения было разработано несколько процедур. Некоторые из этих процедур фокусируются исключительно на статистически значимых эффектах, например, используя распределение p-значений этих эффектов в качестве средства определения того, соответствует ли распределение тому, что можно было бы ожидать, если бы эффект действительно существовал (Ссылка Simonsohn, Nelson и SimmonsSimonsohn, Nelson, & Simmons, 2014; смотрите также, Ван Ассен, Ван Аэрт и Вихертс, в печати). В других методиках используется распределение всех величин эффекта, что позволяет использовать методы, совместимые с текущим набором данных, которые характеризуются преимущественно незначительными эффектами (например, эталонные Duval и TweedieDuval & Tweedie, 2000; Эталонные Sterne и EggerSterne & Egger, 2005). Первая подобная процедура, имеющая отношение к текущим целям, касается возможности проверить, является ли асимметрия на графике воронки статистически значимой. Это может быть сделано с помощью регрессионного анализа, в котором точность исследования используется в качестве предиктора величины эффекта. Используя такой тест, мы действительно обнаружили признаки значительной асимметрии с Z = 2,11 и p = 0,04.
Помимо методов вычисления статистической значимости асимметрии графика воронки, исследователи также разработали методы коррекции этой асимметрии. Одним из таких методов является так называемая процедура обрезки и заполнения, которая позволяет определить недостающие размеры эффекта, исходя из предположения, что размеры эффекта одинаковой точности должны быть симметрично распределены вокруг среднего размера эффекта Сноска 9 (Ссылка Duval & Tweedie, 2000). Результаты применения этой процедуры к текущему набору данных показаны на рисунке 3b, где открытые символы обозначают 10 размеров эффекта, которые были заполнены для коррекции асимметрии. После этой коррекции общий размер эффекта от UTA стал незначительным, с общим коэффициентом Хеджирования g = 0,018, доверительным интервалом [-0,10; 0,14], Z-баллом 0,30 и p = 0,77.
6 Обсуждение и выводы
Учитывая несколько десятков опубликованных экспериментов, дающих противоречивые результаты, преимущество бессознательного мышления (UTA) можно считать одним из самых противоречивых явлений в современной психологической науке. В то время как сторонники UTA утверждали, что исследования, в которых не удалось воспроизвести этот эффект, не соответствовали определенным методологическим требованиям (Ссылка Strick, Dijksterhuis, Bos и Van BaarenStrick et al., 2011), критики утверждали, что эффекта не существует и что предыдущие отчеты UTA касались только ложных данных, недостоверные результаты (например, Acker, 2008; Ссылка на Newell and RakowNewell & Rakow, 2011; Ссылка на Nieuwenstein and Van RijnNieuwenstein & Van Rijn, 2012). Чтобы найти компромисс между этими противоположными взглядами, мы провели крупномасштабное исследование, в котором соблюдались условия, которые считались оптимальными для воспроизведения этого эффекта (Ссылка Strick, Dijksterhuis, Bos и Van BaarenStrick et al., 2011), и мы провели мета-анализ, в котором изучалась взаимосвязь между эффектом и размерами выборки. предыдущие исследования. Результаты широкомасштабного исследования по тиражированию не дали никаких свидетельств в пользу UTA, и это также опровергло недавнее предположение Ньювенштейна и Ван Рейна (2012) о том, что UTA может иметь гендерную специфику. Кроме того, мета-анализ показал, что предыдущие сообщения о статистически значимом UTA были ограничены исследованиями, которые были относительно ненадежными из-за использования небольших выборок участников. Соответственно, результаты текущего исследования приводят нас к выводу, что утверждение о том, что отвлечение внимания приводит к более эффективному принятию решений, чем обдумывание в задаче выбора по нескольким признакам, не имеет надежной поддержки.Тогда остается объяснить, почему эта парадигма, не приводит к изменению качества решений, принимаемых после отвлечения внимания или обдумывания. Означает ли это, что лицам, принимающим решения, будет так же хорошо, если они не будут сознательно обдумывать свой выбор (Ссылка BarghBargh, 2011)? Ответ на этот вопрос зависит от того, верит ли человек в то, что выбор, сделанный в рамках парадигмы бессознательного мышления, действительно отражает результат двух различных способов мышления. В этой связи литература, посвященная человеческим суждениям и принятию решений, предлагает отрезвляющую точку зрения. В частности, в этой литературе содержится множество результатов, которые показывают, что люди быстро формируют свое мнение, когда их просят высказать суждение. Более того, многочисленные находки показывают, что, как только люди сформировали мнение, они вряд ли изменят его, поскольку будут стремиться лишь к поиску дополнительных доказательств в поддержку этого мнения. Соответственно, тот факт, что нет разницы в точности сложных решений, сделанных после отвлечения внимания или обдумывания, естественным образом объясняется предположением, что участники уже приняли решение на этапе сбора информации о задании и что последующая фаза обдумывания или отвлечения внимания не приводит к изменению их мнения. Скорее всего, участники в состоянии отвлечения внимания могут просто вспомнить свое предыдущее суждение, в то время как участники в состоянии сознательного обдумывания могут только порыться в своей памяти в поисках подтверждающих доказательств своих ранее установленных предпочтений.
Последний аспект данных, который нуждается в объяснении, заключается в том, почему опубликованная литература включает больше исследований, сообщающих о значительном UTA, чем исследований, сообщающих о значительном преимуществе сознательного обдумывания. В соответствии с результатами нашего мета-анализа, эта асимметрия, по-видимому, обусловлена предвзятостью публикаций в отношении небольших выборочных исследований, в которых были обнаружены доказательства преимущества сознательного мышления. Мы можем предположить две причины такой предвзятости публикаций. Во-первых, UTA касается результатов, более заслуживающих освещения в печати, чем результатов осознанного мышления, поскольку обычно считается, что отвлечение внимания оказывает негативное влияние на выполнение задач, и, следовательно, исследования, в которых сообщается о положительном эффекте отвлечения, будут считаться более интересными и заслуживающими освещения в печати, чем исследования, в которых сообщается о вредном влиянии отвлечения. Вторая причина может заключаться в том, что любые исследования с небольшой выборкой были проведены по образцу оригинальных исследований с небольшой выборкой, проведенных Дейкстерхейсом и его коллегами (2004; 2006), которые произвели эффект, противоположный эффекту Дейкстерхейса и его коллег, скорее всего, будут отклонены из—за использования небольшого объема выборки. Это можно считать "подвохом-22" в публикации небольшого выборочного исследования, которое демонстрирует замечательный, но ложный эффект новизны: как только такой отчет будет опубликован, исследователи, как правило, будут придерживаться методов оригинального исследования в своих попытках тиражирования, и это может привести либо к случайному тиражированию предыдущего исследования. тот же ложный эффект или отсутствие воспроизведения, которое гораздо труднее опубликовать, поскольку трудно оспорить существование опубликованного эффекта на основе исследования с небольшой выборкой (например, Frick, 1995).
Помимо предвзятости публикаций, еще одной причиной асимметрии в имеющихся результатах может быть предвзятое отношение к подтверждению со стороны исследователей, которые верят в существование UTA. Эта предвзятость может принимать различные формы, поскольку исследователи, верящие в определенную теорию или явление, могут прибегать к различным сомнительным исследовательским практикам, таким как p-хакинг (например, сбор данных до тех пор, пока результаты не будут выглядеть так, как они должны выглядеть в соответствии с любимой гипотезой; см. Баккер, Ван Дейк и Вихертсбаккер и др., 2012; Ссылка на Иоаннидисиоаннидис, 2005; Справочник WagenmakersWagenmakers, 2007), выборочно сообщая об одном из нескольких показателей эффективности (справочник Simmons, Nelson and SimonsohnSimmons, Nelson, & Simonsohn, 2011) или проводя несколько исследований для проверки одной и той же гипотезы, каждый раз в слегка отличающихся условиях, до тех пор, пока не будет получен предсказанный теорией результат (например, Greenwald, Пратканис, Лейппе и Баумгарднер, 1986). Конечно, риск подобных практик заключается в том, что в какой-то момент они неизбежно приведут к предсказуемому результату, хотя бы по простому совпадению.
Таким образом, текущее исследование показывает, что предыдущие результаты, свидетельствующие о существовании бессознательного мыслительного преимущества при принятии сложных решений, касаются ложных эффектов, которые были получены ненадежными методами. Соответственно, наши результаты ясно показывают, что в будущих исследованиях UTA следует использовать более надежные методы, и они также ясно показывают, что результаты предыдущих исследований этого эффекта следует интерпретировать с большой осторожностью, пока они не будут воспроизведены в надлежащим образом подготовленном исследовании. До этого дня идея о том, что кратковременное переключение внимания приводит к принятию более эффективных решений, чем период обдумывания, оставалась интригующей, но спекулятивной гипотезой, которой не хватало эмпирического подтверждения.