|
观看电影是我们生活的核心部分，也是理解日常生活中认知背后大脑机制的重要范式。当代关于进行中思维的观点认为，理解“此时此地”事件的能力依赖于听觉和视觉皮层对传入感觉信息的神经处理，而这些处理受到联络皮层系统的调控。然而，我们目前尚不清楚当观看电影时，进行中的思维模式如何映射到不同的大脑系统，部分原因是经验取样的方法会干扰大脑活动的动态过程和观影体验。我们的研究建立了一种新颖的方法，用于将思维模式映射到电影不同时刻发生的大脑活动上，该方法不会干扰大脑活动的时间进程或观影体验。我们发现，当经验取样突显出对电影多感官特征的投入或强调具有情景性特征的想法时，感觉皮层区域更加活跃，并且对电影中事件的后续记忆更好——另一方面，当额顶系统内联络皮层区域的活动减少时，会出现侵入性分心的时段。这些结果突显了感觉系统在观看电影的多模态体验中扮演的关键角色，并为联络皮层在观看电影时减少分心的作用提供了证据。本文发表在ELIFE杂志。（可添加微信号19962074063或18983979082获取原文，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布，另思影提供本文相关的任务态fMRI，梯度数据分析服务与课程感兴趣可联系）： 本研究在量化随时间变化的思维方面提出了有价值的方法学进展。提出了一种新颖的多维度经验取样方法，识别出数据驱动的模式，作者利用这些模式来探究在自然观看电影期间采集的功能磁共振成像（fMRI）数据。实验具有创新性，所进行的分析和呈现的结果令人信服。引言
认知神经科学的一个核心目标是理解描述外部世界事件的感觉输入如何转化为我们在生活中体验到的思维模式。复杂的自然状态，例如观看电影，是理解这一过程的重要范式，因为它们允许在直接映射到现实世界经验的情境中理解认知和大脑动态（Finn and Bandettini, 2021; Hasson et al., 2008b; Haxby et al., 2020; Vanderwal et al., 2019; Matusz, 2019）。认知神经科学的发展，利用功能性磁共振成像（fMRI）等最先进的脑成像技术，已经确定了在观看电影任务期间跨参与者出现的神经模式的核心特征（Hasson et al., 2008b），突显了它们在个体间的相似性（Nastase et al., 2019）及其与电影信息记忆的联系（Hasson et al., 2008a）。然而，在这种背景下可靠地映射进行中的思维模式更加困难，因为经验取样（追踪思维模式的金标准（Smallwood et al., 2021b））有可能干扰观看电影期间大脑活动的自然展开。我们研究的目标是通过使用一种新颖的方法，最大限度地减少取样进行中经验的干扰影响，该方法使我们能够明确地将进行中的思维模式与电影特定时刻的脑活动联系起来。 当代关于进行中思维的理论表明，区分主观体验的一个主要维度是它们对即时感觉输入的依赖程度（Smallwood et al., 2021b; Smallwood, 2013a）。与当前环境事件“耦合”的认知状态被认为与更多的感觉输入皮层处理有关（Smallwood et al., 2008a），在诸如阅读之类的叙事理解任务中表现更好，记忆力也更好（Smallwood and Andrews-Hanna, 2013; Smallwood et al., 2008b; Zhang et al., 2022）。相比之下，与感觉输入“解耦”的状态，例如思维漫游（走神）的体验（Smallwood and Schooler, 2006; Smallwood and Schooler, 2015），提供了追求源自记忆的想法的机会（Zhang et al., 2022; Medea et al., 2018），但可能与任务表现受损和事件记忆力下降有关（Schooler et al., 2011）。此外，在理解很重要的情境中，分心状态被假设与执行控制能力差有关（Smallwood and Andrews-Hanna, 2013; Smallwood and Schooler, 2015; McVay and Kane, 2010）。鉴于观看电影提供了一种情境，其中视觉和听觉输入的动态变化驱动着复杂的多感官叙事，观看电影提供了一个具有生态效度的机会，来理解进行中的思维模式如何在自然情境下映射到神经激活模式。最近的研究表明，高阶区域，如腹内侧前额叶皮层 (vmPFC)，在处理自然刺激期间的情感体验中至关重要，不同的脑区与不同的情绪表达相关（Chang et al., 2021）。这些发现表明，大脑在像观看电影这样的自然范式中经历持续的重组，并且对心理状态（在这种情况下是情感）的变化敏感。我们的研究旨在通过开发一种新颖的经验取样方法来补充这些方法，以理解在观看电影期间出现的不断变化的大脑活动模式如何与电影这些时刻出现的不同类型的心理体验相关联。在我们的研究中，我们在一组观看电影片段的参与者中采集了经验数据，并使用这些数据来理解在第二组观看相同片段且未记录经验数据的参与者中记录的大脑活动。这种方法类似于所谓的“协同过滤”（Chang et al., 2021）。 与观看电影是一种感觉耦合状态的观点一致，认知神经科学最近的研究表明初级系统（如视觉和听觉皮层）扮演着重要角色（Finn, 2021）。然而，研究也假设与高阶思维相关的联络皮层区域（如默认模式网络 (DMN) 或额顶网络 (FPN)）也发挥作用（Hasson et al., 2008b; Vanderwal et al., 2019; Yang et al., 2023）。例如，假设 DMN 在社会认知、情景记忆和概念知识方面很重要——所有这些对于理解电影叙事可能都很重要（关于 DMN 在认知中扮演的广泛角色的综述，见 Smallwood et al., 2021a）。然而，DMN 也被认为与感觉解耦状态有关，例如思维漫游，这可能与观看电影是对立的（Zhang et al., 2022; Christoff et al., 2009; Konu et al., 2020; Zhang et al., 2019）。 类似地，FPN （额顶网络）对于多种任务都很重要，包括那些表面上与电影不同的任务，例如工作记忆维持，反映了这些网络在目标维持中的假设作用（D’Esposito and Postle, 2015; Chenot et al., 2021）。当代关于进行中思维的观点认为，FPN 可能在抑制分心方面很重要，包括减少像思维漫游这样的自发状态（Vago and Zeidan, 2016）。尽管研究强调了初级感觉系统和高阶系统在观看电影中的作用（Vanderwal et al., 2019; Rohr et al., 2018），但我们对观看电影时的思维模式与相关大脑活动模式之间映射关系的正式理解仍然缺乏，这意味着不同大脑系统在观看电影体验中扮演的具体角色在很大程度上仍然是推测（Demertzi et al., 2019）。 我们的实验旨在更好地理解电影不同时刻不断变化的大脑活动模式如何映射到伴随它们的进行中思维。先前的研究表明，共享的意识体验可能与共同的神经编码相关，这表明当个体观看电影时，他们的大脑可能会表现出同步活动（Chang et al., 2021; Naci et al., 2014）。鉴于大脑活动在个体间是同步的，也可能存在同样出现的共享思维模式（即共享的经验模式），如果确实如此，这些模式也可能显示出与大脑活动共同变化的联系。在我们的研究中，我们使用多维度经验取样 (mDES) 来描述观看电影体验期间的进行中思维模式（Smallwood et al., 2021b）。mDES 是一种经验取样方法，通过探询参与者关于他们体验的多个维度来识别思维的不同特征。mDES 可以提供对一个人思维的描述，在实验室认知任务中生成可靠的思维模式（Smallwood et al., 2021a; Konu et al., 2021; Turnbull et al., 2021），在日常生活中也是如此（Mckeown et al., 2021; Mulholland et al., 2023），并且当在扫描期间获得报告时，对伴随的大脑活动变化敏感（Konu et al., 2020; Turnbull et al., 2019a）。使用 mDES 描述经验的研究要求参与者通过回答一组关于他们思维不同特征的问题来提供经验报告，评分范围为 1（完全没有）到 10（完全是）的连续量表（Konu et al., 2020; Konu et al., 2021; Turnbull et al., 2021; Mckeown et al., 2021; Mulholland et al., 2023; Turnbull et al., 2019a; Ho et al., 2020; Karapanagiotidis et al., 2017; Mckeown et al., 2023; Vatansever et al., 2020; Wang et al., 2018）。每个问题描述了经验的不同特征，例如他们的想法是面向未来还是过去，关于自己还是他人，是有意的还是侵入性的等等（有关当前研究中使用的完整问题列表，请参见方法部分）。 在尝试将思维动态映射到观看电影期间的大脑活动时出现的一个挑战是，要考虑到经验取样固有的干扰性：以足够的频率测量经验来映射电影期间的经验报告，本身就会干扰大脑的自然过程并改变观众的体验（例如，在悬念时刻暂停电影）。因此，如果我们在记录大脑活动的同时周期性地打断观众以获取他们思维的描述，这可能会影响捕捉大脑重要的动态特征。另一方面，如果我们像通常那样在观看电影期间连续测量 fMRI 活动，我们将缺乏将大脑信号与相应经验状态直接关联的能力。因此，为了克服这一障碍，我们开发了一种新颖的方法学，使用了两个独立的参与者样本。在当前的研究中，一组 120 名参与者在观看三个十分钟电影片段的过程中被 mDES 探询了五次（总共 11 分钟，第一分钟不取样）。我们使用了一种抖动（随机）取样技术，即根据参与者被分配到的条件，在电影的不同时间间隔向不同的人发送探询（Probe，用来引发参与者报告其当前思维或体验的提示或问题集合）。探询顺序也进行了平衡，以最小化在任何给定取样时刻先前和后续探询的系统性影响。我们使用这些数据为三个 10 分钟电影片段的 每 15 秒构建了精确的经验动态描述。然后将这些数据与来自另一个样本的 44 名参与者的 fMRI 数据相结合，这些参与者之前在没有经验取样的情况下观看了这些片段（Aliko et al., 2020）。通过结合来自两个不同参与者群体的数据，我们的方法使我们能够描述不同经验状态（由 mDES（多维度经验取样） 定义）的时间序列，并将这些与另一组观看相同电影且没有中断的参与者的大脑活动时间序列相关联。通过这种方式，我们的研究旨在明确理解在一个参与者群体中主导电影不同时刻的思维模式如何与第二组参与者在这些时间点的大脑活动相关联，从而更好地理解不同神经系统对观看电影体验的贡献。 结果
分析目标
因此，我们研究的目标是理解一组参与者在观看电影片段期间大脑活动随时间变化的模式与另一组参与者在相应时刻报告的思维模式之间的关联（见图 1）。这可以概念化为识别两个多维空间之间的映射关系，一个反映大脑活动的时间序列，另一个描述进行中经验的时间序列（见图 1 右侧面板）。在我们的研究中，我们选择了三部电影（《第四公民》、《阳光小美女》和《和莎莫的 500 天》）中各 11 分钟的片段，这些片段已存在 fMRI 大脑数据记录 (n=44) (Aliko et al., 2020; 图 1，样本 1)。第二组参与者 (n=120) 观看了相同的电影片段，并使用 mDES （多维度经验取样） 间歇性地报告了他们的思维模式（图 1，样本 2）。我们的目标是理解电影每个时刻的大脑活动模式与在电影相同时间点记录的进行中思维报告之间的映射关系。我们首先对 mDES （多维度经验取样）数据应用主成分分析 (PCA)，将这些数据简化为四个简单的维度，这些维度解释了报告的思维模式。这些在图 1 中表示为词云。我们进行了两项分析来理解报告的思维模式与电影每个时间点的大脑活动之间的关联。我们的第一个分析计算了四个思维模式成分中每一个的平均经验时间序列（在样本 2 的参与者中取平均值），并将其用作一个感兴趣的回归量，在一个预测从样本 1 的每个参与者记录的大脑活动的模型中。我们将此称为体素空间分析，它使我们能够对每个区域的活动与进行中思维的每个维度之间的映射关系进行全脑搜索。在我们的第二个分析中，我们将每部电影每个体积(Volume)的总体平均大脑活动投影到来自人类连接组计划 (HCP) 静息态数据分解的前五个大脑活动维度上，形成一个 5 维的“大脑空间”，描述了每部电影期间大脑的轨迹（图 1，注意仅显示了前四个维度；Margulies et al., 2016）。我们使用此分析的结果为每部电影的每个 TR（重复时间）生成坐标，这些坐标被用作线性混合模型 (LMM) 中的解释变量，其中 PCA 维度描述的“思维空间”中每个 mDES （多维度经验取样）探询的位置是因变量。我们将这第二个分析称为状态空间分析（有关此方法的先前示例，请参见 Karapanagiotidis et al., 2017; Mckeown et al., 2023; Turnbull et al., 2020）。  利用 fMRI 数据和经验取样数据将进行中的思维模式映射到观看电影时的大脑活动。
从左到右 - 一个样本的参与者在观看电影时接受扫描（样本 1），另一组不同的参与者在实验室观看相同电影时响应经验取样提示（样本 2）。使用主成分分析 (PCA) 将 mDES （多维度经验取样）数据分解为低维度经验模式，产生了一组描述观看电影期间经验的维度（一个'思维空间’，观看电影体验的动态在其内展开）。词云展示了经验取样问题如何映射到描述该空间的每个维度上。在这些词云中，字体大小描述了它们的重要性（越大 = 越重要），颜色描述了它们的极性（红色 = 正向，蓝色 = 负向）。类似地，我们通过将电影中的每个时刻与经过验证的大脑变异维度进行比较，创建了一个大脑空间来描述观看电影的体验。为此，我们使用了由 Margulies 进行的 HCP 静息态定义的维度 (Margulies et al., 2016) （通常称为梯度）：梯度 1（联络皮层到初级皮层）、梯度 2（视觉皮层到运动皮层）、梯度 3（额顶网络到默认模式网络）和梯度 4（背侧注意网络 (DAN)/视觉到默认模式网络）的大脑变异维度，通过颜色展示以在状态空间分析中映射活动（紫色 = 低，黄色 = 高）（未显示：梯度 5 外侧默认模式到初级感觉皮层）(Margulies et al., 2016)。两个 3D 散点图展示了我们数据中的两个示例，说明观看电影如何可以被视为通过'大脑空间’（顶部显示，侧重于梯度 1、2 和 3）和'思维空间’（底部显示，侧重于'情景性知识’、'言语细节’和'感官投入’）的两条互补轨迹。较冷（蓝色）的点出现在电影片段的较早时刻，较暖（红色）的点出现在较晚时刻。 思维空间的生成
我们分析的第一步是使用 PCA 分解 mDES （多维度经验取样）数据，以生成构成我们后续分析所用“思维空间”的维度（图 1，见方法）。基于碎石图（见图 1—图补充 1），数据最适合四成分方案，得到的成分显示为词云（有关详细信息，请参见方法）。在这些词云中，颜色相似的项目是相关的，字体大小表示其重要性。成分 1 贡献了 26.1% 的解释方差，在“过去”、“自我”和“知识”项上呈正载荷，在“文字”和“声音”项上呈负载荷，被称为“情景性知识”。成分 2 解释了 10.5% 的方差，在“侵入性”和“分心”项上呈正载荷，在“有意性”项上呈负载荷，被称为“侵入性分心”。成分 3 在“文字”、“细节”和“有意性”项上呈正载荷，解释了 7.7% 的方差，被称为“言语细节”。最后，成分 4 贡献了 6.8% 的解释方差，在“情绪”、“图像”、“声音”和“人物”项上呈正载荷，被称为“感官投入”。有关 mDES 问卷的描述，请参见补充文件 1a；有关主成分在总体和每部电影中解释的方差百分比，请参见补充文件 1b。 半分信度结果
进行了自举法半分信度分析，以确认四成分方案能合理地描述我们的数据。该分析重复地将 mDES 数据随机分成两半，并评估两半成分之间的相关性。信度分析支持四成分方案是可重复的，因为它具有很强的同源相似性得分 (r=0.96, 95% CI [0.93, 1.00]；有关详细信息，请参见方法)。 思维模式的变异
接下来，我们检查了这些维度如何在每部电影中描述体验（见图 2）。我们进行了四个线性混合模型 (LMM) 分析，每个思维成分（“情景性知识”、“侵入性分心”、“言语细节”和“感官投入”）各一个，其中电影是感兴趣的解释变量，参与者作为随机效应纳入。使用错误发现率 (FDR) 调整了显著性阈值，以控制模型内的家族错误率 (FWE)（控制三部电影）。四个模型的分析发现，三部电影的总体思维模式得分存在显著差异，包括报告的思维类似于“情景性知识”，F(2, 2015.3)=5.41, p=0.005, η2=0.01；“侵入性分心”，F(2, 2015.3)=77.84, p<0.001, η2=0.07；“言语细节”，F(2, 2015.4)=13.90, p<0.001, η2=0.01；以及“感官投入”，F(2, 2015.7)=82.69, p<0.001, η2=0.08。这表明在每个模型内，至少有一部电影的报告思维模式得分存在显著差异。对每个模型使用最小二乘均值 (lsmeans) 进行了事后成对比较，以研究思维成分得分在每部电影中如何不同，并使用 Tukey 方法调整显著性阈值以控制模型内的 FWE。 第一个模型表明，《阳光小美女》中的反应模式与“情景性知识”的相似性 (M=–0.12, SE = 0.10) 低于《和莎莫的 500 天》中报告的思维模式 (M=0.11, SE = 0.10), t(2016)=–3.27, p=0.003。然而，在《第四公民》期间报告的“情景性知识”思维 (M=–0.02, SE = 0.10) 与《阳光小美女》相比，t(2015)=1.31, p=0.392，或与《和莎莫的 500 天》相比，t(2016)=–1.97, p=0.121，没有显著差异。 第二个模型确定，在《第四公民》期间自我报告的思维与“侵入性分心”模式的相似性 (M=0.41, SE = 0.09) 高于《阳光小美女》期间 (M=–0.15, SE = 0.09), t(2015)=9.66, p<0.001，或《和莎莫的 500 天》期间 (M=–0.27, SE = 0.09), t(2015)=11.66, p<0.001。在《阳光小美女》和《和莎莫的 500 天》之间，报告的思维得分与“侵入性分心”的相似性没有差异, t(2016)=2.03, p=0.106。 第三个模型发现，自我报告的思维在《第四公民》期间更像“言语细节”模式 (M=0.17, SE = 0.09)，相比于《阳光小美女》 (M=–0.14, SE = 0.09), t(2015)=5.14, p<0.001，或《和莎莫的 500 天》 (M=–0.04, SE = 0.09), t(2016)=3.58, p=0.001。同样，在《阳光小美女》和《和莎莫的 500 天》之间报告的“言语细节”得分没有显著差异, t(2016)=–1.54, p=0.271。 第四个模型发现，在《第四公民》期间报告的思维与“感官投入”模式的相似性 (M=–0.32, SE = 0.07) 显著低于《阳光小美女》 (M=–0.01, SE = 0.07), t(2015)=–6.07, p<0.001，或《和莎莫的 500 天》 (M=0.33, SE = 0.07), t(2016)=–12.85, p<0.001。此外，在《阳光小美女》期间报告的思维与“感官投入”模式的相似性低于《和莎莫的 500 天》期间报告的思维, t(2016)=–6.81, p<0.001。结果在图 2 中直观展示，LMM 的更多细节见补充文件 1c。 图2 思维模式在不同电影片段间的差异及其与理解能力的关系
从左到右 – 3D 散点图显示了每部电影在四个 PCA 维度中的三个维度上的平均位置：'情景性知识’、'言语细节’和'感官投入’。条形图显示了每个维度上的平均载荷，误差棒显示 95% 置信区间。右侧的图表阐释了 mDES （多维度经验取样）维度与电影信息记忆之间的关系。顶部的条形图显示了每部电影的平均理解得分，误差棒为 95% 置信区间。下方的散点图显示了 mDES 成分与理解能力之间的关联。左侧的散点图显示了'侵入性分心’思维与记忆之间的负向线性关系。右侧的图表显示了与'感官投入’的正向关联。蓝线代表最佳拟合线，阴影区域显示 95% 置信区间。跨电影片段的经验时间序列
接下来，我们检查了每种思维模式在每个电影片段中如何变化。对于此分析，我们对四个成分为每个电影片段进行了单独的方差分析（ANOVA）（见表 1 和图 3）。在不同电影的几个成分中观察到清晰的动态变化。首先，在《阳光小美女》中，“情景性社会认知”得分存在显著变化，F(1, 712)=10.80, p=0.001, η2=0.03；在《第四公民》中也存在显著变化，F(1, 712)=5.23, p=0.023, η2=0.02。在《阳光小美女》中，“言语细节”得分也存在显著变化，F(1, 712)=31.79, p<0.001, η2=0.09。最后，在《第四公民》中，“感官投入”得分存在显著变化，F(1, 712)=6.22, p=0.013, η2=0.02；在《和莎莫的 500 天》中也存在显著变化，F(1, 706)=80.41, p<0.001, η2=0.18。这些时间序列绘制在图 3 中，突显了 mDES 如何能够捕捉三个电影片段中不同类型经验的动态。此外，在其中几个时间序列图中，很明显报告的思维模式超出了相邻的时间段（例如，《和莎莫的 500 天》中感官投入在 150-400 时间段得分高于零，《阳光小美女》中言语细节在 175-225 时间段得分高于零）。需要注意的是，没有参与者在相邻的取样点完成经验取样报告（见图 3—图补充 1），因此这些区间的长度表明不同个体对电影中特定场景的体验方式存在一致性，并且这种一致性在不同个体间得以保持。值得注意的是，时间动态证据最少的成分是“侵入性分心”。 表1 每种思维成分得分在每部电影的各个取样区间中的方差分析 注：评估每个主成分分析（PCA）思维成分得分是否在三部电影《阳光小美女》、《第四公民》和《和莎莫的 500 天》的每个 15 秒取样区间（Sampling bin）内存在差异的各项方差分析（ANOVA）检验结果。该表包含每个成分和电影的自由度 (Df)、平方和 (Sum Sq)、均方 (Mean Sq)、F 值和 p 值。显著的 p 值 (p<0.05) 表明相应的 PCA 成分得分在取样区间内存在显著差异。图 3 附带 1 个补充图 多维度经验取样 (mDES) 方法的应用以及从分解的 mDES 思维模式生成的相关时间序列。
从左到右 – 第一个面板展示了实验室中的 mDES 方法，演示参与者在观看实验室电脑上的电影时如何对关于他们想法的十六个项目做出反应。右侧的图表总结了三部电影中每个 15 秒取样窗口的平均思维模式得分。第一个时间序列图展示了《阳光小美女》中'情景性知识’的轨迹，随后是同样在《阳光小美女》中'言语细节’的时间进程，在 150–250 秒范围内得分有明显峰值，在 400 到 500 秒区间得分特别低。第三个图展示了在《第四公民》中'感官投入’得分相对较低且为负值。最后，最后一个图突显了在整个《和莎莫的 500 天》中'感官投入’得分相对较高，尤其是在 150–400 秒区间内。 理解能力
接下来，我们考察了思维模式如何与参与者对电影信息的记忆相关联（图 2）。参与者回答了每部电影的四个理解问题（共 12 个），这些问题与他们刚刚观看的片段中的相关信息有关（理解问卷见补充文件 1d）。我们进行了一个线性混合模型 (LMM) 分析，其中电影、每种思维模式及其交互作用是感兴趣的解释变量。理解得分是因变量，参与者作为随机效应纳入。使用错误发现率 (FDR) 来控制家族错误率 (FWE)，包含九个比较。分析揭示了三个显著的主效应和一个显著的交互作用。首先，电影对记忆存在显著的主效应，F(2, 254.12)=49.33, p<0.001, η2=0.28。使用最小二乘均值 (lsmeans) 进行了事后成对比较，以研究不同电影间的记忆表现效应。事后比较的显著性阈值使用 Tukey 方法进行了调整，以控制模型内的 FWE。与《阳光小美女》(M=3.35, SE = 0.08) 相比，与《第四公民》(M=2.42, SE = 0.09) 中信息相关的问题的理解得分显著更低，t(249) = –9.16, p<0.001；与《和莎莫的 500 天》(M=3.33, SE = 0.08) 相比也是如此，t(273) = –8.33, p<0.001。值得注意的是，《阳光小美女》和《和莎莫的 500 天》之间的理解表现没有显著差异，t(242) = –0.18, p=0.982。思维模式也存在两个显著的主效应——'侵入性分心’在三部电影中都与较差的理解能力显著相关，F(1, 324.41)=9.27, p=0.011, η2=0.03，而'感官投入’则与更好的总体理解能力相关，F(1, 341.44)=8.30, p=0.013, η2=0.02。最后，'情景性知识’存在显著的电影与思维模式交互作用，F(2, 268.96)=4.46, p=0.028, η2=0.03。为了跟进这一显著的交互作用，进行了事后简单斜率分析，以评估'情景性知识’对每部电影理解表现的影响，使用 FDR 控制多重比较。分析发现，当思维模式与'情景性知识’更相似时，与《和莎莫的 500 天》中信息的理解表现显著更好相关，t(319.83)=2.54, p=0.030。该交互作用预测了对《第四公民》信息的负向理解表现，t(317.55)=–1.39, b=–0.09, SE = 0.06, p=0.240，但预测了对《阳光小美女》信息的正向理解表现，t(321.85)=0.93, b=0.07, SE = 0.07, p=0.350，尽管这两种关系在统计学上均不显著。要查看完整的模型输出和成对比较，请参见补充文件 1e。这些结果的一个重要含义表明，mDES 对观影体验的客观指标敏感，因为它们表明，那些自我报告的经验显示出较少'侵入性分心’模式证据的个体，倾向于更准确地编码电影的特征，因此在理解测试中表现更好。 大脑-思维映射：体素空间分析
在确定了表征 mDES （多维度经验取样）数据的维度、它们如何在每部电影中组织经验、它们随时间的变化以及它们与记忆的关联之后，我们接着考察了这些经验维度如何与电影每个时刻的大脑活动相关联。我们的第一个分析在体素水平上考察了这个问题。在这个分析中，每个 PCA 维度的平均时间进程（在样本 2 的所有个体中合并）被作为每个被试在样本 1 中记录的大脑活动的三个电影中每一个的第一水平的感兴趣回归量。为了对这些分析进行组比较，我们在 FSL 中使用了 FLAME，聚类形成阈值为 z=3.1 FWE，控制感兴趣回归量的数量来确定每个聚类的显著性 (p<0.0125)。这生成了四个组水平的阈值图，我们随后使用 FEAT 查询来提取聚类范围内的参数估计值，对应于那些在电影时刻的激活与特定思维模式相关的区域（见图 4 和补充文件 1f）。'情景性知识’与背侧视觉皮层区域的激活显著正相关 (b=0.62, 95% CI [0.27, 0.97])。'侵入性分心’与额顶网络 (FPN) 的失活显著相关 (b=–0.78, 95% CI [-1.37,–0.20])。'言语细节’与初级听觉皮层活动的抑制显著相关 (b=–1.64, 95% CI [-2.11,–1.17])。最后，'感官投入’与视觉和听觉皮层的激活显著相关 (b=1.26, 95% CI [0.81, 1.70])（有关从此分析得出的每部电影的平均梯度得分表，请参见补充文件 1f）。我们还使用每组聚类作为种子区域进行了功能连接性分析，见图 4—图补充 1, 图 4—图补充 2, 图 4—图补充 3, 和补充文件 1g。 图4 附带 4 个补充图，体素空间分析中识别出的与每个思维维度相关的组水平神经激活模式。
从左到右 - 红色区域与对应于'情景性知识’报告的活动相关，绿色区域与'侵入性分心’相关，紫色区域与'言语细节’相关，橙色区域代表与'感官投入’相关的活动。条形图展示了每个参数估计的方向性，误差棒代表 95% 置信区间。右侧呈现了每个思维模式对应的词云以供参考（从上到下：'情景性知识’、'侵入性分心’、'言语细节’和'感官投入’）。 我们的体素空间分析突显了观看电影期间思维模式与大脑活动关联的两个显著特征。首先，我们能根据 mDES 分数预测其活动的大多数区域倾向于落在感觉皮层内。值得注意的是，'感官投入’，一种与声音和图像相关的多感官思维模式，与视觉和听觉系统的活动增加相关。有趣的是，这些区域与'情景性知识’图谱相关的区域（后部 [橙色和红色]）以及与'言语细节’相关的区域（右侧 [橙色和紫色]）重叠。值得注意的是，由于情景性知识和感官投入都显示出与理解能力的正相关以及感觉皮层区域活动增加，这些结果支持了感觉耦合是在观看电影期间理解事件的一个重要特征的假说（例如 Smallwood, 2013a）。其次，在感觉皮层之外识别出的唯一区域与'侵入性分心’相关，并且广泛地落在 FPN 区域内。图 4—图补充 4 比较了与'侵入性分心’相关的区域与 Yeo 等人 (2011) 定义的 FPN 的重叠情况，显示在侵入性分心程度高时活动减少的区域通常属于该系统。这种模式与将 FPN 视为在维持非分心任务焦点状态中发挥积极作用的观点一致（Scolari et al., 2015）。有关分析输出，请参见补充文件 1h；图 5—图补充 1 单独显示了每个图谱。 我们的分析突显了视觉和听觉皮层区域在不同分析中的显著重叠。为了更好地理解这些共同区域可能的功能，我们计算了这些图谱的重叠部分（图 5 左侧面板），并使用 Neurosynth 进行了一项包含超过 4400 项研究的大规模自动化分析，目的是识别先前研究最常赋予这些区域的功能（有关每个术语的具体载荷，请参见补充文件 1i）。该分析的结果以词云形式显示，其中与'言语细节’减少和'感官投入’增加共同相关的区域与听觉过程（'声音’、'噪音’和'音高’）相关。相比之下，与'感官投入’和'情景性知识’共同相关的区域最有可能与'视频’相关，为这些区域对于观看电影至关重要提供了独立的元分析佐证。因此，Neurosynth 分析表明，我们分析突显的区域倾向于参与感觉处理，并且最常在观看电影期间观察到。最后，我们使用重叠区域作为种子区域进行了一项静息态功能连接性分析（图 5 右侧面板）。这突显了两个区域都表现出功能连接模式，包括许多重叠区域（黄色标示）。值得注意的是，两个功能连接图都包含了对方分析的种子区域。 图 5 附带 1 个补充图 观看电影期间与多种经验特征相关的大脑区域。
颞上皮层的一个区域与类似'感官投入’思维的积极报告以及类似'言语细节’思维的消极报告相关（绿色标示）。背侧视觉皮层的一个区域与报告的类似'感官投入’和'情景性细节’的思维都相关（红色标示）。中间面板的词云显示了对这些区域进行 Neurosynth 分析的结果，突显了与这些区域最可能相关的功能。字体大小描述了它们的重要性（越大 = 越重要），颜色描述了它们的极性（越深 = 正向）。右侧面板显示了在一个独立的静息态研究中对这些重叠区域进行基于种子的功能连接性分析的结果。红色区域表示与视觉皮层区域连接的区域，绿色区域显示与听觉皮层连接的区域，黄色区域是两个空间图共有的区域。 状态空间分析
我们的下一个分析使用了'状态空间’方法来确定电影每个时刻的大脑活动如何预测在这些时刻报告的思维模式（有关在任务领域的先前示例，请参见 Mckeown et al., 2023; Turnbull et al., 2020, 见方法）。在这个分析中，我们使用了每个 TR 在'大脑空间’中的组平均坐标以及每个经验取样时刻在'思维空间’中的坐标。需要澄清的是，电影中某个时刻在'大脑空间’中的位置是通过将每部电影每个体积（volume)的总体平均大脑活动投影到来自人类连接组计划 (HCP) 静息态数据分解的前五个大脑活动维度（称为梯度 1-5）上来计算的。'思维空间’是 mDES 项目的分解，用于创建思维模式成分，称为'情景性知识’、'侵入性分心’、'言语细节’和'感官投入’。我们运行了四个 LMM，每个思维成分一个，在每种情况下都使用电影中每个取样点在梯度 1-5 上的位置作为解释变量，并将每个思维模式成分（'情景性知识’、'侵入性分心’、'言语细节’和'感官投入’）的得分作为因变量。参与者作为随机截距纳入。使用 FDR 调整了显著性阈值，以控制每个模型内的 FWE，控制五个大脑维度。校正后，我们发现了两个显著的主效应。首先，我们发现了梯度 4（DAN 到视觉）的一个显著主效应，它预测了答案与'情景性知识’成分的相似性，t(2046)=2.17, p=0.013, η2=0.01。这表明，当思维与'情景性知识’最相似时，与视觉皮层活动高而背侧注意网络区域活动低的时刻相关（见图 6）。梯度 1（初级到联络）也存在一个显著的主效应，预测与'感官投入’相关的思维模式，t(2046.34)=–3.26, p=0.006, η2=0.01。这些结果表明，当思维在'感官投入’上得分高时，与梯度 1 上较低的初级皮层区域（见图 6）内大脑活动增加相关。完整结果见补充文件 1j。  图 6（顶行）'思维空间’和'大脑空间’中电影片段各个时刻位置的比较。
从左到右 – 在《第四公民》、《阳光小美女》和《和莎莫的 500 天》期间，每个思维模式（'情景性知识’、'言语细节’和'感官投入’）和梯度 1-3（梯度 1 联络 – 初级），梯度 2（视觉 – 躯体运动），梯度 3（额顶 – 默认）的坐标位置的 3D 散点图。蓝色观察点出现在电影较早的时候，红色观察点出现在电影较晚的时候。右侧呈现了梯度图 (1-3) 和思维模式词云以供参考。 我们的研究突显了类似于'感官投入’和'情景性知识’的自我报告模式与我们体素和状态空间分析中的大脑活动模式之间的联系。因此，在我们的最终分析中，我们旨在理解这两种互补方法之间的重叠，以理解观看电影期间大脑活动与经验之间的映射关系。为此，我们使用旋转检验 (spin test) 来正式理解基于体素和状态空间分析之间的映射关系（Alexander-Bloch et al., 2018）。为此，我们在感兴趣的梯度上对我们体素分析中识别出的聚类位置进行了采样（例如，与'感官投入’相关的体素聚类在梯度 1 上的位置），并使用旋转检验（Alexander-Bloch et al., 2018）来确定具有此幅度的得分偶然发生的可能性（基于 2500 次置换的零分布）。该分析确定，我们基于体素的'感官投入’估计值落在状态空间分析所隐含的感觉皮层区域内（即梯度 1 的感觉端），其水平不太可能偶然发生，p=0.018（双尾）。相比之下，'情景性知识’在梯度 4 上的位置不显著，p=0.251（见图 7）。该分析表明，对于'感官投入’成分，体素空间和状态空间分析都得出了可比较的结果，突显了感觉和听觉皮层的共同区域。 图 7 '状态空间’分析与基于体素的'感官投入’和'情景性知识’分析及梯度图的比较
从左到右 – 条形图展示了使用梯度 1-5 作为解释变量以及思维模式'感官投入’和'情景性知识’作为因变量的显著模型的关联。我们进行了两次旋转检验，以将这些结果与使用体素空间分析的结果进行正式比较（置换次数 = 2500）。旋转检验显示，与'感官投入’相关的体素聚类位置位于梯度 1 的感觉区域内，这不太可能偶然发生，p=0.018。相比之下，与情景性知识相关的体素聚类在梯度 4 上的位置在零分布内，p=0.251。相关聚类在梯度分区空间中的位置显示在散点图中（红点表示来自相关比较的分区位置）。 讨论
我们的研究旨在确定观看电影期间的思维模式如何与观看三部不同电影片段期间的大脑活动相关联：第四公民（一部纪录片）、阳光小美女（一部喜剧）和和莎莫的 500 天（一部浪漫片）。我们使用了一组参与者（样本 1）的开源 fMRI 数据，他们在观看这些电影时使用 fMRI 记录了大脑活动。然后，我们在第二组未采集大脑活动的参与者（样本 2）中使用 mDES 测量了进行中的思维模式（图 1）。我们使用了一种新颖的取样方法，为片段中每 15 秒的不同思维模式的时间序列构建了详细的描述，同时仅对单个参与者在每部电影中进行相对较少次数的取样，从而最大限度地减少了对观看电影主观体验的干扰。我们的分析考察了一组参与者（样本 1）大脑活动时间序列与第二组参与者（样本 2）报告的思维模式之间的重叠，以揭示电影不同时刻的大脑活动与相关经验状态之间的关系。 在这些电影中，我们识别出了四种思维模式。首先，'情景性知识’与涉及知识、过去和自我的体验相关。这种模式在浪漫片中也最高，特别是在这种情境下与更好的信息记忆相关，并且我们的状态空间和体素空间分析显示其与背内侧视觉皮层区域的活动增加有关。其次，'侵入性分心’与具有侵入性、分散注意力的自发性思维特征有关。这种思维模式预测了所有电影中总体理解能力较差，在纪录片中更高，并且出现在电影中与 FPN 区域激活减少相关的时刻（由我们的体素空间分析确定）。第三，'言语细节’描述了以文字形式进行的有意的、详细的体验，并带有负面情绪色彩，在纪录片中最普遍，并且我们的体素空间分析显示其与听觉皮层激活相对减少相关。最后，'感官投入’与多模态感官体验相关（在图像、声音和人物上载荷，并带有积极的情感基调）。'感官投入’在浪漫片中最高，与所有电影中更好的理解表现相关，通过体素分析和状态空间分析均与感觉皮层活动相关，并通过旋转检验正式关联起来。 我们的研究支持了大脑与外部输入之间的感觉耦合是理解电影中事件的核心特征的假说（例如 Smallwood, 2013b）。例如，'感官投入’，一种愉悦的多感官体验模式，与所有电影中更好的信息记忆相关，并且出现在听觉和视觉皮层（功能性大脑组织主梯度图的感觉端区域，Margulies et al., 2016）活动高的时候。'感官投入’是与大脑联系最一致、最明显的思维模式，因为它是唯一一个在我们的体素和状态空间分析中显示出大脑-思维映射关系并通过旋转检验正式关联的思维模式（见图 2 和图 6）。类似地，'情景性知识’的报告出现在背侧视觉皮层区域内大脑活动高的时候，并且与其中一部电影（和莎莫的 500 天）中更好的理解能力相关。总之，这些数据为感觉耦合状态支持更好的环境事件记忆的假说提供了重要的佐证（Smallwood et al., 2021b; Smallwood, 2013a）。此外，它们也为当代观点提供了支持，即观看电影是理解自然状态背后大脑基础的有用且重要的范式，因为它允许通过富含复杂感觉输入的状态的视角来理解大脑功能（Finn, 2021）。 我们的研究还为额顶系统在观看电影期间支持非分心专注状态的假设作用提供了支持。'侵入性分心’的报告是唯一与初级感觉系统之外活动相关的思维模式，并且被观察到出现在电影中 FPN （额顶网络）内区域活动减少的时刻（有关与'侵入性分心’相关的区域和 Yeo 及其同事定义的 FPN 之间的重叠，请参见图 4—图补充 4）（Yarkoni et al., 2011）。有趣的是，更大程度的分心与 FPN 内活动减少之间的关联与该网络在目标维持中的假定作用一致（Cole and Schneider, 2007）。这一结果也证实了心理学研究的预测，即像思维漫游这样的分心状态通常在执行控制减少时出现（McVay and Kane, 2010）。对于持续负相关于理解能力的发现，进一步支持了这一假设。值得注意的是，'侵入性分心’是唯一一个在我们取样的电影片段中没有显示出时间变化证据的成分。因此，驱动诸如'侵入性分心’之类的状态发生的过程可能依赖于个体和情境因素（例如，执行控制能力差 McVay and Kane, 2010; McVay and Kane, 2012）和/或大脑活动的内在变化。最近，一项使用颅内记录的研究确定，与本研究中观察到的特征相似的分心期发生在海马体内尖波涟漪常见的时候（Iwata et al., 2024）。因此，可能需要进一步的研究来理解导致分心的大脑-认知映射关系。例如，将来，我们可以系统地探索这种状态或多或少存在的条件，并突显与平均值的偏差，作为更好地理解与感觉耦合状态关系较少的认知状态（相比于观看电影的其他特征）的标记。值得注意的是，使用 mDES，我们也可以在日常生活的分析中识别出相同的思维模式（Mckeown et al., 2021; Mulholland et al., 2023），表明这种思维模式发生在观看电影之外的情境中。例如，使用 mDES 对其他形式的媒体以及其他脑成像方法进行进一步调查，可以增进我们对导致分心状态发生的因素的理解。 尽管我们的研究突显了感觉皮层和额顶系统内联络皮层区域的神经活动，但我们发现支持 DMN 在观看电影体验中假设作用的证据较少。值得注意的是，我们分析识别出的'情景性知识’模式侧重于知识、人物和自我等认知特征——所有这些术语都表明可能与 DMN 相关（Smallwood et al., 2021b; Yang et al., 2023）。然而，尽管存在这种概念映射，我们的体素空间和状态空间分析都没有突显这种体验与 DMN 内大脑活动较高的时刻相关（见图 3 和图 6）。 DMN 内的这种映射关系可能仍然存在，有几个可能的方法学原因。例如，我们选择的电影（纪录片、浪漫片和喜剧片）可能排除了 DMN 可能扮演更明显角色的类型（例如悬疑片）。另一种可能性是，DMN 可能与仅在较长观影间隔期间才能捕捉到的经验理解方面相关，例如扩展的情节线、意外事件或依赖于将电影分割成不同事件的其他电影特征（Geerligs et al., 2022）。我们仅在短的 10 分钟片段中取样经验，因此 DMN 可能与对较长时间观影很重要的经验方面有关。也有可能 DMN 的独特性质使得我们的方法难以揭示其在经验中的作用。DMN 是一个空间异质性系统，并且在个体间差异很大（Braga and Buckner, 2017）。由于我们的分析方法将一组个体的思维模式与另一组个体的大脑活动联系起来，这种方法可能难以在一个像 DMN 这样高度特异化的大脑网络中识别其在电影相关思维模式中的作用（Braga and Buckner, 2017; Daitch and Parvizi, 2018）。通过使用精确扫描方法检查思维模式与个体之间的映射关系，可以轻松检验这种可能性（Gordon et al., 2017）。研究还强调，DMN 在其参与的功能方面是异质的，特别是，假设它在解耦状态和耦合状态之间灵活转换（Zhang et al., 2022）。因此，例如，该网络在离任务或思维漫游状态中假设扮演的角色（例如 Christoff et al., 2009）可能会掩盖其在感觉耦合状态（如观看电影）中的作用。 需要注意的是，虽然我们的研究并未确定 DMN 在观看电影状态中扮演何种角色，但它确实突显了感觉系统在与电影中事件时间锁定或“耦合”的经验状态中扮演的明确角色。因此，基于我们的研究，无论 DMN 在观看电影期间扮演何种角色，它很可能建立在感觉系统在我们观看电影时的想法和感受中扮演的基础性角色之上。与这种可能性一致，当代关于 DMN 的观点认为其功能源于其在皮层中的拓扑位置（Smallwood et al., 2021b）。根据这种观点，DMN 位于距离初级系统最远的位置，但也构成了处理流（如腹侧流和背侧流 Margulies et al., 2016）的顶点。我们之前曾论证，无论 DMN 在认知中扮演何种角色，都可能需要与初级系统相互作用，可能是通过沿不同处理流转换神经信号（Smallwood et al., 2021b）。换句话说，DMN 可能在观看电影中扮演补充感觉输入信息处理的角色，这是一种重要但可能比视觉或听觉皮层区域对观影体验的贡献更不直接的角色。由于 DMN 被广泛假设在观看电影中很重要，我们进行了一项探索性的功能连接性分析，以检查我们研究中识别出的感觉区域是否在静息状态下与 DMN 功能耦合（见图 4—图补充 2）。结果显示，我们研究中识别出的感觉区域共享了 DMN 内的一组共同区域（包括颞叶前部区域和额下回；见图 4—图补充 2 和图 4—图补充 3）。该分析是探索性的，因此任何结果都应谨慎对待；然而，它与更精细的精确映射方法可能识别出这些区域在观看电影期间进行中思维中所扮演角色的可能性是一致的（Gordon et al., 2017）。 总之，我们的研究使用了一种新颖的范式来确定初级系统在我们观看电影时的体验中所扮演的角色。尽管如此，关于观看电影期间经验的其他特征的重要问题仍然悬而未决。例如，'言语细节’模式与电影中听觉皮层激活减少的时刻相关。这可能反映了注意力从处理与电影相关的听觉输入转向对电影中人物或事件的评价性思考，也许是以内部言语的形式（Mckeown et al., 2023）。当参与者对电影角色形成看法、阐述背景或对他们从电影中编码的信息进行推断时，可能会出现这些想法（Alderson-Day and Fernyhough, 2015）。通过检查直接针对内部言语的更具体的经验取样项目或针对电影中事件推理性处理的理解问题，可以轻松探索这种可能性（见 Smallwood et al., 2008b）。 重要的是，我们的研究提供了一种新颖的方法来回答这些问题以及其他关于电影期间经验的大脑基础的问题，这种方法可以简单且经济高效地应用。正如我们所展示的，mDES 可以与现有的大脑活动相结合，从而能够以相对较低的成本确定有关大脑活动和经验的信息。例如，我们范式的成本效益使其成为探索不同类型电影观看期间认知与神经活动之间关系的理想方式。在神经成像中，结论通常是在自然范式研究中使用一部电影得出的（Yang et al., 2023）。尽管当前的研究仅使用了三个电影片段，限制了我们对不同思维模式如何与特定电影类型相关形成强有力结论的能力，但未来，将有可能在更广泛的电影集合中映射认知，并辨别是否存在不同类型电影所引发的特定类型的经验。因此，我们方法的主要优势之一是能够以相对较低的成本跨参与者群体、跨各种电影映射思维。 尽管如此，这种范式并非没有局限性。据我们所知，这是第一个尝试将一个样本参与者的经验报告与第二组参与者的大脑活动进行比较的研究，虽然这种方法的效用使我们能够理解电影期间思维与大脑活动之间的关系，但在观看电影期间，将我们的分析扩展到记录大脑活动的同时进行的 mDES 数据将是很重要的。此外，我们的研究本质上是相关性的，未来，通过生成对大脑活动如何映射到参与者经验的更具机制性的理解可能是有用的。我们的分析表明，mDES 能够区分电影，突显了其对语义或情感内容变化的广泛敏感性。有了这些知识，我们建议未来研究人员可以通过对语义特征如何影响 mDES 数据进行机制性探究。例如，可以要求参与者以打乱的顺序观看电影，以理解语义或信息的结构如何影响通过 mDES 测量的思维与大脑之间的映射关系。最后，我们的研究侧重于将组水平的经验模式映射到组水平的大脑活动描述。未来，通过使用 mDES 测量更长时间段的经验，并确定经验的神经关联如何在观看相同电影且同时采集大脑活动的个体之间变化，可能可以采用“精确映射”方法（Gordon et al., 2017）。未来，我们预计我们的方法可以轻松应用于不同个体群体和不同类型的媒体，这将使得建立对大脑活动与观影体验之间联系的更全面、更具文化包容性的理解成为可能。 最后，值得考虑的是，我们分析识别出的大脑活动模式是反映了观看电影期间处理的刺激，还是反映了对这些信息的认知和情感处理。一方面，我们发现的区域通常位于感觉皮层区域内，这些大脑区域通常被赋予基本的刺激处理功能（Kaas and Collins, 2001）。此外，根据源自更传统任务范式的认知观点，复杂的认知特征，例如思维调节，通常归因于联络皮层区域，例如背外侧前额叶皮层（Turnbull et al., 2019a）。基于这些观点，我们研究中识别出的视觉和听觉皮层区域可能反映了参与者对感觉输入的注意，而不是可能对观看电影体验的某些特征所必需的对这些输入的复杂分析。另一方面，观看电影状态可能是一种与典型任务情境中出现的精神状态在性质上不同的类型。例如，与任务不同，观看电影状态的特点是多模态感觉输入、语义丰富的主题，它们共同演变以向观众揭示一个连续的叙事。因此，这些特征可能使电影能够营造一种沉浸状态，在这种状态下，感觉皮层中完成的相对更高量的处理比在传统任务范式中发生的要多（在传统任务范式中，联络皮层中的系统可能需要维持与任务规则相关的信息）。通过使用 mDES 比较不同情境（包括电影和任务）中发生的状态类型，并比较与不同状态相关的大脑活动的地形图，可以在解决这种不确定性方面取得重要进展。
|
