视觉工作记忆内容对自上而下注意控制的影响

心理学报 2011, Vol. 43, No.10, 1103−1113 Acta Psychologica Sinica DOI: 10.3724/SP.J.1041.2011.01103 视觉工作记忆内容对自上而下注意控制的影响： *一项ERP研究 白学军1 尹莎莎1 杨海波1 吕 勇1 胡 伟1 罗跃嘉2 (1天津师范大学心理与行为研究院, 天津 300074) (2北京师范大学认知神经科学与学习国家重点实验室, 北京 100875) 摘 要 采用视觉搜索范式, 以二维抽象对称图形为材料, 通过记录\\16名被试在长短两种时间间隔(ISI)条件和有效、中性、无效三种视觉工作记忆内容条件下的行为反应和事件相关电位(ERPs), 探讨视觉工作记忆内容对自上而下注意控制影响的认知过程和脑机制。结果发现：(1)无论ISI长或短, 有效信息条件(记忆图形与目标所在的背景图形相同)的反应时均显著短于无效信息条件(记忆图形与目标所在的背景图形不同)。(2)有效信息条件下的额区P2波幅显著大于中性信息条件(记忆图形不出现在搜索序列中); 枕区P1、N1波幅和潜伏期在视觉工作记忆内容条件下差异不显著; 短ISI条件下, 有效信息条件下的枕区P300波幅显著大于无效信息条件; 长ISI条件下, 有效信息条件的枕区P300波幅显著小于无效信息条件。表明当目标出现在与记忆内容相匹配的客体中时, 激活了工作记忆中的客体表征, 以自上而下的方式优先捕获注意; 同时ISI变化对此过程起着调节作用。 关键词 视觉工作记忆; 信息内容; ISI; 自上而下注意控制; 事件相关电位 分类号 B842 1 引言 现实生活中, 个体只能有选择地加工有用信息, 同时抑制无关信息, 这样才能确保认知活动的高效率。在这一过程中, 注意控制起着重要的作用。Desimone和Duncan (1995)提出视觉注意的偏向竞争模型(biased competition model)认为, 存在两种注意控制方式：(1)自下而上注意控制, 主要受刺激性质(如刺激的特异性和凸显性)的影响; (2)自上而对刺下注意控制, 主要受目标与期待(当前的目标、激位置和出现时间的期待)的影响(Yantis, 2000; Luck & Vecera, 2002)。大量行为实验结果表明, 自上而下注意控制在注意选择过程中起着重要作用(Soto, Heinke, Humphreys, & Blanco, 2005; Soto, Humphreys, & Heinke, 2006)。 自上而下注意控制的加工机制是通过激活储 收稿日期: 2010-09-29 存在工作记忆中的目标表征或模板来完成的。工作记忆主要参与外界信息的加工、暂时性存储和执行控制等认知过程, 注意控制则控制了外界信息进入信息加工系统的通道, 二者结合在一起构成了信息加工系统的中心环节。视觉工作记忆主要负责加工视觉信息, 例如物体的形状、颜色等, 当注意与视觉工作记忆共享某些特征时, 视觉工作记忆内容会对注意选择产生一定影响。但是研究者从行为角度对工作记忆能否自动引导注意选择的研究结果不一致。 一些研究者(Downing, 2000; Oliver, Meijer, & Theeuwes, 2006; Soto et al., 2005; 杨海波, 尹莎莎, 白学军, 2010)认为, 保持在工作记忆中的目标模板使视野中具有目标特征的刺激自动优先获得注意, 结果支持偏向竞争模型。Downing (2000)的研究以人脸图片和几何图形为材料, 发现探测刺激出现在* 国家社科基金“十一五”规划(教育学)国家青年基金课题项目(CBA090125), 教育部人文社会科学重点研究基地重大项目(08JJDXLX266)。 通讯作者: 杨海波, E-mail: psy-yhb@126.com 1103 1104 心 理 学 报 43卷 线索化面孔位置时的辨别反应时更短, 说明与当前工作记忆相匹配的项目会自动优先被选择。Soto等人(2005, 2006)以彩色几何图形和线条为材料, 发现即使在自下而上的特征信息非常突显的情况下, 视觉工作记忆仍会自动引导注意的分配。 另一些研究者(Downing & Dodds, 2004; Houtkamp & Roelfsema, 2006; Woodman & Luck, 2007)发现, 视觉工作记忆内容引导注意控制的方式并不是偏向竞争模型所说的那样, 而是比较灵活, 甚至某些情况下并不影响注意选择。Downing和Dodds (2004)以生活中常见的客体图片为材料, 要求被试同时记住两个客体, 其中一个为搜索目标, 另一个是分心刺激。结果发现搜索反应时并没有因为出现与工作记忆内容相匹配的分心刺激而变长。这可能是由于搜索目标的表征与分心刺激的表征是分别储存, 从而导致没有发现视觉工作记忆影响视觉搜索中的注意选择。Woodman和Luck (2007)将客体的颜色作为记忆内容, 结果发现, 与视觉工作记忆内容相匹配的分心物促进了视觉搜索, 表明视觉工作记忆并不是自动引导注意去选择与记忆表征相匹配的客体。因为当被试知道工作记忆内容不可能是搜索目标时, 记忆模板与目标在工作记忆中分开存储, 只有保持在记忆焦点的目标模板才可以引导视觉注意(Oberauer, 2002)。 由于以往的行为研究对于视觉工作记忆内容是否可以自动引导注意控制这个问题上存在争议, 近年来, 一些研究者利用ERP技术来探讨视觉工作记忆内容影响自上而下注意控制的时间进程和认知机制。一些研究发现, 当探测刺激出现在与记忆内容相匹配的搜索项目所在位置时, 后部头皮的Pl和N1波幅较大(Luck, Fan, & Hillyard, 1993; Mangun, Hillyard, & Luck, 1993; Wijers, Lange, Mulder, G., & Mulder, L. J. M., 1997; Luck & Hillyard, 2000), 但是在潜伏期和头皮分布上却没有显著差别(Mangun, 1995; Di Russo, Martínez, & Hillyard, 2003)。Luck和Hillyard (1995)认为, 视觉搜索中的Pl成分反映对非目标位置的抑制, 而N1成分则反映了对目标位置的注意。Jha (2002)的研究也发现, 在注意条件下, Pl、N1的波幅较大, 并且枕颞区域最为明显。这些结果说明先前储存在工作记忆中的位置信息引导了对目标位置的优先注意。但是Kumar, Soto和Humphreys (2009)以彩色几何图形和线条为材料的研究发现, N1和P1的波幅在不同视觉工作记忆条件下没有显著差异, 说明储存 在视觉工作记忆中的客体表征并没有对目标的早期加工产生影响。Telling, Kumar, Meyer和Humphreys (2010)以熟悉的客体图片为材料, 发现分心物存在、目标存在和目标缺失三种条件下的P1和N1均无显著差异, 说明目标和分心物的差异不足以影响早期的视觉加工。 一些研究显示, 位于头前部和中央头皮区域的P2成分在刺激特征中含有目标特征时更大(Luck & Hillyard, 1995; Phillips & Takeda, 2009)。陈彩琦(2004)的研究发现, 头皮前部的P2出现了显著的线索化效应, 有效线索条件下的波幅大于无效线索条件, 说明任务初期空间线索对记忆项目的知觉选择起促进作用。P2成分反映了对目标本身属性的加工, 当先前出现过的项目再次出现时, 波幅增大, 但是对于此成分与视觉工作记忆内容影响自上而下注意控制的相关研究较少。 有研究发现, 目标刺激要比非目标刺激产生更大的P300波幅(Van der Stelt, Kok, Smulders, Snel, & Gunning, 1998), 且P300波幅与所投入的心理资源和任务难度成正相关(Kok, 2001; Kumar et al., 2009)。当先前记忆的客体作为分心物出现在随后搜索的序列中, P300波幅增大, 这是因为在搜索序列中, 重复出现的客体与需要反应的目标间出现冲突, 使得对目标的选择更加困难。Phillips和Takeda (2009)采用ERP技术探讨了有效和无效条件下视觉工作记忆对视觉搜索的影响, 要求被试在搜索序列中寻找与记忆项目相同客体, 并对它的位置做出反应。结果发现当与记忆项目有相同特征的分心物出现时, P300的波幅较小。 尽管以往研究已经表明视觉工作记忆内容对自上而下注意控制产生影响, 但是对于此作用的产生机制却没有一致意见。可能原因在于：(1)对实验材料的控制不够严格, 大多数以往研究的视觉记忆项目是客体图片、颜色或几何图形等。一方面, 这些项目的某些特征较容易进行语义编码(如红色三角形等), 被试可能会对这些项目进行语义编码, 从而就不能较好地操作视觉记忆, 干扰了实验结果。Soto等人(2006)的实验向被试呈现描述客体颜色和形状的单词(如red、square), 要求被试读出词汇并记住, 然后完成一个搜索任务。结果发现, 当搜索序列中的项目特征与先前记忆词汇所描述的特征相同时, 搜索反应时显著变长, 表明语音工作记忆表征也能自动引导视觉注意。另一方面, 实验材料采用生活中的客体或几何图形, 被试对材料熟10期 白学军 等: 视觉工作记忆内容对自上而下注意控制的影响：一项ERP研究 1105 悉性存在差异, 这也可能影响实验结果。(2)记忆项目与搜索序列之间的ISI不同。例如, Soto等人(2006)的研究中, 记忆项目与搜索序列之间的ISI只有317 ms, Woodman等人(2007)的研究中, 两者之间的ISI则是1000ms, 而Downing (2000)的研究中, 这个值则高达2506 ms。记忆项目与搜索序列之间的ISI不同, 记忆项目的加工水平不同, 时间越长, 记忆项目的编码就越精细, 这就会影响搜索效率, 这一效应在行为反应和ERPs均能体现差异。 基于上述的不一致, 本研究通过两个方面的操作来进一步探讨视觉工作记忆对自上而下注意控制的影响。第一个操作是控制实验材料的类型, 旨在获得较为纯粹的视觉工作记忆, 避免其他工作记忆成分(如语音回路)对视觉搜索的干扰。在获得较为纯粹的视觉工作记忆方面, 通常的方法有两种：一种是在进行视觉工作记忆任务的同时要求被试完成言语记忆任务, 以此防止被试将视觉刺激转换言语编码进行加工和存贮(张豹, 金志成, 陈彩琦, 2008); 另一种方式是采用难以用语义进行编码的图形为实验材料, 使被试无法对实验材料进行语义水平的加工(Olson, Moore, & Drowos, 2008)。相比之下, 前一种方法不如后一种方法更直接、更有效。因此, 本研究采用第二种方法, 即采用二维抽象对称图形, 以此排除语义编码对视觉工作记忆任务的干扰。 第二个是操作记忆项目的编码水平, 具体做法是通过控制记忆项目与搜索序列的ISI来实现。有研究(Luo, Greenwood, & Parasuraman, 2001; Simon- Thomas, Brodsky, Willing, Sinha, & Knight, 2003)发现枕部脑区与记忆编码有关, 而ISI可以影响随后的目标信息的加工。对ISI的操作可以帮助了解不同工作记忆加工时程上视觉工作记忆内容对自上而下注意控制的影响。Ruchkin, Johnson, Grafman, Canoune和Ritter (1997)的研究以人脸为材料, 发现记忆项目呈现2000 ms后, 编码过程基本完成, 开始进入保持阶段。但是Ruchkin, Grafman, Cameron和Berndt (2003)的另一项研究发现, 视觉空间记忆编码在刺激出现后1500ms左右完成。聂爱情和郭春彦(2005)的研究中使用标准化的客体图片为材料, 定义记忆图片的编码时间为1600ms左右, 此后开始进入保持阶段。Li, Chan和Luo (2010)的一项研究采用延迟匹配任务, 考察负性情绪对工作记忆编码与保持阶段的影响。研究通过记录ERP的时程来区分编码和保持阶段, 记忆项目和目标刺 激之间的时间间隔设定在了400~600 ms随机。从ERP的波形图可以看出, 记忆项目呈现后的1100~1600 ms之间开始进入保持阶段。从上述研究可以看出, 视觉图形在呈现后的1100~2000 ms的范围内开始进入保持阶段。其具体的时程会因材料的变化而变化。对于简单记忆图形(几何图形), 编码一般在图形呈现后的1500ms左右完成, 而对于复杂图形(面孔), 编码一般在图形呈现后的2000 ms左右完成。本研究材料为二维抽象对称图形, 加工难度介于几何图形与面孔之间。故在参考Kumar等人(2009)研究的基础上, 本研究采用操作记忆项目与搜索序列之间的ISI长短来控制记忆项目的加工程度, 分为长ISI (800~1000 ms随机)和短ISI (400~600 ms随机), 以此来操作记忆项目分别处于编码阶段和保持阶段。 根据偏向竞争模型, 若某一客体表征与当前工作记忆中保持的目标模板相同, 那么该客体表征就会取得竞争优势而被视觉注意优先选择。故提出假设：(1)在反应时上, 有效工作记忆内容条件下的反应时显著短于无效工作记忆内容条件; (2)在ERPs上, 早期的P1、N1没有显著差异, 有效信息条件下的额区P2波幅显著大于中性信息条件, 有效信息条件下的P300波幅显著小于无效信息条件。由于研究通过操作ISI控制了记忆项目的编码水平, 编码水平越高, 对视觉搜索的影响作用就越大。故提出假设：(3)在反应时上, 长ISI条件下的反应时显著短于短ISI条件; (4)在ERPs上, 短ISI条件下的P300波幅显著大于长ISI条件。 2 方法 2.1 被试 17名大学生参加实验, 平均年龄为23.7±2.6岁。所有被试视力或矫正视力正常, 无色觉障碍, 均为右利手, 身体健康无神经系统疾病, 没有脑部损伤史。被试完成实验后均获得少量报酬。ERP实验中有1名被试的数据因为伪迹过多而被剔除, 最后参与统计分析的被试数为16名(8男和8女)。 2.2 实验材料 实验材料主要参考Olson等人(2008)实验中所用的二维抽象对称图形。根据Olson等人的观点, 二维抽象对称图形的形状各异, 在较短的时间内很难用语言对其命名, 因此能最大程度排除对图形的语义编码。具体步骤如下： (1) 采用Adobe Photoshop CS3绘制了80个左1106 心 理 学 报 43卷 右对称的不规则图形, 图形大小为30×30像素, 颜色为白色(RGB：231, 231, 231), 背景色是灰色(RGB：129, 129, 129)。 (2) 请20名大学生对80个图形进行有无意义的5点评定, 其中1为没有意义, 5为有意义。选出评定等级平均分在1.5分之下的20个图形为无意义图形。 (3) 将20个图形两两配对, 另外请18名大学生对这些图形进行相似性评定, 1为很不相似, 5为很相似。根据评定结果, 剔除8个平均评定成绩高于2.5的图形, 保留12个图形, M=1.34±0.07。 (4) 另请20名学生对选出的12个图形进行第二次语义评定, M=1.36±0.06, 将评定结果与先前语义评定结果进行差异检验, t(19)=0.78, p＞0.05, 两次评定结果无显著差异, 说明不存在被试之间的差别, 最终选定12个图形作为最终实验材料。 分别统计第一个block和最后一个block的判断准确率, 第一个block的正确率为M=0.94±0.05, 最后一个block的正确率为M=0.96±0.04。对两个block的正确率进行t检验发现：t(16)=1.17, p>0.05, 不存在显著差异。从结果可以得出, 图形先后多次出现, 判断的正确率不存在显著差异, 所以实验并没有因为图形重复次数多而对结果造成影响。 实验材料分为三种, 第一种是记忆项目, 为经过评定的12个不同形状的二维对称抽象图形。图形呈现在屏幕中央, 大小为0.8°。第二种是搜索序列, 为12个图形中的4个图形, 图形中心分布在一个以屏幕中心为圆点, 以2.6°视角为半径的假想圆周上。四个图形分别呈现在圆周的45°、135°、225°、315°位置, 搜索序列的水平和垂直视角均为6.0°。每个图形中镶嵌一个黑色箭头, 一个图形序列中只有一个图形中的箭头是水平方向的, 其余图形中的箭头都是竖直方向的, 图形序列呈现在屏幕中央。第三种为记忆探测项目, 与记忆项目相同。 2.3 实验设计 实验采用3 (视觉工作记忆内容, 简称工作记忆：有效信息、中性信息、无效信息) × 2 (ISI：长、短)两因素的被试内设计。 有效信息条件是记忆项目出现在搜索序列中, 并且目标箭头嵌入记忆项目中; 中性信息条件是记忆项目不出现在搜索序列中, 目标箭头嵌入非记忆项目中; 无效信息条件是记忆项目出现在搜索序列中, 但是目标箭头却嵌入非记忆项目中。 ISI指记忆项目消失到搜索序列呈现的时间间 隔, 短ISI为400~600 ms之间随机, 长ISI为800~1000 ms之间随机。 本研究范式中, 通过指导语来实现自上而下注意控制。先呈现指导语, 让被试形成一个自上而下的注意控制, 接着再呈现一个记忆项目, 要求被试记住这个图形。然后完成视觉搜索任务, 最后是记忆效果探测。通过这个范式, 可以较好地探讨视觉工作记忆内容对自上而下注意控制的影响。 2.4 实验程序 采用STIM2软件进行编程, 刺激通过21英寸CRT显示器(分辨率1024×768, 刷新率85 Hz)呈现。 被试坐于一个隔音且灯光昏暗的屏蔽室内, 单独进行实验, 屏幕距被试双目约1米。每个试验(trail)的开始, 灰色背景屏幕中心呈现一个注视点“+”, 呈现时间为500 ms。然后出现记忆项目1000 ms, 要求被试记住整个图形。记忆项目消失后是随机长短ISI的灰色空屏, 然后是搜索序列, 被试的任务是搜索水平方向的箭头, 并对箭头方向进行按键反应, 按键后序列消失。如果被试在2000 ms内没有按键, 搜索序列消失。然后是灰色空屏200 ms, 之后是呈现探测刺激1500 ms, 被试的任务是判断此图形与先前要求记忆的图形是否相同并按键反应。按键后, 探测图形消失。最后是灰屏500 ms, 然后是下一个试验。实验流程见图1。 被试先进行36个练习, 熟悉实验要求并且练习正确率达到95%后开始正式实验, 整个实验共960个试验, 每种实验条件下160个试验, 共分为6个组块, 组块间隔期间被试闭眼休息5分钟。左右手按键在被试间进行了平衡, 要求被试在确保准确率的前提下尽快反应。 2.5 EEG记录 使用美国Neuroscan公司生产的ERP记录与分析系统, 按国际10-20系统扩展的64导电极帽记录EEG, 接地点位于在FCz和Fz连线的中点上, 双眼外侧安置电极记录水平眼电(HEOG), 右眼上下安置电极记录垂直眼电(VEOG)。以左耳乳突为参考电极点, 离线(Offline)分析时以左右两耳乳突的平均电位为参考。头皮与电极之间的阻抗小于5kΩ。滤波带通为0.05~100 Hz, 采样频率为1000 Hz/导。 2.6 数据测量与分析 对EEG数据进行离线处理时, 根据被试眼动的大小矫正VEOG和HEOG, 并充分排除其他伪迹。离线滤波的低通为30HZ(24dB/oct)。波幅大于±80 uv者被视为伪迹自动剔除。根据相关研究 10期 白学军 等: 视觉工作记忆内容对自上而下注意控制的影响：一项ERP研究 1107 图1 实验流程图 (Kumar et al., 2009; Telling et al., 2010)以及本实验中被试反应的情况, 选取的分析时程是搜索序列呈现前200ms到呈现后1000 ms, 基线为线索呈现前200ms, 分别对6种实验条件叠加出ERP, 每种条件下的叠加次数均大于120次。 观察所有被试叠加后的ERP波形, 根据头皮分布与电极位置之间的关系选取16个代表性的电极(F3、FZ、F4、FC3、FCZ、FC4、PO7、PO5、PO3、POZ、PO4、PO6、PO8、O1、OZ、O2), 然后参考已有的相关研究并且结合本研究的ERP总平均图把选取的16个电极分为头皮前部和后部, 分别选取时间窗口进行统计分析(Kumar et al., 2009)。 头皮前部成分和时间窗口为：P2 (130~250 ms); 头皮后部成分和时间窗口为：P1 (50~130 ms), N1 各个窗口的统计(130~180 ms), P300 (250~500 ms)。指标均为ERP波形的峰值和峰值潜伏期。对头皮长、短) × 3 (工作记忆：有效、前部成分进行2 (ISI：中性、无效)×6(电极点：F3、FZ、F4、FC3、FCZ、FC4)的三因素重复测量方差分析, 对头皮后部成分进行2 (ISI：长、短) × 3 (工作记忆：有效、中性、无效)×10(电极点：PO7、PO5、PO3、POZ、PO4、PO6、PO8、O1、OZ、O2)的三因素重复测量方差分析。采用SPSS 16.0统计软件进行数据处理, 并对不满足球形检验的统计效应采用Greenhouse- Geisser法矫正p值。 6.8%, 结果见表1。 表1 不同实验条件下被试的平均反应时 (ms) ISI 短 长 有效信息 (M±SD ) 中性信息 (M±SD ) 无效信息 (M±SD ) 993±119 1004±113 1026±132 1005±104 1011±103 1034±125 对反应时进行3(工作记忆：有效、中性、无效)×2(ISI：长、短)两因素重复测量方差分析, 结果发现：工作记忆的主效应显著, F(2, 30) = 9.37, p< 0.01。进一步分析发现, 被试在无效信息条件下的反应时(1030±32 ms)显著长于有效信息条件(999±27 ms); 有效信息条件与中性信息条(1008±27 ms)的反应时无显著差异; 无效信息条件下的反应时显著长于中性信息条件。ISI条件主效 应不显著。工作记忆和ISI条件的交互作用不显著。3 结果 3.1 行为结果 不同条件下记忆探测任务的正确率在94%以上, 且无显著差异。剔除平均数3个标准差之外和错误反应的反应时数据, 剔除数据占数据总数的3.2 ERP结果 根据总平均图结果, 实验条件下诱发了头皮前部的P2成分(图2)和头皮后部的P1、N1、P300(图3), 下面对这几个主要成分进行统计检验。 3.2.1 头皮前部P2成分 对P2成分的波幅进行多因素方差分析, 结果表明：工作记忆的主效应显著, F(2, 30)=5.94, p<0.01, 进一步分析发现, 有效信息条件下P2的波幅(6.18±0.78 μV)显著大于中性信息条件(5.58±0.78 μV); 电极点主效应显著, F(5, 75)=4.09, p<0.05; ISI的主效应不显著, F(1, 15)=2.56, p>0.05; ISI和电极点的交互作用显著, F(5, 75)=4.90, p<0.05, 进一步简单效应分析发现：在FC4电极点上, ISI主效应显著, F(1, 15)=6.48, p<0.05, 长ISI条件下的波幅(5.79±0.68μV)显著大于短ISI条件下的波幅(5.14±0.74 μV)。 1108 心 理 学 报 43卷 图2 长短ISI条件下三种视觉工作记忆内容诱发的头皮前部ERP总平均图 对P2的潜伏期进行方差分析, 主效应和交互作用都不显著。ERP总平均图见图2。 3.2.2 头皮后部各成分 后部P1成分的波幅方差分析结果表明：工作记忆主效应不显著, F(2, 30)=0.84, p>0.05; ISI的主效应显著, F(1, 15)=9.63, p<0.01, 短ISI条件下的波幅(3.45±0.52 μV)显著大于长ISI条件下的波幅(2.34±0.55 μV); 电极点的主效应不显著, F(9, 135)=0.80, p>0.05; ISI和视觉工作记忆内容的交互作用显著, F(2, 30)=5.29, p<0.05, 进一步进行简单效应分析发现：在有效信息条件下, 短ISI条件下的波幅(3.36±0.54 μV)显著大于长ISI条件(2.22±0.55 μV); 在中性信息条件下, 短ISI条件下的波幅(3.36±0.54 μV)也显著大于长ISI条件(2.17± 0.57 μV); 其他条件下均没有发现显著性交互作用。 后部P1的潜伏期方差分析结果表明：ISI主效应显著, F(1, 15)=5.61, p<0.05, 长ISI条件下的潜伏期(99±5ms)显著大于短ISI条件下的潜伏期(94±4 ms); 视觉工作记忆内容主效应不显著, F(2, 30)= 0.85, p>0.05; 电极点的主效应不显著, F(9, 135)= 0.28, p>0.05; ISI和电极点的交互作用显著, F(9, 135)=4.35, p<0.05, 进一步进行简单效应分析表明：在OZ、POZ、PO4、PO6、O2电极点上, 长ISI条件下的潜伏期均显著长于短ISI条件; 其他条件下均没有发现显著性交互作用。 后部N1成分的波幅的方差分析结果表明：ISI的主效应显著, F(1, 15)=6.27, p<0.05, 长ISI的波幅(−3.01±0.66 μV)显著大于短ISI的波幅(−2.21± 0.63 μV); 视觉工作记忆内容信息的主效应不显著, F(2, 30)=1.72, p>0.05; 电极点的主效应不显著, F(9, 135)=2.06, p>0.05; 各因素之间不存在显著的交互作用。潜伏期的方差分析中没有发现任何显著的主效应和交互作用。 后部P300成分的波幅的方差分析结果表明：ISI的主效应不显著, F(1, 15)=1.44, p＞0.05; 视觉工作记忆内容主效应不显著, F(2, 30)=0.14, p＞0.05; 电极点的主效应显著, F(9, 135)=7.84, p＜0.01; ISI和视觉工作记忆内容的交互作用显著, F(2, 30)=9.247, p＜0.01,进一步进行简单效应分析发现：在短ISI条件下, 有效信息条件下的波幅(6.82 ± 0.94 μV)显著大于无效信息条件(6.08± 0.79 μV), 中性信息条件居中(6.31±0.87 μV), 在长ISI下, 有效信息条件(5.77±0.80 μV)显著小于无效信息条件下的波幅(6.38±0.67 μV), 中性信息条件居中(6.02±0.82 μV); 其他条件下均没有发现显著性交互作用。潜伏期的方差分析中没有发现显著的主效应和交互作用。 10期 白学军 等: 视觉工作记忆内容对自上而下注意控制的影响：一项ERP研究 1109 图3 长短ISI条件下三种视觉工作记忆内容诱发的头皮后部ERP总平均图 4 讨论 本研究通过对实验材料的操作排除了语义编码的影响, 采用视觉搜索任务考察了长短ISI和不同视觉工作记忆内容条件下, 视觉工作记忆内容影响自上而下注意控制的时间进程和脑机制。结果发现, 在长短ISI下, 被试在无效信息条件下的反应时显著长于有效信息条件和中性信息条件, 表明视觉工作记忆内容的激活在自上而下注意控制中起着重要作用, 会以一种自动的方式捕获注意, 因为它的特征已经通过记忆表征被优先激活。 工作记忆内容对枕区早期的ERP成分(P1、N1)没有显著影响, 但是有效信息条件下的额区P2波幅显著大于中性信息条件; 且ISI为短时, 有效信息条件的枕区P300波幅显著大于无效信息条件, ISI为长时, 有效信息条件的枕区P300波幅显著小于无效信息条件, 研究结果证实了研究假设。 了偏向竞争模型。该模型为理解注意控制中自上而下的工作记忆因素和自下而上的感觉因素之间的相互关系提供了一个框架。那些具有凸显特征的客体会以自下而上的方式自动捕获视觉注意, 然而这种刺激驱动的加工一般只在被试没有明确任务目标时才会发生(Ruz & Lupiáñez, 2002)。当要求被试记忆某客体再完成任务时, 工作记忆中处于激活状态的目标模板就会以自上而下的方式优先注意与目标模板相匹配的客体, 从而使得视野中与目标模板匹配的物体表征取得竞争优势而以一种自动的方式被视觉注意优先选择。 本研究发现, 头皮后部的N1和P1成分在视觉工作记忆内容条件下没有显著差异。研究结果与Kumar等人(2009)和Telling等人(2010)的结果相一致。Kumar等人(2009)研究发现N1和P1的波幅在不同视觉工作记忆条件下没有显著差异, 说明储存在视觉工作记忆中的客体表征并没有对目标的早期知觉表征产生影响。Telling等人(2010)发现在分心物存在、目标存在和目标不存在条件下, P1和N1均无显著差异, 说明目标和分心物的不同不足以影Wolfe (1998)提出的Guide 响视觉搜索的早期阶段。Seareh 2.0(GS2)视觉搜索模型认为, 视觉搜索分为4.1 视觉工作记忆内容对视觉搜索早期阶段的影响 本研究操作了视觉工作记忆内容的有效性, 探讨了信息内容对自上而下注意控制的引导作用, 研究结果与Soto等人(2005, 2006)的结果相似, 支持 1110 心 理 学 报 43卷 前注意阶段和注意阶段, 前注意阶段是指在注意定向到目标客体之前, 先将注意定向到视野中某一位置, 这不受意识因素的影响。因此, 本研究中N1和P1成分在不同视觉工作记忆内容条件下没有显著差异的可能原因是, 被试不知道目标会出现在哪一个位置, 导致他们在搜索目标时, 只能随机地定向到某一位置。 4.2 视觉工作记忆内容对视觉搜索晚期阶段的影响 本研究发现, 头皮前部P2成分在不同工作记忆内容条件下的波幅主效应显著, 有效信息条件下的波幅显著大于中性信息条件。以往研究显示, 位于头前部和中央头皮区域的P2成分在刺激包含靶特征时更大(Luck & Hillyard, 1995; Phillips & Takeda, 2009)。在有效和无效信息条件下, 记忆项目都出现在搜索序列中, 而中性信息条件下记忆项目没有出现在搜索序列中, 所以有效和无效信息条件下的P2波幅要大于中性信息条件, 并且当目标箭头出现在记忆项目中时, P2波幅显著增大。反映了视觉工作记忆内容在视觉搜索过程中的激活。 Friedman-Hill, Robertson和Treisman (1995)曾指出, 头皮后部的P300与目标事件的自上而下的、内源性的和主动的加工有关。大量研究也表明P300与视觉工作记忆的关系非常密切。本研究发现P300波幅在ISI和视觉工作记忆内容信息条件下存在显著的交互作用, 多重比较发现：在短ISI条件下, 有效信息条件下的波幅显著大于无效信息条件, 中性信息条件居中; 而在长ISI条件下, 无效信息条件下的波幅显著大于有效信息条件, 中性信息条件居中。工作记忆中信息加工包括两个基本阶段：(1)信息从知觉表征向记忆表征的转化; (2)转化后信息的保持。有研究表明, 记忆刺激呈现1600 ms左右后, 编码操作基本完成(聂爱情, 郭春彦, 2005; 屈南, 郭春彦, 聂爱情, 丁锦红, 2005)。由于本实验材料难以用言语命名且熟悉度较低, 所以在短ISI条件下, 搜索序列呈现时, 视觉工作记忆内容还处于知觉表征向记忆表征转化的后期加工过程中。研究表明P300波幅与所投入的心理资源和任务难度呈正相关(Kok, 2001; Kumar et al., 2009)。 一些研究(孟迎芳, 郭春彦, 2007)认为, 记忆编码不是自动的, 是需要注意努力的, 所以需要分配一定的注意资源。有效信息条件下目标箭头所嵌入的图形与视觉工作记忆客体相同, 得到重复学习, 以一种自动的方式捕获注意, 在进行判断的同时, 加快了记忆编码, 使得注意过程能够获得较多的心理资源, P300波幅增大。无效信息条件下, 目标箭头所嵌入的图形与先前记忆项目不同, 虽然也得到重复学习, 但是由于被试由于要尽快对目标作出反应, 对编码存在着一定的干扰作用占用了大多数心理资源, 所以被试分配在判断反应上资源量相对较少, P300波幅更小。在长ISI条件下, 搜索序列呈现时已经完成了知觉表征向记忆表征的转化, 信息进入保持阶段, 所有的心理资源都用于进行注意反应。有效信息条件下目标箭头所嵌入的图形与记忆项目相同, 自动捕获注意, 所需投入的心理资源少, P300的波幅小; 无效信息条件下, 先前的记忆项目在搜索序列中充当了分心物的作用, 阻碍了有效的视觉搜索, 难度增大, 需要投入更多的心理资源, 故P300波幅最大。这一结果表明视觉工作记忆内容对自上而下注意控制的影响发生在视觉搜索的晚期阶段, 并且在视觉工作记忆编码和保持阶段, 与先前记忆项目相匹配的客体都以自上而下的方式自动的捕获注意, 与行为结果得出的结论相同, 支持偏向竞争模型。 另外, 本研究控制了视觉工作记忆内容的编码水平, 发现了在视觉工作记忆编码和保持的不同阶段, 由于对材料加工深度的不同, 造成了辨别反应阶段部分ERP成分上的差异, 这也可能是前人研究出现不一致结果的原因之一。同时发现这种影响突出表现在搜索序列呈现后的200ms左右, 这与早期研究一致。Chelazzi, Miller, Duncan和Desimone (1993)记录了猴子在完成一个延迟的匹配任务时的下颞叶皮层的(V4)的细胞活动。实验结果发现, 在搜索刺激呈现之前的延迟阶段下颞叶细胞活动增强, 持续对目标项目表现出选择性反应, 表明搜索目标消失后目标模板仍然保持在工作记忆之中。当搜索刺激呈现后, 神经细胞最初没有表现出反应, 但在序列呈现200ms左右并且在眼跳之前又对目标产生选择性反应。研究者认为, 视觉工作记忆中保持的目标模板能够以一种自上而下的方式调节早期视觉皮层的神经活动, 从而使得视野中与目标模板相同的项目自动获得注意偏向。 4.3 ISI变化对视觉搜索影响 本研究通过改变ISI的长短来操纵记忆项目的编码水平, 以探讨视觉工作记忆内容对自上而下注意控制的影响。结果发现, 头皮后部P1和N1波幅的ISI的主效应都显著, 短ISI条件下的P1波幅显著大于长ISI条件。当ISI为400~600 ms时, 视觉10期 白学军 等: 视觉工作记忆内容对自上而下注意控制的影响：一项ERP研究 1111 工作记忆内容(先前的记忆项目)仍然处于编码阶段, 被试初步进行搜索并做出空间定向判断, 所以诱发的P1波幅较大。短ISI条件下的N1波幅显著小于长ISI条件。当ISI为800~1000 ms时, 搜索序列呈现时, 视觉工作记忆内容已经进入保持阶段, 此时没有记忆编码的影响, 被试对目标进行初步的辨别, N1波幅增大。 研究表明, 视觉Nl成分是注意条件下辨别加工的有效指标, 所以在视觉工作工作记忆编码和保持的不同阶段, 对材料的加工程度不同, 时间越长, 加工越精细。当处于视觉工作记忆的编码阶段时, 只能初步进行空间上的感知, 只有在保持阶段, 才能对项目进行一个进一步的初步辨别。魏景汉、范思陆(1991)认为, 含有刺激物外源性成分(物理因素)的诱发电位存在于刺激后500ms以内, 超过500 ms可以避免外源性成分的影响, 而完全观察内源性成分(心理因素)造成的影响。本研究长短时间间隔条件下基本可以忽略外源性成分的影响, 而完全考虑内源性成分的影响。 对ERP各成分潜伏期的分析发现, P1潜伏期在ISI的主效应显著, 进一步多重比较发现, 长ISI条件下的潜伏期显著大于短ISI条件下的潜伏期。潜伏期反映神经活动与加工过程的速度和评价时间, 在短ISI条件下, 视觉工作记忆还处于编码阶段, 使得搜索序列的出现加快了神经活动, 所以导致潜伏期较短。进一步分析发现在OZ、POZ、PO4、PO6、O2电极点上, 长ISI条件下的潜伏期均显著长于短ISI条件, 说明右侧枕区可能在这一过程中起主要作用。 5 结论 在本实验条件下, 可得出以下结论：(1)有效信息条件下的搜索反应时相对较短, 表明若某一客体表征与当前工作记忆中的目标模板相同, 该客体表征可以自动取得竞争优势而被视觉注意优先选择。(2)视觉工作记忆内容对早期ERP成分(P1、N1)没有显著影响, 但是额区P2波幅和晚期的P300成分的波幅差异显著, 说明视觉工作记忆内容对自上而下注意控制的影响发生在视觉搜索的晚期评估阶段。(3)短ISI条件下, 有效信息条件下诱发了更大的枕区P300波幅; 长ISI条件下, 无效信息条件下诱发了更大的枕区P300波幅。反映了ISI的变化调节视觉工作记忆内容对自上而下注意控制的影响过程, 表明无论是视觉工作记忆内容的编码还是复 述阶段, 与记忆项目相匹配的客体都会以自上而下的方式优先捕获注意, 结果支持了偏向竞争模型。 参 考 文 献 Chelazzi, L., Miller, E. K., Duncan, J., & Desimone, R. (1993). A neural basis for visual search in inferior temporal cortex. Nature, 363, 345–347. Chen, C. Q. (2004). The interaction between visual selective attention and working memory: A cognitive behavioral and ERP study. Unpublished doctorial dissertation, South China Normal University. [陈彩琦. (2004). 视觉选择性注意与工作记忆的交互关系—认知行为与ERP的研究. 博士学位论文, 华南师范大学.] Desimone, R., & Duncan, J. (1995). Neural mechanisms of selective visual attention. Annual Review of Neuroscience, 18, 193–222. Di Russo, F., Martínez, A., & Hillyard, S. A. (2003). Source analysis of event-related cortical activity during visuo-spatial attention. Cerebral Cortex, 13, 486–499. Downing, P. E. (2000). Interactions between visual working memory and selective attention. Psychological Science, 11, 467–473. Downing, P. E., & Dodds, C. M. (2004). Competition in visual working memory for control of search. Visual Cognition, 11, 689–703. Friedman-Hill, S. R., Robertson, L. C., & Treisman, A. (1995). Parietal contributions to visual feature binding: Evidence from a patient with bilateral lesions. Science, 269, 853–855. Houtkamp, R., & Roelfsema, P. R. (2006). The effect of items in working memory on the deployment of attention and the eyes during visual search. Journal of Experimental Psychology: Human Perception and Performance, 32, 423–442. Jha, A. P. (2002). Tracking the time-course of attentional involvement in spatial working memory: An event-related potential investigation. Cognitive Brain Research, 15, 61–69. Kok, A. (2001). On the utility of P3 amplitude as a measure of processing capacity. Psychophysiology, 38(2), 557–577. Kumar, S., Soto, D., & Humphreys, G. W. (2009). Electrophysiological evidence for attentional guidance by the contents of working memory. Journal of Cognitive Neuroscience, 5, 307–317. Li, X. B., Chan, R. C. K., & Luo, Y. J. (2010). Stage effects of negative emotion on spatial and verbal working memory. BMC Neuroscience, 11, 60–70. Luck, S. J., Fan, S. L., & Hillyard, S. A. (1993). Attention-related modulation of sensory-evoked brain activity in a visual search task. Journal of Cognitive Neuroscience, 5, 188–195. Luck, S. J., & Hillyard, S. A. (1995). The role of attention in feature detection and conjunction discrimination: An electrophysiological analysis. International Journal of Neuroscience, 80, 281–297. Luck, S. J., & Hillyard, S. A. (2000). The operation of selective attention at multiple stages of processing: Evidence from human and monkey electrophysiology. In M. S. Gazzaniga (Ed.), The New Cognitive Neurosciences. Cambridge, MA: MIT Press. 1112 心 理 学 报 43卷 Luck, S. J., & Vecera, S. P. (2002). Attention. In S. Yantis (Ed.), The Stevens’ handbook of experimental psychology. New York: Wiley. Luo, Y. J., Greenwood, P. M., & Parasuraman, R. (2001). Dynamics of the spatial scale of visual attention revealed by brain event-related potentials. Cognitive Brain Research, 12, 371–381. Mangun, G. R., Hillyard, S. A., & Luck, S. J. (1993). Electrocortical substrates of visual selective attention. In D. Meyer & S. Kornblum (Eds), Attention and performance (pp. 219–243). Cambridge, MA: MIT Press. Mangun, G. R. (1995). Neural mechanisms of visual selective attention. Psychophysiology, 32, 4–18. Meng, Y, F., & Guo, C, Y. (2007). The asymmetric effect of interference at encoding or retrieval on implicit and explicit memory. Acta Psychologica Sinica, 39(4), 579–588. [孟迎芳, 郭春彦. (2007). 编码与提取干扰对内隐和外显记忆的非对称性影响. 心理学报, 39(4), 579–588.] Nie, A. Q., & Guo, C. Y. (2005). The medial temporal lobe and source memory. Psychological Science, 28(1), 204–206. [聂爱情, 郭春彦. (2005). 内侧颞叶与来源记忆. 心理科学, 28(1), 204–206.] Olivers, C. N. L., Meijer, F., & Theeuwes, J. (2006). Feature-based memory-driven attentional capture: Visual working memory content affects visual attention. Journal of Experimental Psychology: Human Perception & Performance, 32, 1243–1265. Oberauer, K. (2002). Access to information in working memory: Exploring the focus of attention. Journal of Experimental Psychology: Learning, Memory and Cognition, 28, 411–421. Olson, I. R., Moore, K. S., & Drowos, D. B. (2008). The contents of visual memory are only partly under volitional control. Memory and Cognition, 36(7), 1360–1369. Phillips, S., & Takeda, Y. (2009). An EEG/ERP study of efficient versus inefficient visual search. Proceedings of the 31st Annual Conference of the Cognitive Science Society, Amsterdam, The Netherlands. Qu, N., Guo, C. Y., Nie, A. Q., & Ding, J. H. (2005). The Influence of retrieval format on subsequent memory effect. Acta Psychologica Sinica, 37(1), 26–33. [屈南, 郭春彦, 聂爱情, 丁锦红. (2005). 提取方式对相继记忆效应的影响. 心理学报, 37(1), 26–33.]. Ruchkin, D. S., Grafman, J., Cameron, K., & Berndt, R. S. (2003). Working memory retention systems: A state of activated long-term memory. Behavior and Brain Sciences, 26, 709–728. Ruchkin, D. S., Johnson Jr., R., Grafman, J., Canoune, H., & Ritter, W. (1997). Multiple visuospatial working memory buffers: Evidence from spatiotemporal patterns of brain activity. Neuropsychologia, 35(2), 195–209. Ruz, M., & Lupiáñez, J. (2002). A review of attentional capture: On its automaticity and sensitivity to endogenous control. Psicologica, 23, 283−309. Soto, D., Heinke, D., Humphreys, G. W., & Blanco, M. J. (2005). Early, involuntary top-down guidance of attention from working memory. Journal of Experimental Psychology: Human Perception & Performance, 31, 248–261. Soto, D., Humphreys, G. W., & Heinke, D. (2006). Working memory can guide pop-out search. Vision Research, 46, 1010–1018. Simon-Thomas, E. R., Brodsky, K., Willing, C., Sinha, R., & Knight, R. T. (2003). Distributed neural activity during object, spatial and integrated processing in humans. Cognitive Brain Research, 16, 457–467. Telling, A. L., Kumar, S., Meyer, A. S., & Humphreys, G. W. (2010).Electrophysiological evidence of semantic interference in visual search. Journal of Cognitive Neuroscience, 22(10), 2212–2225. Van der Stelt, O., Kok, A., Smulders, F. T. Y., Snel, J., & Gunning, W. B. (1998). Cerebral event-related potentials associated with selective attention to color: Developmental changes from childhood to adulthood. Psychophysiology, 35, 227–239. Wei, J. H., & Fan, S. L. (1991). Direct proof of CNV as a composite wave. Acta Psychologica Sinica,24(1), 69–73. [魏景汉, 范思陆. (1991). 关于CNV是复合波的直接证明. 心理学报, 24(1), 69–73.] Wijers, A. A., Lange, J. J., Mulder, G., & Mulder, L. J. M. (1997). An ERP study of visual spatial attention and letter target detection for isoluminant and nonisoluminant stimuli. Psychophysiology, 34, 553–565. Wolfe, J. M. (1998). What can 1 million trials tell us about visual search? Psychological Science, 9, 33–39. Woodman, G. F., & Luck, S. J. (2007). Do the contents of visual working memory automatically influence attentional selection during visual search? Journal of Experimental Psychology: Human Perception and Performance, 33, 363–377. Yang, H. B., Yin, S. S., Bai, X. J. (2010). The influence of visual working memory contents on visual search. Studies of Psychology and Behavior, 8, 150–154. [杨海波, 尹莎莎, 白学军. (2010). 视觉工作记忆内容对视觉搜索的影响. 心理与行为研究, 8, 150–154.] Yantis, S. (2000). Goal-directed and stimulus-driven determinants of attentional control. In S. Monsell & J. Driver (Eds.), Attention and performance (pp. 73–103). Cambridge, MA: MIT Press. Zhang, B., Jin, Z. C., & Chen, C. Q. (2008). Visual working memory modulates attentional orienting at preattention stage. Acta Psychologica Sinica, 40(5), 552–561. [张豹, 金志成, 陈彩琦. (2008). 视觉工作记忆对前注意阶段注意定向的调节. 心理学报, 40(5), 552–561.] 10期 白学军 等: 视觉工作记忆内容对自上而下注意控制的影响：一项ERP研究 1113 The Influence of Visual Working Memory Contents on Top-down Attentional Control: An ERP Study BAI Xue-Jun1; YIN Sha-Sha1; YANG Hai-Bo1; LV Yong1; HU Wei1; LUO Yue-Jia2 (1 Academy of Psychology and behavior, Tianjin Normal University, Tianjin 300074, China) (2 State Key Laboratory of Cognitive Neuroscience and Learning, Beijing Normal University, Beijing 100875, China) Abstract The biased competition model for attentional selection proposed by Desimone and Duncan (1995) provided a framework for researchers to understand the interaction between top-down working memory factors and bottom-up sensory factors in attentional control. This model suggested that the stimulus representation stored in visual working memory would automatically capture attention in a visual search. However, other studies found that the content of visual working memory played no role in attentional capture. In order to explore the influence of visual working memory content on top-down attentional control, we employed a visual search paradigm with a secondary memory task and recorded ERP’s. Sixteen participants performed the task under long or short ISI conditions. The short ISI varied randomly from 400 to 600ms, while the long ISI varied randomly from 800 to 900ms. Each trial began with a black fixation cross displayed on a gray background for 500ms, followed by a memory item (abstract shape) for 1000 ms, and a blank interval (ISI). After the interval, a search array of four abstract symmetrical shapes containing an arrow each was presented for 2000ms, and participants had to use a button box to indicate the direction of the only horizontal arrow presented in these shapes. This was followed by a 200ms interval. Finally, a probe stimulus was displayed for 1500ms, and participants had to indicate whether this item was the same as the initial abstract shape presented on its own at the beginning of the trial. The next trail commenced after a 500ms intertrial interval. The search arrays were divided into valid (the memory item appears in the search array and contains the horizontal arrow), invalid (the memory item appears in the search array, but does not contain a horizontal arrow), and neutral (the memory item is absent from the search array). The behavioral data demonstrated that the RTs were significantly shorter in the valid condition than those in the invalid condition regardless of ISI duration. The ERP data showed that the amplitudes of frontal P2 in the valid condition were significantly larger than those in the neutral condition. The amplitudes and latencies of occipital N1 and P1 did not show any significant differences between all visual working memory content conditions (valid, invalid and neutral). However, the main effect of ISI was reliable on the amplitudes of both P1 and N1. The amplitudes of P1 in the short ISI condition were larger than those in the long ISI condition, by the contrast, the amplitudes of N1 in the short ISI condition were smaller than those in the long ISI condition. That finding was considered to be related to the time course of visual working memory processing. Furthermore, the amplitudes of P300 in the valid condition were larger than those in the invalid condition when the ISI was short, and in contrast, the amplitudes of P300 in the valid condition were significantly smaller than those in the invalid condition when the ISI was long. The overall findings suggest that the influence of visual working memory content on top-down attentional control was affected by the time course of visual working memory processing. In the valid condition where search targets matched the content of working memory, an automatic selection advantage was observed for RTs and ERPs. Key words visual working memory; information content; ISI; top-down attentional control; ERPs