关于注意力的论文文献

小董是我接待的一个学生，在一个阳光灿烂的下午他走进了我的咨询室，但是他的神情却很抑郁，“我怎么也进入不了学习状态，一坐下就胡思乱想，怎么也收不回心”他一进来就迫不急待的说。“别着急，慢慢讲，让我们把问题搞清楚，再一起想办法”我招呼他在沙发上坐了下来。原来小董是高一的一名学生，在初中时就有上课爱走神的习惯，升到高中后随着学习难度的逐深加和知识量的不断增加，小董在学习也越发受到注意力差的困扰。他说在课堂上经常不知不觉的就走神了，一走起神来就好像老师不存在了一样，思想也不知在什么地方驰骋，猛然间被老师点名或是回过神来又后悔不已，老师一节课讲的许多东西都被错过，在课后做作业也是控制不住自己，时不时的走神，别人一个小时就可以写完的作业，他要写上二个多小时，学习成绩也是一路下滑，他真不知该怎么办，也不知自己还有没有希望了。我委婉的告诉小董以下几点：（1）现在你的心情很不好，对你的烦恼我可理解，因为我上初中时也有爱走神的毛病，让我也深受其苦，但经过自己的不断努力，终于去掉了自己爱走神的毛病；（2）注意力是良好心理品质的一个主要方面，它即像是心灵的门户，又象是心灵的警卫，对整个智力活动甚至整个心理活动都有着指向、组织和维持的重要作用，学习成绩不好的人，注意力大多存在问题，而成绩优异的同学也必然有着良好的注意力品质；（3）注意力这种心理品质并非不可捉摸，它伴随着人的一切心理活动，只要你时时处处，从多方面锻炼培养注意力，就一定会具备良好的注意力品质。在谈话中我通过求认同感拉近和小董的心理距离，又介绍了注意力的重要性，以进一步引起小董的重视；接着告诉他良好的注意力品质是可以培养出来的，以增强小董对自己的信心。因已经放学，我们终止了第一次谈话，临走时小董说：“和你聊了一聊，我心里舒服多了”，我们约好一天后再见面。第二天我和小董的班主任取得了联系，在电话中了解到小董学习倒是挺刻苦，天天趴在桌子上也不动，上课也从不说话玩耍，但成绩一直上不去。小董的父母是个体户，家境不是太好，父母一忙了就根本顾不上管孩子，小董的自理、自律较其它同学也差一些。放下电话，我陷入了深思：我该怎样帮助小董呢？我 要 重 新 开始一天后小董如约来到了咨询室，我问他学习时感觉怎样，他说没什么变化，但心里没那么急躁了，我笑着对他说：“没关系，好习惯的培养就象滚雪球，只要你不断的推，就会越来越大”小董充满信任的点了点头。接下来我用周步成编制的注意力测验（QPT）软件对小董进行了测试，测试结果反映小董在同一时间内，能清楚的注意对象的数量少，不能很好的把注意分配在不同的对象上，对同一对象注意的持续时间短。根据测试我向他说明：你的注意力品质较差，极易分心，这是影响你提高学习效率的一个关键因素。接着我又给小董讲了两个关于注意力的事，一个是常昊，他五岁时就表现出了良好的注意力，常在少年宫看别人下围棋可以一看一上午都不动，因此少年宫的邱百瑞教练看中了他并加以培养，常昊成为职业棋手后依然表现与他年龄极不相称的坚忍和克制力，正是他出色的注意力帮助他走向成功。而另一个我曾经带过的一个学生，开始他的注意力并不好，考试时他都走神，但后来他勇于向自己挑战，不断地锻炼自己的注意力，成绩也随之好转，高三时终于考上了一所名牌大学。从这两则事中，小董似乎受到了触动，他情不自禁的说：“我一定要重新开始”。最后我和他共同探讨了改善注意力的办法，主要措施有如下几条：（1）掌握学习的难度，遵循从易到难的原则进行学习；（2）注意学习和生活的节奏性，不打疲劳战和持久战；（3）进行体育锻炼，增强体质和自制力；（4）制定细化每天的学习计划，定量不定时，控制学习效率。小董表示一定要按我建议的方法去做。在 家 一 切 都槽 透 了二个星期后小董又来到咨询室，首先小董反映经过一段时间调整后，在班里学习时走神明显少多了，学习效率也有了一定的提高，但一回到家里就又不行了，家里的房子面积只有五十多平方，父母一回了家就是做饭，收拾东西，看电视，常常父母为是为一件小事争来吵去，就不就是不停的唠叨他，父母只要一见他成绩不好就训斥他，但从不问他为什么学习不好，在那样的环境里怎么可能静下心来学习呢？一见到他们心中就有说不出的烦燥…… 我一边聆听着，一边在认识上帮他澄清他的认识：也许你家里的学习环境并不是真的太好，但对分散注意的各种干扰，不能产生愤恨、烦恼和愤怒的情绪，而一定要镇定情绪，泰然处之。环境的干扰只有通过内心的干扰才能起到分散注意的作用，对分散注意的外界刺激，如果产生怨恨的情绪，则会比刺激更强烈地分散人的注意力。在对他的情绪进行分析之后，我对小董又提了几点建议，其一、和父母做好沟通，特别是在家的感受，以及学习中遇到的困难都可以和父母谈，争取父母的理解；第二、学习时即使家里有声音也不要太注意，而应把注意力放在学习上，因为当大脑皮层建立了一个兴奋中心并不断加强时就可以抑制其它兴奋点；第三、是在分神后立刻把分神时所想的东西记下来，然后再继续学习，等学习任务完成后再看一下关于自己注意的记录，看一看走神时想的那些是真正需要思考和解决的，哪些是胡思乱想，长此坚持，以提高自己的自我监控能力；第四、进行注意力的心理训练。小董对我介绍的办法很注重，一一做了笔记，并说回去一定按我说的努力去做。过了几天后，恰好年级开家长会，在家长会后我约见了小董的母亲，我们一起交流了小董学习中存在的问题，并建议家长不要给孩子太大的心理压力，要给孩子创造良好的家庭氛围，应着眼于培养孩子良好的心理品质和行为习惯，而不单是注重成绩，小董的母亲表示愿意支持和配合。我 可 以 收 回 自 己 的 心 了在接下来的三个星期里老师们都反映小董变化很大，学习成绩比以前有了较大进步，留的家庭作业基本上都可以做完了，而不是像以前早读总是在写作业，性格也开朗了一些。当我再次和小董见面时，小董说最近生活的很充实，感到自己也可以收回自己的心了，平常按时学习，按时锻炼休息，上课也可以全神贯注的听课了，成绩也有进步了。更可喜的是小董和父母的关系也更融洽了，回家后小董主动和父母沟通感情，在他学习时父母也都尽量不在打扰他，小董在家学习也很少走神了，学习效率也有了提高。最后小董说：虽然因为基础差，学习成绩还不是很理想，但我感到自己可以控制和驾驶自己的心了，对未来我很有信心的。对于小董的变化我感到很高兴，进而建议他从各方面改进学习方法，完善人格，向着新的目标努力。个 案 小 结诊断分析：注意力差是广大学生中普遍存在的一个问题，小董注意力品质差的成因较为复杂，主要有以下几点：————小董的学习习惯存在问题，学习的节奏性差，效率不高。————小董的外在学习环境，特别是家庭环境欠佳，而小董又敏感、焦虑，更加不利于他注意的集中。————小董的自制能力和自我监控能力差，使他意识到了自己的症结却改进不大。————小董性格的内向、敏感、自卑，这也容易影响他注意的集中。辅导策略 ：在辅导过程中我首先坚持尊重、理解、支持的人本主义原则，与小董建立彼此信任的良好关系，在此基础一方面鼓励小董重树信心，放下包袱，缓解焦虑，另一方面和小董设计培养注意力的具体方法和策略。在辅导过程中我还帮助小董建立积极的周边心理支持，如注重和老师、家长的沟通，共同营造一个良好氛围，积极配合小董的学习。在具体辅导中我使用了行为疗法和认知疗法，效果也比较理想。经验教训 ：成功咨询的前提是和来询者建立良好的关系，只有当事人信任你，愿意和你沟通，同时来询者只有相信你有能力帮助他，他才可能和你进行良好的沟通，配合你的建议，因此在咨询中我使用了自我披露和寻求认同感的方法来提高咨询效果。在心理咨询过程中我还感到如果只谈问题不谈情绪，会给人以冷冰冰的感觉，但只空谈情绪而不谈问题，又会使人感到茫然不知所措，两者相辅相成，互为补充。做为一名心理教师还应有充分的心理准备，学生的心理问题成因比较复杂，要能从多方面进行分析和辅导，而做为学生也一定会出现反复，对此辅导老师和学生都要有信心，相信这一切都是正常的，只要不断努力，一切都会慢慢好转的。反 思 ：小董做为一个成功的案例和他的行动能力强、内化过程快有很大的关系，但我也感到了作为一个心理教师不仅要善于发现问题分析问题，而且还要善于唤醒孩子自己内心的力量，启发他们靠自己的力量去掌握自己的命运，这才是进行心理咨询的真正目的所在。严林峰（国家中级心理咨询师、新疆心理学会常务理事、新疆心理卫生协会常务理事、新疆教科所特聘兼职心理教研员。）

到里面看一下了是范文网站

写在前面的话：本文来自于本人的一次课程作业综述，当时还是写了很久的，不想交上去就完了，所以发上来留个纪念。 将注意力机制用在计算机视觉任务上，可以有效捕捉图片中有用的区域，从而提升整体网络性能。计算机视觉领域的注意力机制主要分为两类：(1) self-attention；(2) scale attention。这两类注意力从不同的角度进行图片内容理。本文将分别就这两种注意力机制进行说明，并列举相关的文献。 注意力是人类大脑固有的一种信号处理机制。人类大脑通过快速从视觉信号中选择出需要重点关注的区域，也就是通常所说的注意力焦点，然后重点处理这些区域的细节信息。通过注意力机制可以利用有限的大脑资源从大量的信息中筛选出有价值的信息。注意力机制最初被用在深度学习任务上是在机器语言翻译领域，将源语言翻译成目标语言，目标语言中的词并非与源语言的所有词都同等相关，而是仅与特定的几个词有相关性。因此，注意力机制可以将这个词的注意力分配到这些最相关的词上。之后，[1]中提出自注意力机制 (self-attention)，并将其用于Transformer模块中，极大提升了翻译模型的精度和并行性。与传统的注意力机制不同，self-attention的查询（query）和键（key）属于同一个域，计算的是同一条语句（或同一张图片）中不同位置之间的注意力分配，从而提取该语句（或图片）的特征。 [2]首先将self-attention用于视觉任务中，提出了non-local network，来捕获图片（或视频）中的长程依赖（long-range dependency）。Self-attention机制在视觉任务，如语义分割[3]，生成对抗网络[4]中取得了巨大的成功。它解决了卷积神经网络的局部视野域问题，使得每个位置都可以获得全局的视野域。不过，由于在视觉任务中，像素数极多，利用所有位置来计算每个位置的attention会导致巨大的计算和显存开销；另一方面，由于self-attention简单将图像当成一个序列进行处理，没有考虑不同位置之间的相对位置关系，使得所得到的attention丧失了图像的结构信息。之后对于self-attention的一个改进方向就是，在self-attention中加入相对位置信息或绝对位置信息编码。 除了self-attention，视觉任务中另一类注意力机制为scale attention。与self-attention不同，scale attention基于每个位置本身的响应。就分类任务而言，每个位置的响应越大，则其对于最终的分类结果影响越大，那么这个位置本身的重要性就越强。根据响应大小有选择地对特征图进行强化或抑制，就可以在空间（或其他维度）上达到分配attention的目的。[5]所提出的SENet，就相当于channel-wise的attention。类似的还有GENet[6]，CBAM[7]等，GENet将SENet中的channel-wise attention扩展到了spatial上，CBAM设计了串行的两个模块，分别进行channel-wise attention和spatial-wise attention的计算。另一篇工作residual attention network[8]也属于这一类attention，与SENet系列不同之处在于，本文采用bottom-up top-down形式得到spatial attention，再将其以残差的形式作用回原来的特征。这一类注意力机制仅仅基于图像中每个位置本身，对显著区域进行增强，非显著区域进行抑制，比self-attention机制更接近与人类视觉系统的注意力机制。 普通卷积将特征图的每个位置作为中心点，对该位置及其周围的位置进行加权求和，得到新的特征图上该位置对应的滤波结果，对于边缘，必要时可以用0进行填充。这一操作可以有效提取图片的局部信息。随着网络加深，卷积层不断堆叠，每个位置的视野域也越来越大，网络提取到的特征也逐渐由一些low-level的特征，如颜色、纹理，转变到一些high-level的结构信息。但是，简单通过加深网络来获取全局视野域，所带来的计算开销是很大的，并且，更深的网络会带来更大的优化难度。 Self-attention操作[2]可以有效地捕获不同位置之间的long-range dependency，每个位置的特征都由所有位置的加权求和得到，这里的权重就是attention weight。由此，每个位置都可以获取全局的视野域，并且不会造成特征图的退化（分辨率降低），这对于一些密集的预测任务，如语义分割、目标检测等，具有很大的优势。 图1展示了self-attention的网络结构。给定输入X，将两个1x1卷积分别作用于X上，得到的两个特征利用f(⋅)得到相关性矩阵，图中展示的f(⋅)为矩阵乘法。最后将相关性矩阵作用在原特征经过1x1卷积变换后的特征上。 公式（1）展示了第i个位置的相应的计算方法，其中f(⋅)为相关性函数，g(⋅)为变换函数，x_i为输入第i个位置的特征，y_i为第i个位置的输出特征，C(x)为归一化因子，一般采用总位置的个数。 由于self-attention可以有效捕获图片（或视频）中的长距离依赖，从而在不影响特征分辨率的同时获取全局的视野域，在视觉任务上引入self-attention，可以带来较大的性能提升。 论文[2]将self-attention用在视频动作识别任务上，如图2，对于视频中动作的识别，可能会跨越多帧，需要建立多帧视频之间的联系，self-attention的这种长距离依赖的特征就能有效建立多帧不同位置之间的联系。 论文[2]将self-attention用在分割任务上。由于孤立预测每个位置的类别很容易导致分错，分割任务需要结合每个位置的上下文对该位置进行分类。文章定义了所谓物体上下文（object context），即每个位置所属于的类别构成的集合，即为这个位置所属于的object context。 Object context是由不同位置的特征相似度来定义的，也就是self-attention过程中的相似度矩阵，将相似度矩阵与原特征进行相乘，即可将object context作用于该特征图。由此，文章提出了Object Context Network（OCNet），如图3。其中，base-OC为基本的self-attention模块，pyramid-OC和ASP-OC分别将self-attention与PSP模块和ASPP模块结合，在提取object context的同时，利用不同倍率的pooling操作或不同ratio的dilated convolution获取多尺度的特征，最大程度的利用context信息对原图进行分割。不过，本文虽然提出object context为每个像素及所有其他与其属于同一类的像素构成的集合，在实际操作的时候却并不是这样计算每个位置的object context的，特征上的相似性并不一定代表属于同一位置。因此，用object context来给self-attention新的解释，在说服力上还是存在一定问题的。 Scale attention是另一种注意力机制，与self-attention不同，scale attention是只基于key context的，对图像中的显著性区域进行增强，其他区域相应的进行抑制，从而使得输出的特征具有更强的区分性。这一类注意力机制的代表工作包括，residual attention network[8]，squeeze-and-excite network[5]，gather-and-excite network[6]以及CBAM[7]。 [8]提出，在分类网络中，网络深层比浅层更关注于被分类的物体，也就是图片的主体内容，这是因为，深层网络具有更大的视野域，可以看到更广的范围；而浅层网络只能看到每个位置及其邻域。因此，如果将网络较深层的信息作为一种mask，作用在较浅层的特征上，就能更好的增强浅层特征中对于最终分类结果有帮助的特征，抑制不相关的特征。如图5所示，将attention作为mask作用在原来特征上，得到的输出就会更加集中在对分类有帮助的区域上。 因此，文章提出一种bottom-up top-down的前向传播方法来得到图片的attention map，并且将其作用在原来的特征上，使得输出的特征有更强的区分度。图6展示了这种attention的计算方式。由于更大的视野域可以看到更多的内容，从而获得更多的attention信息，因此，作者设计了一条支路，通过快速下采样和上采样来提前获得更大的视野域，将输出的特征进行归一化后作用在原有的特征上，将作用后的特征以残差的形式加到原来的特征上，就完成了一次对原有特征的注意力增强。文章还提出了一个堆叠的网络结构，即residual attention network，中间多次采用这种attention模块进行快速下采样和上采样。 这篇文章在视觉领域开前向传播的注意力机制的先河，之后的注意力机制都是采用这种前向传播过程中得到的attention进行增强，并且一般为了优化方便，都会以残差的方式进行。 Squeeze-and-excite是另一类scale attention。与residual attention不同，squeeze-and-excite通过global pooling来获得全局的视野域，并将其作为一种指导的信息，也就是attention信息，作用到原来的特征上。 [5]提出了squeeze-and-excite network（SENet），提出了channel-wise的scale attention。特征图的每个通道对应一种滤波器的滤波结果，即图片的某种特定模式的特征。对于最终的分类结果，这些模式的重要性是不同的，有些模式更重要，因此其全局的响应更大；有些模式不相关，其全局的响应较小。通过对不同通道的特征根据其全局响应值，进行响应的增强或抑制，就可以起到在channel上进行注意力分配的作用。其网络结构如图7所示，首先对输入特征进行global pooling，即为squeeze阶段，对得到的特征进行线性变换，即为excite阶段，最后将变换后的向量通过广播，乘到原来的特征图上，就完成了对不同通道的增强或抑制。SENet在2017年的ImageNet2017的分类比赛上获得了冠军，比之前的工作有了较大的性能提升。 [6]进一步探索了squeeze-and-excite在更细的粒度上的表现，提出了gather-excite操作。SENet将每个通道的特征图通过global pooling得到一个值，本文采用了不同步长的pooling（2x，4x，8x，global），然后利用上采样将pooling后的特征插值恢复到原来大小，最后作用在原来特征图上，具体操作如图8所示。不过，实验结果显示，global pooling的性能最好，将特征区间划分得更细致虽然增加了参数，但是反而会带来性能的下降。 [1] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in neural information processing systems. 2017: 5998-6008. [2] Wang X, Girshick R, Gupta A, et al. Non-local neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 7794-7803. [3] Yuan Y, Wang J. Ocnet: Object context network for scene parsing[J]. arXiv preprint arXiv:1809.00916, 2018. [4] Zhang H, Goodfellow I, Metaxas D, et al. Self-attention generative adversarial networks[J]. arXiv preprint arXiv:1805.08318, 2018. [5] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7132-7141. [6] Hu J, Shen L, Albanie S, et al. Gather-Excite: Exploiting feature context in convolutional neural networks[C]//Advances in Neural Information Processing Systems. 2018: 9401-9411. [7] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19. [8] Wang F, Jiang M, Qian C, et al. Residual attention network for image classification[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 3156-3164.