关于语义类型的研究论文

雷锋网 AI 科技评论按： 百度研究院、华中科技大学、悉尼科技大学联合新作——关于无监督领域自适应语义分割的论文《 Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》被 CCF A 类学术会议 CVPR2019 收录为 Oral 论文 。该论文提出了一种从「虚拟域」泛化到「现实域」的无监督语义分割算法，旨在利用易获取的虚拟场景标注数据来完成对标注成本高昂的现实场景数据的语义分割，大大减少了人工标注成本。 本文是论文作者之一罗亚威为雷锋网 AI 科技评论提供的论文解读。 论文地址： 1.问题背景 基于深度学习的语义分割方法效果出众，但需要大量的人工标注进行监督训练。不同于图像分类等任务，语义分割需要像素级别的人工标注，费时费力，无法大规模实施。借助于计算机虚拟图像技术，如3D游戏，用户可以几乎无成本地获得无限量自动标注数据。然而虚拟图像和现实图像间存在严重的视觉差异（域偏移），如纹理、光照、视角差异等等，这些差异导致在虚拟图像上训练出的深度模型往往在真实图像数据集上的分割精度很低。 2. 传统方法 针对上述域偏移问题，一种广泛采用的方法是在网络中加入一个域判别器Discriminator (D），利用对抗训练的机制，减少源域Source (S）和目标域Target（T）之间不同分布的差异，以加强原始网络（G）在域间的泛化能力。方法具体包括两方面： （1）利用源域的有标签数据进行有监督学习，提取领域知识： 其中Xs，Ys为源域数据及其对应标签。 （2）通过对抗学习，降低域判别器（D）的精度，以对齐源域与目标域的特征分布： 其中XT为目标域数据，无标签。 3.我们针对传统方法的改进 以上基于对抗学习的传统域适应方法只能对齐全局特征分布（Marginal Distribution），而忽略了不同域之间，相同语义特征的语义一致性（Joint Distribution），在训练过程中容易造成负迁移，如图2（a）所示。举例来说，目标域中的车辆这一类，可能与源域中的车辆在视觉上是接近的。因此，在没有经过域适应算法之前，目标域车辆也能够被正确分割。然而，为了迎合传统方法的全局对齐，目标域中的车辆特征反而有可能会被映射到源域中的其他类别，如火车等，造成语义不一致。 针对这一问题，我们在今年CVPR的论文中，向对抗学习框架里加入了联合训练的思想，解决了传统域适应方法中的语义不一致性和负迁移等键问题。具体做法见图2（b），我们采用了两个互斥分类器对目标域特征进行分类。当两个分类器给出的预测很一致时，我们认为该特征已经能被很好的分类，语义一致性较高，所以应减少全局对齐策略对这些特征产生的负面影响。反之，当两个分类器给出的预测不一致，说明该目标域特征还未被很好地分类，依然需要用对抗损失进行与源域特征的对齐。所以应加大对齐力度，使其尽快和源域特征对应。 4.网络结构 为了实现上述语义级对抗目标，我们提出了Category-Level Adversarial Network (CLAN)。 遵循联合训练的思想，我们在生成网络中采用了互斥分类器的结构，以判断目标域的隐层特征是否已达到了局部语义对齐。在后续对抗训练时，  网络依据互斥分类器产生的两个预测向量之差（Discrepancy）来对判别网络所反馈的对抗损失进行加权。网络结构如下图3所示。  图3中，橙色的线条表示源域流，蓝色的线条表示目标域流，绿色的双箭头表示我们在训练中强迫两个分类器的参数正交，以达到互斥分类器的目的。源域流和传统的方法并无很大不同，唯一的区别是我们集成了互斥分类器产生的预测作为源域的集成预测。该预测一方面被标签监督，产生分割损失（Segmentation Loss），如式（3）所示： 另一方面，该预测进入判别器D，作为源域样本。 绿色的双箭头处，我们使用余弦距离作为损失，训练两个分类器产生不同的模型参数： 目标域流中，集成预测同样进入判别器D。不同的是，我们维持两个分类器预测的差值，作为局部对齐程度的依据 (local alignment score map）。该差值与D所反馈的损失相乘，生成语义级别的对抗损失： 该策略加大了语义不一致特征的对齐力度，而减弱了语义一致的特征受全局对齐的影响，从而加强了特征间的语义对齐，防止了负迁移的产生。 最后，根据以上三个损失，我们可以得出最终的总体损失函数： 基于以上损失函数，算法整体的优化目标为： 在训练中，我们交替优化G和D，直至损失收敛。 5. 特征空间分析 我们重点关注不常见类，如图4（a）中黄框内的柱子，交通标志。这些类经过传统方法的分布对齐，反而在分割结果中消失了。结合特征的t-SNE图，我们可以得出结论，有些类的特征在没有进行域迁移之前，就已经是对齐的。传统的全局域适应方法反而会破坏这种语义一致性，造成负迁移。而我们提出的语义级别对抗降低了全局对齐对这些已对齐类的影响，很好的解决了这一问题。 6. 实验结果  我们在两个域适应语义分割任务，即GTA5 -> Cityscapes 和 SYNTHIA -> Cityscapes 上进行了实验验证。我们采用最常见的Insertion over Union作为分割精度的衡量指标，实验结果如下。从表1和表2中可以看出，在不同网络结构（VGG16，ResNet101）中，我们的方法（CLAN）域适应效果都达到了 state-of-the-art的精度。特别的，在一些不常见类上（用蓝色表示），传统方法容易造成负迁移，而CLAN明显要优于其他方法。 表 1. 由虚拟数据集GTA5 迁移至真实数据集 Cityscapes 的域适应分割精度对比。  表 2. 由虚拟数据集SYNTHIA 迁移至真实数据集 Cityscapes 的域适应分割精度对比。 第二个实验中，我们了展示隐空间层面，源域和目标域间同语义特征簇的中心距离。该距离越小，说明两个域间的语义对齐越好。结果见图 5。 最后，我们给出分割结果的可视化效果。我们的算法大大提高了分割精度。 7. 总结 《Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》引入了联合训练结合对抗学习的设计，在无监督域适应语义分割任务中取得了较好的实验结果。该算法能应用前景广泛，比如能够很好地应用到自动驾驶中，让车辆在不同的驾驶环境中也能保持鲁棒的街景识别率。 最后 CVPR 2019 Oral 论文精选汇总，值得一看的 CV 论文都在这里（持续更新中）CVPR 2019 即将于 6 月在美国长滩召开。今年有超过 5165 篇的大会论文投稿，最终录取 1299 篇，其中 Oral 论文近 300 篇。为了方便社区开发者和学术青年查找和阅读高价值论文，AI 研习社从入选的 Oral 论文中，按应用方向挑选了部分精华论文，贴在本文，打开链接即可查看~

语义学在大学英语英语词汇教学的运用 摘要: 词汇教学是英语教学的根基。大学英语学习已经进入高级阶段,传统的英语词汇教法很多时候已经无法解决学生在词汇学习中常出现的问题。本文结合语义学原理和教学实践,重点探究了语义学中并置理论、结构语义学、框架语义学、语义成分分析、格语法在大学英语词汇教学的运用,旨在提高大学英语词汇教学质量。 关键词: 语义学大学英语词汇教学运用语义学词汇教学质量 一、问题的提出 随着素质教育的开展和新课程改革的实施,我国大学英语教学有了新的突破,教学重点开始转向提高学生的英语应用能力,而词汇问题成为能否提高学生的英语应用能力的关键。传统的英语词汇教法仅仅要求学生识记单词的发音、拼写、汉语意思,这就导致学生学习的单词是孤立的,从而出现学生无法辨别近义词、词语搭配不当、英语“汉化”等现象。如何让学生正确快速地学会词汇,是每个大学英语教师应该关注的话题。本文针对学生在词汇学习中常出现的问题,结合笔者的教学经验和语义学理论,归纳出以下教学方法,旨在激发学生兴趣,提高大学英语词汇教学质量。 二、语义学在大学英语词汇教学的运用 (一)并置理论 并置理论是研究英语中某些词与另一些词之间的一种相关的关系。如mother(母亲)这个词在语言的应用中经常与nail varnish(指甲油),son(儿子),father(爸爸)等词一起使用,而很少和shave(刮胡子)连用。由此可见,并置理论不是指词汇的含义,而是指词与词之间的搭配关系。这种搭配关系是人们在长期使用语言的过程中的习惯用法。 然而目前大学生在学习英语中普遍出现词语搭配不当的问题,学生只记住了英语词汇的汉语意思,而不了解词语的习惯用法和潜在含义。例如:grow children(应为rear children)。此外学生由于受汉语思维干扰,往往按照汉语的习惯来进行词语搭配。如:I very like to play football.(应为I like to play football very much.) 因此,在大学英语词汇教学过程中,英语教师可以利用并置理论指导学生学习词语的合理搭配。在指导过程中,教师应向学生明确指出,词语的结伴关系具有可能性和限制性,词语的合理搭配会受很多因素制约。比如有时受语法决定,有时受词的语义特征制约,有时约定俗成,等等。这些需要教师根据具体情况具体教学。另外,教师还需要向学生特别指出词语的破格搭配。一些词语在一般情况下没有结伴关系,但在特殊情况下可以搭配。例如:lash the waves(白费力气)。除此之外,在习语中、文学作品中及新词语中常出现破格搭配,因此,学生需要注意平时积累。 (二)结构语义学 结构语义学主要研究“含蓄的”语义关系(Implicational Relations),这种理论更关注某些词或词组与另一些词或词组之间的“语义关系”,而不是像传统语义学那样只是孤立地研究词汇的语义现象,而忽略词汇之间的语义关系。含蓄的语义关系主要分为:下义关系(Hyponymy)、反义关系(Antonym)和相对关系(Relativeness)。 下义关系又叫语意内包,指个别概念的词内包。如上义词flower(花),下义词tulip(郁金香),violet(紫罗兰),rose(玫瑰)等。上义词是指同类概括词,下义词是相对具体的词。tulip,violet,rose在语义关系上是同类关系词。在大学英语词汇教学过程中,教师利用同类关系词理念可以帮助学生归纳整理同类单词,扩大词汇量;帮助学生利用同类概括词,使行文简练。通过对词汇下义关系的分析也可以避免学生词义混乱,锻炼学生的逻辑思维能力。 反义关系主要指:①词义矛盾或对立的词,例如male—female;dead—alive。②词义相反的词,例如:young—old;cold—hot。前者在语义上互相矛盾,不能同时并存,后者在语义上并不矛盾,它们表示性质相同、但程度不同的词。比如young—middle-young—old。在英语词汇教学中,引入反义关系可以帮助学生更清晰地理解单词涵义。平时在讲解单词时,教师普遍使用近义词进行解释,其实有些单词用近义词解释并不容易解释清楚,利用反义词进行解释,学生会更容易理解。例如,rude的反义词是polite(rude是新单词,学生不知道涵义,引导学生polite是rude的反义词,学生就很快明白新单词的基本意思了)。通过引导学生分清词义矛盾或对立的词、词义相反的词,教师可以帮助他们选用恰当的词语进行英语表达。另外,也可以利用反义词进行修饰文章,避免文章呆板。 相对关系又叫converses,存在于既相互对立又相互依存的一对对词之间。例如:husband—wife;above—below,两者是对立统一关系,语义学称此为“强相对关系”。还有一种相对关系存在于三个词之间,称之为“弱相对关系”。学生学习相对关系可以扩大词汇量,灵活运用词汇和句型。 因此,结构语义学的理论应用在大学英语词汇教学中,可以帮助学生准确理解和合理利用含蓄词汇,从而提高英语的表达和运用能力。 (三)框架语义学 框架语义学是一种独特的语义学理念,它属于认知语言学的一支。它能为英语词汇的教学提供一种全新的方法。词汇是大学生学习英语的一只拦路虎,尽管教师和学生花大量的精力学习词汇上,但结果往往并不理想。如何解决这一难题,框架语义学为我们提供了新的思路。简言之,框架语义学立足于人的认知,从不同的视角,将英语动词分类并放入相对应的框架中,然后针对每一个相对应的框架,将相近的名词根据其熟悉程度进行分类,进行分层次教学。至于其他词性也可参照名词和动词的做法进行学习。例如学习money这一单词,可以设置买卖交易框架,根据不同视角(sell,spend,buy等)归纳成买家和卖家两类,每个框架设有不同元素,可以将要学的单词纳入框架,根据熟悉程度进行系统性的有条理的学习。 (四)语义成分分析 在英语教学过程中,学生会因为辨别不清近义词词义而出现错误搭配。如何帮助学生识别近义词从而进行正确搭配?对于这个问题,教师可以在课堂中引入语义成分分析理论进行解决。利用语义成分分析理论研究语言学已经有很长一段历史了,它主要研究Conceptual-lexical Relations(概念上的词汇—语义关系),观点是任何词的“意义”都可以分解为某些不同的“语义成分”,这些“语义成分”又可以加以系统地分类。我们可以利用此理论来解释词语,例如:bachelor——[Human]+[Male]+[Unmarried]。这一理论也有利于帮助学生比较清楚地认识同义词之间的差别及搭配,从而做到在不同的语境中能正确而熟练地运用词汇。另外,语义成分分析法还有助于提高学生的翻译能力。在进行英汉对译的时候,“选词”不是随意的,而是要受语义成分限制的。准确得当的翻译应建立在认识词汇的正确涵义上。在目前的英语词汇教学上,如何使学生正确地掌握词汇是每一个英语教师所苦恼的,语义成分分析法为英语教师提供了一种方法,它可以帮助学生准确牢固地掌握单词,对于词汇教学有一定的意义,从而在一定程度上解决了教师的难题。 (五)格语法格语法是一种比较严谨、别出心裁的语义学理论。这种理论是1968年著名美国语言学家菲尔莫尔首先提出的,他概括出一个新的结论:每一种语言都有表深层结构的“语义格”(Semantic Case),每个语义格都与某个介词相联系。如Agent格与介词by相联系;Object格与介词with相联系;Instrument格与介词with相联系。菲尔莫尔还认为,从深层结构的角度来看,所有的noun phrases都是介词短语,不但可以在句子中移换位置,甚至可以省略。动词是英语句子中一个重要成分,菲尔莫尔认为在深层结构中,动词总是和某些语义格连用的,因此他主张对动词采取深层格框的方式来处理。这对语义研究有着重要的意义,我们可以通过这个方式把不同的动词加以分类。此外他还提出了三条检验规则来确定各个语义格在句子中的相互关系,探讨语义格在句子中的地位。在菲尔莫尔理论提出后,一些语义学家对此理论进行了不断的深入研究和完善。在英语词汇教学中,教师引入关于语义格与深层格框的理论,有助于学生从语义的角度去分析英语句法,正确应用某些动词。例如:hit——[+—AO(I)];enjoy——[+—EO],从中可以看出某一类动词与某些语义格的关系在深层格框中被明确地表示出来。如果学生掌握了动词的深层格框,就能学会动词的正确用法和句型。 三、结语有效的大学词汇教学离不开正确的语言学理论去指导,利用语义学相关理念进行词汇教学,可以更好地引导学生高效地学习词汇。以上笔者探讨了五种当代语义学理论在英语词汇教学中的应用。其实语义学在大学英语词汇教学中的作用不止这些,这仍需要英语教师在实际学习与工作中不断地探究,以提高我国英语教学水平。 [2]杜宇,李晶,结构语义学与英语词汇教学[J].中国科教创新导刊,2007,(476). [3]刘英莲.谈英语语用学与语义学的应用[J].辽宁工程技术大学学报(社会科学版),2004,VOL 6,(3). [4]钱德明,周庆芳.框架语义学对英语词汇的教与学的启示[J].苏州教育学院学报,2005,VOL 22,(2). [5]山东省大学英语教学研究论文集[M].石油大学出版社,1995.