评价论文应以刊物的等级作为成果优劣

教育论文可分为一般论文和特殊论文两类，两类论文有其不同特征。但两类论文的撰写，实质上都是提出问题、分析(或陈述)问题、解决(或回答)问题的过程。据此，我们可以探讨两类论文共同的评价标准。对教育论文的评价，一般认为有五个评价标准。这五个评价标准有其特定的内涵，它们是评价一篇教育论文是否优良的基本依据。　　关键词：两类论文；解决(或回答)问题；评价标准　　怎样写好一篇论文常常与如何评价一篇论文有关，因为值得了论文的评价标准，实际上也就大致知道了写好一篇论文的方向和要求。　　一 教育论文可分为两大类：一类是一般学术探讨文章，另一类是特殊研究报告。两类论文各具不同的特征。　　一般学术探讨文章俗称“议论文”，是思辨性研究论文。这类教育论文的文体结构灵活多变，它主要依据研究者已有的知识经验积累和现成的文献资料就可写成，无须进行系统的专门的研究行动。我国教育期刊上发表的大多是此类论文。思辨性论文以理论分析和逻辑证明为其基本特征，在内容上，注重观点创新、理论深度和学术研讨；在方法上，常用因果分析、矛盾分析、历史分析、比较分析、结构功能分析、归纳与演绎、分析与综合、科学抽象等定性分析法；在行文上，重论述轻叙述，重考证轻实证，重文献注释轻图表统计，重理论推理轻实践检验。　　特殊研究报告大多是实证性研究论文，这类教育论文包括教育实验报告、调查报告、经验总结报告、行动研究报告、观察研究报告、个案研究报告等。之所以称为“特殊论文”，是因为这些研究报告的文体有其独特的结构模式。例如，实验研究报告的结构模式为：①报告的题目；②问题的提出；③研究方法；④实验的结果；③讨论与结论；⑥参考资料。一般而言，实证性研究的文体结构严谨，表述规范，格式相对固定，具有“应用文”文体的某些要求，在大多数情况下，研究者需经历一定的研究行动或研究实践才能完成。这类论文以检验假设、证实理论判断，或获得经验体会为主要特征。在行文上，一般先陈述研究背景、研究价值、研究目的或假设，有关变量、研究过程和方法，然后，重点陈述研究结果，并对所得到的结果进行分析讨论，指出新发现的情况和问题，最后，针对所得的研究结果，回答对理论假设的检验情况和是否达到研究目的、解决了研究问题，或陈述研究者的见解，也可提出进一步探讨的问题和建议。必须注意的是，对研究问题、变量、过程与方法的陈述，要清晰、准确，简明扼要；对研究结果的描述和解释要客观、平实，条理清楚；讨论问题应以客观事实为依据，采用科学的语体，恰如其分地阐析和评价；作结论应全面归纳、高度概括。　　虽然上述两类论文的特征有异，但由于教育研究过程实质上都是提出问题、陈述问题或分析问题、解决问题或回答问题的过程，两类论文的撰写大致按此过程展开，因此两类论文的评价标准也有共性。　　二 1974年出版的《美国心理学会出版手册》(第二版)规定了心理学研究论文的格式和写作方式。这一手册已成为心理学杂志发表论文报告的标准。据有关研究，心理学论文与研究报告的评价有如下8条标准：　　1具有一个或多个具有理论意义的新结果；2研究结果具有重要的实际意义和可应用性；3论文构思新异，或者以新方式说明老问题；4研究结果的解释明确合理；5论文以简明方式综合了新的研究数据；6论文指出了先前所持的某种理论观点的问题或局限；7研究有明确的研究图式、思路或者实验(或实践)操作；8所报告的结果或理论具有普遍性。　　这八条标准中，突出了对研究结果的评价标准(见第1、2、4、8条)，注重论文的创新性(见第1、3、5、6条)以及应用性和推广性(见第2、8条)，此外，还重视论文的思路、价值、以往研究探讨、研究方法、数据资料、结果的解释等问题的评价。《美国心理学会手册》建议，在第一稿写好后，应让与自己意见不同的人来阅读和评价，而不应只让“朋友”来评定，这样才会更容易发现问题或错误。文章还要注意书写整洁和段落分明，这样会使论文阅读效果更好。　　根据美国心理学会对论文和研究报告的规定和要求，一篇优良的心理学论文或研究报告，大致应回答五个基本问题：　　1你研究什么问题?2你为什么要研究这个课题?3你用什么方法去研究?4你的研究有什么创新?5你如何解释发现的问题?　　我们认为，如果将这五条评价标准赋予不同的内涵(即赋予教育论文评价方面的具体要求)，那么，这五条标准也可作为评价一篇教育论文的标准。达五条标准以“问题”为出发点和归结，以逐步回答问题为主线，体现了一般的教育论文和特殊的教育研究报告所共同具备的“提出问题——分析问题——解决或回答问题”这一基本研究过程。作者试图根据教育研究的情况，对上述五个评价标准的内涵作进一步阐释。　　(一)你研究什么问题　　研究以问题为诱因和起点，评价一篇教育论文的优劣，首先要判断研究者对研究问题的陈述是否明晰和具体。有经验的研究者，一般根据研究课题的内涵和课题领域的实际，去确定具体的研究问题和内容，进而确定论文的体系结构。一篇论文要探讨的具体问题以3至6个为宜，对每一个研究问题都要明确研究什么内容。要判断这些问题中哪些问题别人已经解决了、哪些是人们尚未解决且亟待解决的问题、这些问题是否具有“探讨性”、是否需要我们花时间和精力去研究。研究问题的提出，角度要新，要有深度、有启发性，有进一步思考和探索的价值。还要清晰认识问题的重点、关键和难点，明确解决问题的突破口。每个研究问题的组合和排序，要显示一定的逻辑结构和理论框架，应具备完整性和严密性。　　(二)你为什么要研究这个课题　　评价一篇教育论文的质量时，还要看论文选题的背景、意义和价值。选题的水平，主要表现在课题的社会实践意义和理论建树价值。要判断该课题的研究成果，对人类社会发展、学科建设，对个体的生活、工作和学习可能产生的贡献。作为评价者，主要是通过通读全文后的反思，综合分析研究成果的作用和价值，来判断作者研究这个课题的必要性。　　(三)你用什么方法去研究　　在特殊研究报告中，通过分析研究方法的适宜性、科学性和规范性，可判断所获得的研究结果是否可靠，因此要重视研究方法的评价。在教育调查论文和教育实验报告中常常用专门一部分或一段文字叙述所使用的研究方法及其运用过程，目的是让读者分析和判断该课题所使用的研究方法的适合性和科学性，从而判断所获得的研究结果是否可靠，进而考虑是否接受研究者所得出的研究结论。　　在许多学术论文中，虽然没有对研究方法进行专门的阐述，但常常关注论文的研究视角和思路，这也属研究方法问题。在学术研究中，有时探讨问题的视角和切入点往往决定一篇论文的成败。只有思维方法正确，才能把研究问题引入讨论和深化。思维方法独特，还可以导致问题创新。　　(四)你的研究有什么创新　　论文的创新性是评价一篇论文水平高低的核心和重点。在实证研究中的新发现和新见解，在思辨研究中的新论点和独到的分析，甚至所用的研究方法和新的研究思路，均可视为论文的创新性。评价论文的创新性可有如下几种方法。　　1根据论文中的文献述评。探讨以往有关文献，可发现该课题的研究基础和新起点，从而判断研究的突破口和创新点，区别哪些内容是已有的研究成果、哪些内容是创新成果、哪些内容是在别人研究基础上进一步的完善和深化的成果。　　2根据研究结果。在特殊研究报告中，研究结果往往包含研究者的新发现，研究结果越丰富，研究者的新发现可能就多。重要发现会使人眼前一亮。一般学术论文，则要根据作者的理论观点去判断其创新性。　　3根据论文中的明确表述，结合评价者的知识经验。通过论文中“摘要”、“分析”和“结论”等判断论文的新观点、新见解和新结论，在行文中常用“我们认为……”、“我们的结论是……”等字样。但必须指出，有的论文作者自认为是他们的新观点和独到见解，但实际上并不是什么新东西。因此，需对课题领域有较深入的了解和研究，并结合评价者的知识经验才能作出正确的判断。　　(五)你如何解释发现的问题　　对特殊研究报告的评价，评价的重点是论文是否对研究结果进行了深入的分析和讨论，在分析讨论研究结果时，是否结合研究者所掌握的有关情况，拓宽研究视野，是否对检验假设的情况能作恰当的解释，对新情况新问题作出合适的说明。　　对一般学术论文的评价，主要看分析问题是否有深度，对现象的描述是否准确，对事件的评价是否恰如其分，对观点的论述是否注意理论联系实际等。无论何种教育论文，都要求观点鲜明、正确，有说服力；解释或论述具有逻辑性、条理性、层次性和完整性。　　总之，评价一篇教育论文一般应从问题陈述、选题意义、研究方法、研究创新、分析深度、文章的结构和文字表达等方面去评价。重点是看研究课题的价值和研究者是否正确地解决了研究问题，或解决问题过程是否包含着创造性，是否达到研究目的。

第一方面，即总的原则是：基于指标的量化评估是第二位的，是辅助性的，而同行评价的质性评估是第一位，是主导性的。量化指标可以降低同行评价中的偏见，促进更加深入的审议，提高同行评价的质量，但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责，而不是完全让“数据说话”了事（第一条原则）。所以，“莱顿宣言”并不提倡科研评价要用量化指标，更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。第二方面，在总的原则指导下，运用科研评价指标做具体评价工作时的下位原则，即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点，所以需要在评价过程中特别注意科研活动的使命的差异（第二条原则）、地域性的差异（第三条原则）、学科性的差异（第六条原则）、个体性的差异（第七条原则）。这些差异容易被量化指标遮蔽，所以需要在评价中采用综合计量或者质性评估办法。第三方面，关于科研评价指标的具体数据采集和分析的要求，要公开透明（第四条原则）、可以复核验证（第五条原则）。第四方面，对科研评价指标的态度，要理解实质内涵（第八条原则）、警惕负面影响（第九条原则）、不断改进完善（第十条原则）。“莱顿宣言”每一条都内涵丰富，指向明确。与之对比，可以发现，我国科学评价工作还大有改进空间。“旧金山宣言”纠偏“以刊评文”“旧金山宣言”（The San Francisco Declaration on Research Assessment，DORA）的提出源于2012年12月美国细胞生物学学会年会期间，一些学术期刊的编辑和出版者提出关于科研评价的建议，在此基础上形成了“旧金山宣言”，2013年5月，78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注，《科学》杂志撰写社论支持“旧金山宣言”，认为影响因子最重要的危害是可能妨碍创新，它引导科学家关注发高影响因子的文章，追逐所谓的“热点”，而不是潜心科研创新。

【争鸣与探讨】　　全国第四轮学科评估方案中的科研评价部分，特别是“A类期刊”的增列与取消，一时成为热议话题。事实上，科研评价是世界性难题，最近几年，国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言”。放在世界的范围内，如何看待这次学科评估中某些新鲜尝试呢？有哪些可取之处和不足之处？“A类期刊”的取消不意味着相应的探索和思考也被取消。　　“莱顿宣言”纠偏“量化至上”　　“莱顿宣言”（The Leiden Manifesto for research metrics）的提出源于2014年在荷兰莱顿召开的一次国际会议，美国佐治亚理工学院的公共政策教授Diana Hicks等提出了合理利用科学评价指标的七条原则，后来扩充为十条，并于2015年4月发表在《自然》杂志上。　　“莱顿宣言”的十条原则，简言之，第一，量化评估应当支撑质化的专家评估，而不是取而代之；第二，衡量绩效应基于机构、团队和个人的科研使命；第三，保护卓越的本地化的相关研究；第四，保持数据采集和分析过程的公开、透明和简单；第五，允许被评估者验证数据和分析；第六，考虑发表和引用的学科差异；第七，对个人研究的评价应基于其综合作品的质性评价；第八，应避免评估指标的不当的具体性和虚假的精确性；第九，识别认清评价指标对科研系统的影响；第十，定期审查评价指标并加以改进。　　按笔者的理解，这十大原则可以归为四个方面。　　第一方面，即总的原则是：基于指标的量化评估是第二位的，是辅助性的，而同行评价的质性评估是第一位，是主导性的。量化指标可以降低同行评价中的偏见，促进更加深入的审议，提高同行评价的质量，但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责，而不是完全让“数据说话”了事（第一条原则）。所以，“莱顿宣言”并不提倡科研评价要用量化指标，更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。　　第二方面，在总的原则指导下，运用科研评价指标做具体评价工作时的下位原则，即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点，所以需要在评价过程中特别注意科研活动的使命的差异（第二条原则）、地域性的差异（第三条原则）、学科性的差异（第六条原则）、个体性的差异（第七条原则）。这些差异容易被量化指标遮蔽，所以需要在评价中采用综合计量或者质性评估办法。　　第三方面，关于科研评价指标的具体数据采集和分析的要求，要公开透明（第四条原则）、可以复核验证（第五条原则）。　　第四方面，对科研评价指标的态度，要理解实质内涵（第八条原则）、警惕负面影响（第九条原则）、不断改进完善（第十条原则）。　　“莱顿宣言”每一条都内涵丰富，指向明确。与之对比，可以发现，我国科学评价工作还大有改进空间。　　“旧金山宣言”纠偏“以刊评文”　　“旧金山宣言”（The San Francisco Declaration on Research Assessment，DORA）的提出源于2012年12月美国细胞生物学学会年会期间，一些学术期刊的编辑和出版者提出关于科研评价的建议，在此基础上形成了“旧金山宣言”，2013年5月，78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注，《科学》杂志撰写社论支持“旧金山宣言”，认为影响因子最重要的危害是可能妨碍创新，它引导科学家关注发高影响因子的文章，追逐所谓的“热点”，而不是潜心科研创新。　　“旧金山宣言”并不像“莱顿宣言”那样包含相当宽泛的内容，它只是针对期刊的计量指标（主要是期刊影响因子）而提出的，呼吁科学界停止使用期刊影响因子来评价科学家及其工作。内容包括总体建议以及对资助机构、研究机构、出版机构、计量指标提供机构以及科研人员的建议，共计18条。总体建议是：“停止使用期刊影响因子等期刊计量指标作为替代指标，来评价单个研究论文或学者个体的贡献，或者是作为聘用、晋升、资助等方面的依据。”其他区分对象的建议都是围绕着总建议展开的。　　期刊影响因子是20世纪50年代由汤姆森路透公司开发出来的，其最初提出的目的是为帮助图书馆评估和挑选决定订购哪种期刊，但是现在影响因子已经被广泛应用于评价个人和研究机构的水平和贡献。期刊影响因子的含义是某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。可见它只是期刊的评价指标，并非科研工作本身的评价指标，影响因子不具有对学术质量精确评价的功能，所以不能单凭影响因子就断言论文优劣。“旧金山宣言”倡导的就是评估科研工作要回归到科研工作本身的价值中去，而不是基于刊载的期刊。　　“A类期刊”弊大于利　　回到开篇的话题。客观地讲，这次学科评估方案在完善科研评价方面积极探索，其价值取向和工作方向与“莱顿宣言”所倡导的内容是比较契合的。比如在评估方案和相关说明中，提出“学术论文质量”采用“三结合”评价组合。一是坚持质量与数量相结合，采用代表性论文，在“比总量”与“比人均”之间找到平衡点；二是坚持主观与客观相结合，通过量化指标统计进行客观评价外，还通过“代表性论文”进行专家主观评价；三是坚持国内与国外相结合，要求包含一定比例的中文期刊，强化中国论文评价话语权。这背后的指导思想都是“莱顿宣言”提倡的摒弃“唯量化指标论”，采用更加综合的评价方式。　　“莱顿宣言”的第三条原则特别提到，要保护卓越的本地化的研究。研究的卓越不等同于在国际期刊上发表英文论文。一些偏重于本国或者区域性的课题的研究，往往并不被知名的英文期刊所青睐。“只有基于高质量的本地语言期刊的指标才能正确评价和推动卓越的本地化的研究。”这高度契合了这次评估中强化国内研究论文地位的思想。　　但“A类期刊”的取消仍有许多值得反思和总结的地方。无论如何，“A类期刊”的设定其本质依然是“以刊评文”，这是“旧金山宣言”所明确反对的。“以刊定质”，而不是用学术质量本身来评价科学研究，已经日益遭到越来越多人的反思、质疑、批评和抵制，这个时候又祭出这杆大旗，似有逆向而动之嫌。真正需要下功夫的是如何在同行评价和代表作评价方面拿出切实可行的操作办法，而不是继续在“看刊物、数数量”的道路上越走越远，那样只能带来更多的浮躁。更为重要的是，教育行政部门在主导此事，其“指挥棒的力量”不会随评估结束而结束，而会长久发挥作用。量化指标的推出在世界范围内几乎都是“民间”行为，鲜见教育行政部门直接推动设立。无论是从“管办评分离”“放管服”的角度，还是从落实创新发展理念、推进“两个一流建设”的角度，推出“A类期刊”都是弊大于利。

今天这个题目，如果由一个研究比我做得更好的人来讲可能更有好处。但是现在来讲这样题目的人太少了，所以我愿意来把一些不是很成熟的想法与大家分享，也非常感谢大家来听我的讲座。我今天讲座的题目是《现实·理论·证据》，这三个词摆放的位置基本上概括了今天晚上所有要讲的东西。如果你们听完之后明白了我为什么这样摆放三个词的位置，我想你们就听明白我所讲的意思了。我这样安排今天要说的内容：首先简单讲一下关于如何做研究；然后具体讲写论文的过程中应该注意的问题，穿插一些例子。 一、如何做研究选 题(topic) ▶做研究碰到的第一个问题是选题。我们首先要区分选题和问题的差异。经常会有学生来问我怎样做一个研究，我就问他想要研究什么问题？同学就会列出一些关键词，比如教育、农业等等。这些关键词严格说来不是你要研究的问题。关键词只是你研究的话题(topic)，距离你研究的具体问题(question)还非常远。走完了topic到question的距离，你才迈出了研究的第一步，可以真正地开始一项研究了。选题要注意以下三个方面。 第一，你对什么感兴趣。如果对一个问题不感兴趣，你很难做出出色的研究。曾有一个硕士生跟我说，“陆老师，您有很多想法，随便给我一个我来做。”我对他说，我没有办法帮你，在你对这个问题感兴趣之前，你是做不好的。同学们在学习的过程中，一定会对某些问题感兴趣。有的时候你会有这样的体验，看到一篇文章时有激动的感觉，有时则不会，这就是兴趣的差别。一个人的兴趣与他的积累、阅读和个人经历都有关系。 来的路上王永钦老师跟我讲了一句话，我非常赞同：“大爱才能有大智慧。”怎么理解这句话？你在做一项研究的时候，一定要去论证自己的研究是重要的。怎么去论证研究的问题的重要性？就是这个问题的研究能改进人类社会、能为人类带来福利。接着问下去，这样的问题从何而来？那就要看我们能不能超越个人的喜乐、得失去关注整个社会的前途和命运。这就是兴趣的来源。一个好的经济学家应该有强烈的人文关怀和社会责任感。好的研究的起点是好的问题，这是成功的一大半。从这个意义上讲，做人和做学问是一致的。如果你不去关注对社会大众重要的问题，你十有八九做不成出色的学问；如果每天都想着争名夺利，就做不成出色的研究，因为你关注的问题对大多数人不重要。 第二，你要对这个问题有所理解，去选取你觉得重要的方面。数学不能告诉你什么是重要的，什么重要取决于你自己的理解。确定研究的方向后要根据自己的理解去关注更小的方面。比如在涉及三农问题的方方面面里，如果你觉得土地问题是最关键的，你已经往前走了一步。再接下来，你又认为关注“在工业化和城市化进程中，农村劳动力流向城市后，怎样使他们失去土地而获得社会保障”是重要的研究课题。如果你从三农问题出发，缩小到土地问题，再缩小到“如何用土地换保障”的时候，你已经从topic过渡到question了。 我举这个例子是特别想说明，中国的很多问题是现有的经济学理论无法告诉你的。比如，在城市化的过程中，农村居民失去土地，这是在全世界范围内大多数国家都有社会保障体制的背景下发生的。所以中国不可能像西方的圈地运动一样，圈走农民的土地，把农民往城里赶就不管了。从国家的现代化和政治文明来讲，都不可能这样做了。这就牵涉到“土地换社会保障”的问题。那么土地如何作价？农民拥有的土地权力是什么权力？价格制定好后，多少钱是现金支付，多少钱放到社会保障体系里？现成的经济学理论没有告诉我们。美国和西欧在历史上走过这个阶段时，这不是一个经济学问题，是社会、政治问题。因此，我们需要一个新的理论去思考中国的现代化和城市化过程。第三，你关心的问题为什么重要？主要体现在两个方面：理论上的重要和实践上的重要。最好的研究是两者兼有。我不能排除有些杰出的文章，是在理论上重要而实践上不重要，或者实践上重要但理论上不重要的研究，特别是经济学里那些在方法论上有开创性工作的研究，往往有学术和理论的价值，而没有直接的社会实践意义。 以上三方面，在你做一个研究或写一篇论文时需要一一加以说明。我们很多同学把做研究理解为构建一个数学或计量模型，非常不重视“写”。你把数学的工作完成了，计量工作完成了，我要提醒你，可能你的研究工作只完成了百分之三十，至多百分之三十。因为你还没有告诉我们为什么重要。 现在的社会科学分工,特别是经济学的分工，是非常非常细的。所以你拿到一百篇文章你可能对九十九篇的内容根本不了解，那么这剩下的九十九篇你看哪些呢？我们在平时看文章时先看摘要，它会告诉你他研究了些什么东西，做出了什么贡献，然后再看引言(introduction)，比较详细地回答前面的问题。最后看结论，看这个研究得到什么有创见的内容。最后才看文章的主体部分，理论和实证的模型。如果你的摘要和引言写得不好，别人看到五百字的时候，就不看你的文章了。如果你不重视这些，你的研究可能就产生不了它应该有的社会价值，所以一定要重视，甚至可能需要70%的时间来写引言。