青少年科学素养测评工具研发的模型构建

　　近年来，随着我国社会经济的快速发展和科学技术的不断进步，政府和社会高度重视青少年的科学教育工作。按照《全民科学素质行动计划纲要》实施工作方案的部署[1]，教育部、共青团中央等部门制定并颁布了《未成年人科学素质行动方案》，以推动学校科学教育的发展和课内外科普活动的开展，增强未成年人的创新精神和实践能力，提高未成年人的科学素质。与此相呼应，我国新一轮基础教育科学课程改革首次将“提高每个学生的科学素养”作为科学教育的基本目标。如何科学地评估青少年科学素养①?这是目前科学教育界亟须解决的问题。国内已有研究绝大多数是对公民科学素养的调查或是对部分中小学学生科学素养的调查[2][3][4][5][6]，鲜有针对青少年科学素养测评的研究②。科学素养调查仅是对公民或青少年科学素养概况的一个初步了解，而且由于采用自我报告的方式，主观性较强。科学素养测评则是基于科学设计的测评试卷，要求被试在限定的时间和空间内完成有关科学知识、技能和态度等方面的试题，从而相对准确地评估被试的科学素养。本研究借鉴PISA(Programme for International Student Assessment)的科学素养评估框架，建构了与我国基础教育科学新课标的理念和目标相一致的青少年科学素养测评框架，编制了《中国青少年科学素养测评试卷》，并进行了大规模施测。调查分析结果表明，该测评框架及试卷具有较高的信度和效度，以期为后继研究者开展我国青少年科学素养测评工具的相关研究提供理论参考和实践支撑。

　　一、青少年科学素养的内涵

　　科学素养(Scientific Literacy)作为国际科学教育的重要内容，是当前科学教育改革中“普及科学”(Science for All)和提高科学教育质量这两大目标的基石(郭元婕，2004)[7]。国外众多学者和国际学生评价组织对科学素养都有各自的理解和界定。其中，应用最为广泛的是美国国际科学素养促进中心主任米勒(Miller)提出的科学素养概念模型，主要包括对科学原理和方法(即科学的本质)的理解、对科学术语和科学概念(即科学知识)的理解以及认识并了解科学和技术对社会生活的影响等三个维度[8]。米勒的科学素养三维模型是在佩拉[9]、沙瓦尔特[10]对科学素养定义的基础之上提出的，其界定简单而且更具概括性，是各国公民科学素养调查问卷设计的理论基础。美国学者克劳普福将科学探究、科学态度、科学兴趣和生活情境亦纳入科学素养的范畴[11]。PISA2009提出，科学素养的内涵包括以下四个方面的内容：掌握并运用科学知识界定科学问题、解释科学现象，并做出有科学依据的推论;理解科学和科学探究的本质特征;了解科学、技术如何塑造物质、文化和精神世界;做一个反思型公民，积极参与科学活动[12]。这四个方面的内容也是PISA2009科学素养测评框架的基础。PISA2009关于科学素养的概念界定与PISA2006基本相同(OECD, 2006)[13]。

　　我国《全民科学素质行动计划纲要(2006-2010-2020)》对公民科学素质进行了最新界定，“科学素质是公民素质的重要组成部分。公民具备基本科学素质一般指了解必要的科学技术知识，掌握基本的科学方法，树立科学思想，崇尚科学精神，并具有一定的应用它们处理实际问题、参与公共事务的能力”[14]。与公民科学素质有所不同，《全日制义务教育科学(7～9年级)课程标准(实验稿)》提出，学生科学素养的内涵包括以下四方面内容：科学探究的过程、方法和能力;科学知识与技能;科学态度、情感与价值观;对科学、技术与社会关系的理解[15]。

　　在借鉴上述学者、PISA评价项目和我国基础教育科学课程新课标对科学素养概念界定的基础之上，结合青少年身心发展的特点，本研究将“青少年科学素养”界定为：理解并掌握与其心智成熟程度相当的有关科学知识、科学本质以及科学-技术-社会关系(Science-Technology-Society，简称STS)等方面的内容，培养科学兴趣和科学态度，逐步形成正确的科学价值观，初步具备在社会生活情境中应用科学知识、技术和方法解决实际问题的能力。这一概念综合了众多学者、国际组织对青少年科学素养界定的主要维度——科学知识、态度和能力，也强调了PISA和我国科学课程新课标中提及的科学-技术-社会关系。这一概念的基本内涵具有三个特点：(1)普遍性与特殊性相结合：既考察在科学知识、科学本质等方面普通公民应具备的基本素养，又要结合青少年的年龄特点，强调科学知识要符合其身心和认知发展水平;(2)知识与能力相结合：既考察对具体科学知识的掌握程度，又考察运用科学知识、技术和方法解决实际问题的能力;(3)认知因素与非认知因素相结合：既考察理解、推理、应用等认知因素，又重视对兴趣、态度、价值观等非认知因素的评价。

　　二、青少年科学素养测评框架的建构依据

　　科学素养评估框架是研发科学素养测评工具的重要理论基础。本研究基于青少年科学素养的概念，借鉴PISA2006科学素养测评框架，并参照我国基础教育科学新课标的理念和目标，构建针对我国青少年的科学素养测评框架。此外，鉴于数学和科学之间的密切联系，将数学也纳入青少年科学素养测评的范围。

　　(一)PISA2006科学素养测评框架

　　PISA创立于1997年，是在OECD成员国中开展的一项国际学生能力评估项目。它主要以即将完成普及教育的15周岁学生的测评成绩来检测教育系统的结果，评价学生阅读、数学、科学素养等三个方面的内容。PISA认为，15岁年龄段的学生所掌握的知识和技能程度将影响他们迎接未来社会挑战的能力。因此，PISA科学素养的测评重在对学生三种基本科学能力的评估：识别科学问题的能力(包括识别科学调查的可行性、科学信息中的关键词以及科学调查的主要特征);科学地解释现象的能力(包括在给定情境中应用科学知识，科学地描述、解释现象以及预测变化);运用科学证据的能力(包括推演科学证据，得出和交流结论，识别结论背后的假设、证据和推理，以及反思科学和技术发展的社会意义)(OECD, 2009)[16]。PISA2006主要测评学生的科学素养，其测评工具已经较为成熟，PISA2009基本上沿用了2006年的科学素养测评框架，只是由于2009年的测评重点不再是科学素养，因而在其测评框架中舍去了态度维度。如图1所示，PISA2006从四个方面对青少年的科学素养进行评估，具体包括：①情景——认识到涉及科学和技术的生活背景，包括个人情境、社会情境和全球情境;②胜任力——包括识别科学问题、科学地解释现象、运用科学证据;③知识——既要掌握具体的科学知识，同时也要理解关于科学本身的知识(即科学本质);④态度——对科学的兴趣，对科学探究的支持，有责任的行为动机等。

　　图1　PISA2006科学素养测评框架

　　与PISA相比，TIMSS和NAEP的科学素养测评框架在测评内容、题目建构形式等方面有所不同，但是在评估的核心内容——知识和能力，以及知识维度涵盖的主题和能力的层次分类上，三者是一致的(IEA, 2007[17]; NAGB, 2009[18])。PISA2006首次将情境和态度作为独立的考察变量纳入科学素养测评框架中，具有一定的前瞻性。TIMSS和NAEP也将对科学兴趣、态度等非认知因素的考量作为未来科学素养测评体系扩展的发展趋势。尽管当前各国关于科学素养的测评不尽相同，但是整体而言，这些评估框架都没能超越PISA2006的测评框架。2006年，教育部考试中心引进并启动了PISA2006中国试测研究项目，虽然这并不代表中国正式参与PISA项目，该实践的目的在于学习、借鉴PISA先进的考试评价理念、理论、技术，构建符合中国国情的评价标准、手段、技术和方法体系，促进考试内容和形式的改革。2009年，上海成为内地第一个正式参与PISA项目的城市，并取得全球第一的佳绩[19]。这些都为PISA评估框架在中国的本土应用奠定了基础。

　　(二)全日制义务教育科学课程标准(实验稿)的理念和目标

　　教育部制定的《全日制义务教育科学(7-9年级)课程标准(实验稿)》(在下文中简称《科学课程标准》)于2001年正式颁发并实施。《科学课程标准》在我国科学教育史和课程改革与发展史上第一次开宗明义地指出：“全面提高每一个学生的科学素养是科学课程的核心理念”。这充分表明了《科学课程标准》融合于世界科学教育的总趋势，对扭转我国长期以来科学教育目标的偏向具有重要的理论意义和实践价值。长期以来，我国的科学教育仅着眼于“双基”，过分强调对公式、定理、定律、规律的记忆、理解、掌握和运用，而这种运用又主要是运用于分析问题与解决问题，甚而极端化为在解题中的运用。而对隐含于其中的科学观念、科学精神、科学思想、科学方法则无暇顾及。不懂得科学本质的科学教育，会不自觉地把科学教育异化成非科学甚至伪科学的教育[20]。《科学课程标准》明确提出：“科学课程要引导学生初步认识科学本质，逐步领悟自然界的事物是相互联系的，科学是人们对自然规律的认识，必须接受实践的检验，并且通过科学探究而不断发展”。[21]这与PISA2009对科学本质的测评目标完全一致。《科学课程标准》的目标包括科学探究(过程、方法和能力)、科学知识与技能、科学态度、情感与价值观、对科学、技术与社会关系的理解四个方面，而科学探究是其核心，它既是《科学》学习的目标，又是《科学》学习的方式，贯穿在《科学》课程学习的整个过程中。袁运开对《科学课程标准》中的“科学探究”作了如下阐释[22]：科学探究注重创设学习科学的情境，提供学生自己动手、动脑，主动去探究自然的条件与机会，从而激发他们的好奇心和求知欲，使之在探究过程中体验学习科学的乐趣，是促进学生学习科学的有效方式;科学探究就其一般的完整过程来说，从发现问题、提出科学问题，进行猜想和假设，制订计划和设计实验，通过观察实验获取了事实证据，检验与评价结果，到对取得的成果进行表达与交流，不但是一个逻辑的实证过程，同时还是一个充满创造性思维的过程，是一个发挥潜能、克服困难、艰辛探索、不断实践的过程。

　　从上文叙述中可以发现，科学课程新课标中科学探究的过程与PISA科学胜任力考察的三个方面——识别科学问题、解释科学现象以及运用科学证据极其吻合。此外，科学探究注重创设问题情境，这种问题情境来源于青少年的个人生活情境、社会情境乃至全球情境。科学课程标准的基本理念之一就是“科学课程的内容要满足社会和学生双方面的需要”，“选择贴近青少年生活、符合现代科技发展趋势和适应社会发展需要的内容，而且这些内容要强调知识、能力和情感态度与价值观的整合。”这也是我们参照PISA将问题情境作为科学素养测评的一个重要维度的依据。

　　(三)将数学纳入青少年科学素养测评的依据

　　数学是依靠逻辑和创造研究规律和关系的科学，在现代社会中扮演着重要角色。以下三个方面是将数学纳入青少年科学素养测评内容的重要依据。第一、科学和数学的结盟具有悠久的历史，可以追溯到许多世纪以前。科学为数学提出了值得研究的有趣问题，数学为科学提供了有力的用于分析数据的工具。科学和数学都试图找出事物的一般规律和关系，从这一意义上来说，它们都是科学事业的一部分。第二、数学是科学的主要术语。在准确表达科学概念时，数学符号具有极高的价值。更重要的是，数学提供了科学的法则，即严格地分析科学概念和数据的法则。最后，数学和科学具有许多共性且数学和技术的互动富有成效。一方面，数学与科技的结合形成了科学的推动力，并获得了极大的成功;另一方面，数学和其他基础科学及应用科学的关系日益密切。物理、化学、经济、生命科学等领域越来越多地使用数学，跨学科的问题研究也成为科学研究的发展趋势。因此，了解和掌握数学知识对提高青少年科学素养尤为重要。正如米勒(Miller)所言，中学时期的数学教育和科学教育是决定科学素养的关键。无独有偶，《美国2061计划》(Project 2061)也将数学纳入科学素养范畴，并要求理解和运用数学知识、方法和思维方式解决实际问题[23]。

　　三、青少年科学素养的测评框架

　　如图2所示，青少年科学素养的测评框架主要从以下四个方面来构建：(1)情境——源于青少年真实的生活情境，而不仅仅局限于其学校生活，而且与科技密切相关。测评题目既要涉及学生本人、家庭和同辈群体的环境，即个人情境，也要包括社会团体环境，即社会情境，还有跨地域的生活情境，即全球背景下的情境。(2)知识——考察具体的科学知识掌握情况，主要包括数学、物质科学(包括物理和化学)、生命科学、地球和空间科学、科学技术和信息五个模块。其中物质科学、生命科学、地球和空间科学、科学技术和信息与我国基础教育科学新课标(7-9年级)中的五个内容模块基本相同。(3)胜任力——包括确定科学事件、科学地解释各种现象，运用科学证据解决实际问题三个层面。每个层面又细分为三个依次递进的子层次(如表1所示)。(4)态度——主要包括科学兴趣、对科学事件的看法和态度以及科学的价值观念三个方面;同时涵盖对科学-技术-社会(STS)的理解，即对科学与技术的相互联系、科学和技术的应用风险、科学技术对社会的影响等方面的理解。

　　青少年科学素养测评框架的四个方面相互关联，但四者之间并不是并列或平行关系。首先，情境指的是科学素养测评命题所依据的背景信息，它是为考察青少年利用科学知识在不同层面的环境下(个人情境、社会情境和全球情境)解决问题的能力提供背景信息，而非对情境本身的测评。具体的情境渗透着对科学态度和科学知识的考察。而且特定的情景要求具备一定的胜任力以解决实际问题。其次，知识和态度之间是相互影响的。一方面，科学知识的理解和掌握有利于提升科学兴趣、树立正确的科学价值观以及形成良好的科学态度;另一方面，良好的科学态度能够促进科学知识的学习。最后，具有良好的科学态度和丰富的科学知识能够提升科学胜任力，胜任力是青少年科学素养评估框架贯穿始终的主线与核心。

　　需要说明的是，此测评框架与PISA2006有所不同，首先，本研究构建的科学素养测评框架将数学纳入科学知识测评的范围，PISA将数学作为单独学科进行评估;其次，胜任力的三个层面的子层次是依次递进的能力水平，这与PISA胜任力的三个层面所包含的内容不完全一样，PISA子层次的内容之间没有递进关系，而是在评估被试能力时将其分为6个水平;此外，科学态度维度所包含的三个方面与PISA亦有所不同，考察青少年是否具有科学兴趣、对STS的理解以及科学价值观等，这与我国基础教育科学课程新课标中的目标一致，而PISA更侧重考量学生是否支持科学探究、对资源和环境的责任感。因此，该测评框架既吸纳了PISA科学素养测评框架的主要原理，又在此基础上与我国基础教育科学课程新课标的目标、内容相融合，符合我国青少年科学教育的目标和要求，对于科学教育研究者开展中国青少年科学素养测评相关研究具有重要参考价值。

　　课题组参照PISA科学素养的测评形式，研发了《中国青少年科学素养测评试卷》，该测评以纸笔测验为主，将科学知识与技能，科学方法与能力、科学态度、情感与价值观等方面结合起来，综合评估我国青少年的科学素养。测评试卷包括单项选择题、多项选择题、开放式问答题以及等级评定题等多种形式，其中等级评定题主要考察青少年的科学态度与科学价值观。试卷由分学科内容的若干单元组成，每个单元创设一个真实的与科技相关的生活情景。此外，在开发科学素养测评试卷的同时，还设计了学生个体及家庭的背景信息问卷以及学校教育资源特征方面的问卷，这将有利于分析学生科学素养的影响因素以及考查学生所接受的科学课程和参与的科技或科普活动对学生科学素养的影响效应，为政府制定资源投入政策、学校改进科学课程、学生选择有效学习方式等提供参考信息。

　　四、青少年科学素养测评工具质量评估

　　(一)试卷质量分析指标及计算方法

　　基于上述测评框架，课题组采用自行编制的《中国青少年科学素养测评试卷》考察青少年的科学素养，该测评的结果是否有价值?其可信度如何?这些问题均关乎测评试卷的质量。测评试卷的质量主要包括稳定性、可靠性和有效性等方面，通常采用信度、效度、难度、区分度等指标予以考察。

　　信度是指同一个测验(或相等的两个、多个测验)对同一组被试施测两次或多次，所得结果的一致性程度，即：测验的可靠性程度。根据研究需要，此处主要计算测评试卷各个维度以及总试卷的内部一致性α系数(Cronbach's Alpha信度系数)。在测试中，内部一致性α系数一般应该在0.6以上。效度指一个测验对其所要测量的属性能够测到的程度，即：测验的准确性。本研究主要使用因子分析方法考察科学知识和胜任力、科学态度的结构效度。一般情况下，结构效度应当大于0.5。

　　难度指测验试题的难易程度。本研究使用的计算公式为：P=1-X/W，其中，P表示难度，X为某题目的平均得分，W为该题的满分。因此，难度系数越高，题目越难。一般情况下，试卷的整体难度应以0.50左右为宜，每道题目的难度最好不要小于0.2或者大于0.8。区分度指测验对考生实际水平的区分程度，具有良好区分度的测试题，实际水平高的学生应该得高分，实际水平低的学生应该得低分。本研究对每道题目及每个维度的区分度主要计算样本学生在该题目或维度上的得分与总分的相关系数。区分度越高，题目对于不同水平学生的区分能力越强。区分度与难度常常是相关联的，难度越接近0.5，区分度就越高。一般情况下，区分度最好控制在0.2以上。

　　表2概括了试卷质量分析的四个指标及其评价标准。根据已有研究，为了保证测评质量，试卷题目应该遵循“一中三高”的原则，即试题的难度要适中，区分度、信度、效度则越高越好。接下来分析科学素养测评试卷的整体质量以及试卷中每道题目的质量。

　　(二)试卷整体质量分析

　　本部分利用四川、湖北、辽宁、甘肃、福建和北京等六省市的高中生科学素养调查数据，样本合计3109人，分析科学素养测评试卷的整体质量。试卷的整体难度为0.412，区分度为0.301，信度为0.817，效度为0.508，难度适中，区分度、信度、效度均良好。科学兴趣和科学价值观作为科学态度的两个维度，其结构效度分别为0.536和0.621，效度较好;两者的信度分别为0.758和0.870，信度较高。

　　(三)各题目质量分析

　　为了全面考察试卷质量，本研究使用项目反应理论的方法考察科学知识和胜任力每个题目的质量。经典测量理论虽然以随机抽样理论为基础，建立了简单的数学模型，但其在理论假设和实际应用方面还存在着结果的推广局限性、分数的测验依赖性、统计量的样本依赖性、信度估计的不精确性以及能力量表与难度量表的不一致性等不足。相反，项目反应理论(Item Response Theory，简称IRT)则能够克服这些方面的缺陷。本研究使用IRT作为分析的理论依据，考察学生的能力水平和项目特征。

　　1.IRT的优势。整体来看，IRT在理论和方法上具有以下优点：①项目参数的估计独立于被试样本。即难度和区分度的估计值与被试能力无关。同一个测验项目，高能力和低能力被试的反应拟合同一条项目特征函数曲线(Item Characteristic Curre，简称ICC)，同一条ICC所对应的项目参数是唯一的。②测验信息函数的概念代替了信度理论，用测验对能力估计所提供的信息量的多少来表示测量的精度。这避免了平行测验的假定，并能给出不同能力被试的测量精度。③项目的难度参数和能力水平在同一个量尺上。对被试能力的估计不依赖于特定的测验题目。IRT将被试能力和测题难度放在同一量尺上进行估计，无论测验的难易，被试能力估计值不变，不同的测验结果可直接比较。

　　2.模型简介。由于本研究编制的试卷题项存在两个或多个等级关系，分析时使用IRT的等级反应模型来考查学生能力以及项目特征。这一模型是塞姆吉玛(Samejima)于1969年提出的，是称名反应模型的一种变化形式，可以用来处理两个或多个等级类别的项目反应测验。结合本研究，此处主要介绍等级反应模型中的同质模型。

　　近年来，随着计算机的发展，这种等级反应模型已经可以通过电脑软件实现，本研究使用EXCEL中的ERIT程序模块来估计项目参数和被试能力(即科学知识和胜任力)。

　　3.项目特征分析。EXCEL软件的EIRT模块程序是采用塞姆吉玛模型估计项目参数和学生能力水平，此处主要呈现各个项目(试题)的平均难度、区分度参数及其参数的标准误(S.E.)。

　　对于区分度来说，其取值范围可以为负无穷至正无穷，通常情况下的范围为-2.8至2.8之间。难度与被试特质能力的量尺一致，对于大规模测评来说，通常难度的范围在-4至4之间。总体来看(表3)，项目的区分度和难度符合试题编制的相关要求，其中s12.1和s12.2的区分度参数较佳(>1.5)。

　　五、结论

　　本研究主要勾勒了我国高中生科学素养测评工具的开发及其质量分析结果，整体而言，本研究所建构的青少年科学素养测评框架及编制的试卷具有较充分的理论依据和较高的应用价值。具体来看：第一，测评框架建构和试卷编制具有理论依据和实践基础。课题组从科学素养的内涵界定出发，以我国《科学课程标准》为基础，有理可依、紧扣实践，从起点上保障了测评框架和测评试卷的科学性和实践性。第二，测评框架建构和试卷编制以国际学生科学素养测评项目为标杆，借鉴了PISA2006、TIMSS、NAEP等国际上广受关注和认可的学生评价项目，在一定程度上保障了整个试卷的科学性和有效性。第三，《中国青少年科学素质测评试卷》大范围施测发现，试卷编制质量较高，可以大规模应用。通过信效度、难度和区分度分析考察试卷质量发现试卷整体的难度、区分度、信度、效度较好;采用项目反应理论的方法对各题目质量的分析结果亦表明，试卷编制质量较高，基本符合测验对于试卷各项指标的要求，该试卷在试题测量质量以及文字表述等方面均不存在明显问题，将来可以用于我国高中生科学素养的大规模测评。

　　注释：

　　①本文中“科学素养”和“科学素质”是一个概念的两种不同表述方式，基于国内学者习惯将“science literacy”译成“科学素养”，本研究也沿用这一表述。但在引用我国公民科学素质纲要和相关研究时，亦会出现“科学素质”这一词汇，特此说明。

　　②2011年11月22日以“科学素养测评”、“科学素养评估”为主题词在CNKI中检索1992-2011年的文献，仅有21篇文献，其中12篇探讨美国公民科学素养测评指标体系和我国公民科学素养测评的现状及问题，4篇分析PISA测评工具，5篇是关于中小学科学素养测评工具研究的论文。