摘要在新冠肺炎疫情突发情况下，全国各大高校开启了“停课不停学”模式，由此MOOC平台、在线课程得到大规模应用。伴随而来的诸如平台超负荷、带宽技术问题，学习者效率低下，教学者管理缺位，师生互动不足等问题急需得到解决。以“大学英语”公共课程为例展开调查，首先使用AHP设计MOOC平台、学习者、教学者三个不同视角教学评价体系，然后根据网络问卷统计获得评价结果，最终依据专家意见提出改进措施：自学为主与教学者监督相结合；在MOOC平台上增加平台技术柔性管理能力；提升教学管理功能，扩展团队协作能力；提升课程教学互动的个性化服务；适度规划MOOC课程，优化各层次使用目标。
关键词在线课程；MOOC；大学英语；教学评价
受新型冠状病毒肺炎疫情影响，教育部及各省教育厅制定了《关于2020年春季学期延期开学教学工作安排的通知》，明确了各大高校“停课不停学”。针对全国高校师生开放使用的就有20多个在线MOOC平台，如爱课程“中国大学MOOC”、学堂在线、智慧树网、学银在线等。各高校提供了2020年春季学期可供引用课程和搜索课程方法，建立各种MOOC交流群，师生通过网络进行授课和学习。本次MOOC大规模使用主要由政府组织，各教育行政部门和高校执行，对于“大学英语”等公共课受此影响最大，一方面引用急剧增多，另一方面评论互动严重滞后，导致疫情下集中式“大学英语”MOOC教学及混合式教学受到很大挑战，因此针对平台技术、学习效果、教学监督设计MOOC教学评价体系，具有现实指导意义。
一、基于MOOC的大学英语教学评价体系
（一）评价框架
基于MOOC的大学英语在线教学由政府组织，主要参与方包括MOOC平台内大学英语相关课程、各高校的大学英语教学者、参与大学英语学习的学习者，以提升学习效果为目标制定本评价框架，并讨论它们之间的关系[1][2]。以“大学英语”课程的在线MOOC学习为例进行评价总体框架设计，如图1所示。
本评价框架有别于传统基于AHP评价结构，本次集中式在线教学由政府组织，其平台公开与学生选课、教师上课均具有特殊性，如原有的由学习者选课转变为由学校老师指定、学习者的参与课程和退选课程均受到一定的限制、多数公共课程教师并不负责授课而转变为答疑和课后管理等。以“大学英语”为例，在MOOC平台、教学者、学习者三者关系中，教学者更多地是完成监督指导工作，而学习者的学习效果多数在一定程度上从教学资源质量的高低体现转变为由学习者的课后反馈体现。
（二）评价指标权重的确定
在AHP评价体系中，权重是一个相对数值的概念。设置合理的、准确的权重分配是建立基于MOOC的大学英语教学评价与改进的前提[3]。为避免信息的缺失、评价指标不全、指标权重失衡，从三个侧面建立一级指标（二级10项指标的细化见下文“评价模块”），最终确定由各细化指标进行合成权重。研究通过专家咨询（评价指标）和网络问卷（评价得分）的方法展开。计算评价总得分时先分别按MOOC平台、学习者、教学者构造n×n判断矩阵A=（ai，j），该矩阵表示各个元素之间两两对比的重要程度。
最后，计算各个细化的指标相对权重，并根据各细化指标相对各上一层的重要性进行排序（子排序，公式4），再计算各细化的指标对三个侧面评价目标的合成权重以及总排序（总排序，公式5）。
式中，进行归一化处理后的wi即为各指标的相对权重，层次总排序权重分别为a1，a2，a3，a4，关于Aj层单排序权重分别为b1j，b2j，…，bnj（当Bi与Aj无关联时，bij=0）。最终CR<0.1时则认为构造的判断矩阵具有满意的一致性，否则，评价矩阵不满足一致性要求，必须进行适当修正。
（三）评价模块
1.MOOC平台的评价模块
本次全国性大规模集中式在线教学对MOOC平台的系统性能、移动支持、平台互动等要求更高，尤其是“大学英语”等公共课的在线教学[4][5]。因此，基于MOOC平台视角的评价模块包括功能组织、技术支持、课程展示、移动学习等模块，具体如表2所示。
2.基于学习者视角的评价模块
自主学习是判断一个求学者学习能力的重要指标，主要是指学习者在学习过程中比较独立，形成自主的、探究性的学习模式[6]。本研究主要基于“大学英语”课程在大规模选修的状态下，从学习者学习体验出发，从传统的选课动机、课程期望、学习行为分析、学习满意情况转变为同线下教学比较一致的课前准备、课堂过程合理性、教学互动交流体验等评价方式，结合大学英语学习个性特点设计基于学习者视角的评价指标，具体如表3所示。
二、基于MOOC的大学英语教学评价结果
（一）评价对象及目标
参与本研究网络问卷主要群体为应用型本科高校（福建工程学院、闽江学院、福建江夏学院）2019级本科学生，共计收回有效问卷3821份，其中法语、英语、日语等语言专业319份，非语言专业3502份，按高考文理科人数统计文科有974人，理科2847人①。教师参与问卷主要为福建工程学院问卷设计者8人，上述其他两所学校的英语教师13人，法语和日语教师各1人。现以这些免费平台的大学英语在线学习进行教学评价，具体计算过程按上述AHP评价体系中的公式进行三个侧面的评价（子集为MOOC平台M、学习者S、教学者T），并以优、良、中、合格、差评语集为评分依据[7]。
以评价子集MOOC平台M为例，其评价模块分别表示为功能组织M1、技术支持M2、课程展示M3、移动学习M4等，而用Mi，j表示各模块中的评价因素即模块中的指标，每个指标对应评语集用选择该等级人数除以总参与评价人数。三个侧面的评价相对比较独立，不进行汇总，这有别于传统的AHP评价方式，或者说本AHP评价系统包括三个相对比较独立的子系统。
（二）评价结果
1.MOOC平台的评价结果分析
因基于平台问卷过少，此部分分析结果主要是从学习者、教学者的视角对MOOC平台提供的在线教学满意程度，以及平台技术联络人员的相关解答。由于篇幅有限，下文中不一一列举评价的过程，表5为基于学习者、教学者的视角对MOOC平台的评价汇总。
将教学者和学习者对MOOC平台的参与视听说的满意度进行相关性分析，教学者、学习者对MOOC平台总体上还是比较满意的，另外分析发现，平台在功能上基本能满足教学需求，虽然MOOC平台已经比较成熟但个性化教学和教师管理的缺失，导致许多学生反馈学习不理想，退课的师生改用雨课程、钉钉在线直播、腾讯课堂等实时在线课程教学，这些平台有利于教师监督但需要网络比较稳定。由于福建省在MOOC平台引用最多为爱课程在线教学（中国大学MOOC网及移动APP客户端），下文基于学习者、教学者视角的评价均以该平台的视听说为对象。
2.基于学习者视角的评价模块
学习者对于三个平台的交流体验都是比较满意的，其中爱课程在线教学平台扩展材料和个性服务均不如超星平台，而课程体验说的交互相对比较差。其中，语言专业的学习者，在评价中对于个性服务并没有明显的区别，而更注重视听说体验。学习者的参与度比较高并非主观意愿所驱动，其选择性也受到一定的限制，主要是根据2020年春季课程开课需要而进行的，因此，选修学生基本是在开课前已经通过学校教务处和平台技术人员对接导入。随着上课时间的推移，部分师生出现不适应，以及一些教师在线直播的准备，因此从第2周开始就有明显的退课现象，如图3所示。但从调查中也发现，学习者的视听说体验集中在良、中等级，相对而言“说”的功能比较不足，即平台提供的交互主要是用文字、图像进行，而对语音没有启用识别功能，如图4所示。
3.基于教学者视角的评价模块
作为公共课的“大学英语”在MOOC平台上的选择是具有明显优势的，如图5所示，而开课后“大学英语”的MOOC平台互动、视听说体验及教师的直播准备等原因，在开课的第三周发生较大变化，由原来选择MOOC平台明显居多转变为比较接近比例的情况，如图6所示。由于教学设计等多数由教学大纲规范，在线MOOC视频教学功能及包含的材料已经比较齐全，而基于教学者视角更多侧重对授课体验和课后管理，在评价结果中教学者无法监控自己的学生学习情况，课后管理也不理想。
三、基于MOOC的大学英语教学改进措施
（一）MOOC自学为主与教学者监督相结合
MOOC平台提供了知识点设计、课程拍摄、交流区或论坛的答疑解惑、批改作业等课程学习的基本功能，对于教学者教学方法的传播、学习者知识技能的提升都是一个很有意义的平台。在本次突发事件情况下，运用MOOC平台在线教学中需要提升教师监督的功能模块，以免学习者不自觉或学习者学习质量低下。教师监督模块应该实现课堂过程中教学阶段性中止、互动、疑难点的解答，实现课后的灵活反馈与常见问题的方便调阅，降低一些重复问题或类似问题的回复，从而实现自学为主与教学者灵活监督相结合。
（二）增加平台技术柔性管理能力
MOOC平台提供的网络、服务器性能已经能满足日常教学者课程设计和授课、学习者选课和上课等性能需求，而在大规模的使用下，由于原有带宽设计不足及服务器负载能力有限，出现视频卡顿、网站反应迟顿，尤其是全国性网课第一周。因此，MOOC平台供应商应增加突发规模性、集中性的预案，增加网络上传下载与预期数量、服务器的性能与访问人数、视频质量与网络流量等的关系评估，建立MOOC平台技术可靠性模型，让网络、服务器等技术保障实现柔性管理。
（三）提升课程教学互动的个性化服务
不同学科的教学互动特质是有区别的，如本研究中“大学英语”的视、听、说在当前各MOOC平台和配置的APP移动应用端均没有考虑到语言学习的语音识别问题，教学者、学习者的语音在平台上的交流区和论坛到处都是，教学者、学习者最终都分不清楚以及如何对应回复。因此，一方面教学者、学习者在交流区中应该规范分类，以备课后及日后复听，另一方面MOOC平台需要增加语音识别模块，辅助使用者辨析、分类。同理，也需要开发其他课程的教学特质，以提升在线教学在学科、课程方面的个性服务能力。
（四）提升教学管理功能，扩展团队协作能力
直播平台的教学管理好于MOOC平台，尤其是实时控制方面，这就需要MOOC平台提供更便捷的教学功能。加入MOOC平台课程后教学者会成为该课程的教学团队，教学者导入学习者名单后，在班级的教学管理上仍然需要优化，班级之间交叉、交流信息分离、各教师基本分离等问题都需要进一步加强管理。教学者团队协作机制不健全，导致团队形式化，在后台管理上需要再细分权限、划分权限配置、增强教学者的自主性。在“大学英语”的视听说环节上需要许多互动体验，而教学者之间角色扮演、现场互动在平台上无法实施，导致必要的团队协作缺失。
（五）适度规划MOOC课程，优化各层次使用目标
调研对象的三所应用型本科高校层次比较接近，然而教师在引用MOOC教学时，有些基于名校名师考虑，有些基本课程教材一致性或相似性，也有一些是根据学生特点如部分专业招生学生层次问题（如引用到职业类专科学校的MOOC教学）。以爱课程“中国大学MOOC”为例，查找大学英语就有336条结果，而在筛选上也只有是否为国家精品课的选项（该项有36条），公共课搜索结果多且不容易排除不需要的信息是当前平台的缺陷。教学设计者和MOOC平台维护者应该要优化课程设计，对学习对象、教学目标、难易情况、适用范围及层次要明确，由于现有MOOC平台建设已经有多年积累，不缺课程，特别在处理较接近的课程时，要体现出新增课程与原有课程的区别。
