年度研究进展

本项目研究内容分为在线教育资源的语义标注与匹配、面向课程的在线教育资源之间的语义关联和组织方法、基于学习效果评价框架的在线教育资源持续优化三个部分,这是在三个不同层面上的问题。2016年度的研究按计划执行,我们围绕前两个问题,主要研究了MOOC领域知识图谱生成、MOOC智能组卷、MOOC学习行为分析等问题,对领域术语的发现、基于内部/外部资源的术语解释、与已有资源融合等话题进行了积极探索,并对相关技术在MOOC教学中的应用进行了探讨。

(1)慕课知识图谱构建与应用。基于慕课领域的研究,我们提出了领域概念(术语)语义关系图生成框架,以及术语解释中内外部资源的有效结合方法等。结合慕课课程的特点,我们分析教材、讲稿、视频、论坛和作业等慕课课程内部资源,提取其中的重要术语并给出层次关系;进而结合维基百科、相关专业网站以及搜索引擎的返回页面等,为术语生成相应解释并给出可信度,在此基础上构建慕课知识图谱,以期为学习者构建一个解答疑难问题的知识库。 在慕课知识图谱的基础上,我们进一步研究了如何利用知识图谱对课程资源进行语义标注的问题。我们选择了课程视频的字幕信息作为语义标注对象进行研究,试图将字幕文本中提及的领域概念和实体等信息与知识图谱中的概念和条目建立语义对应。我们设计了一种基于句嵌入(Sentence Embedding)的上下文相似性度量方法,以维基百科中条目的出现作为样本,通过对整个句子进行分布式表示建模上下文信息,从而度量字幕文本中的实体与知识图谱中概念之间相似性,进行实体消歧和实体链接。 基于上述研究,我们设计并实现了了一个MOOC视频的语义标注和课程概念动态展示原型系统,在建立课程资源与领域知识图谱的语义关联的基础上,实现课程视频、相关概念和关系的动态同步呈现。

(2)慕课学习者成绩预测研究。针对慕课学习成绩预测研究中的学习行为特征预处理问题,我们提出了基于马尔科夫转移概率和基于N-gram子序列的两种行为序列特征预处理方法,将慕课学习成绩预测任务建模为预测学习者在四个学习成绩等级上的多分类机器学习问题,开展实验研究。 首先,通过会话分析讨论了通过课程的学习者和未通过课程学习者在碎片化学习行为上的差异。其次,基于马尔科夫转移概率的行为序列特征计算用户在慕课学习过程中的行为类型转移概率和资源访问转移概率,相比传统的基于静态计数的行为特征表示方法,较好地表征了慕课学习者在学习过程中的学习行为变化模式以及教育资源访问模式,借助行为变化状态转换图和资源访问热点图等可视化手段能够较好地帮助慕课从业人员了解不同慕课学习群体的行为特点。第三,基于N-gram子序列的行为序列特征计算用户长度为k的不同行为模式的统计分布情况,刻画视频观看者、习题收集者和论坛灌水者等慕课学习行为模式,通过聚类分析验证了基于N-gram子序列的行为序列相比传统方法在对慕课学习者鉴别区分能力上的优势。最后,将慕课学习成绩预测问题建模为预测学习者在四个学习成绩等级上的多分类机器学习问题,针对提出的两种行为序列特征及其混合变种开展了详细的实验研究,分析了不同方法在学习者早期学习阶段的预测能力以及参数变化对实验性能的影响。 我们在国防科学技术大学“梦课”慕课平台的六门慕课课程上开展了预测实验,实验结果表明我们提出的两种行为特征方法及其混合变种能够显著地提升面向学习成绩预测的机器学习分类算法的准确度,在F1-score预测效果评价指标上能高出传统方法18.5%。

(3)基于MOOC学习数据的智能组卷模型。以往基于MOOC的研究多以预测分析为主,相对缺乏基于学习行为数据的自动化学习效果评价手段和工具研究。因此本项目从慕课学习者学习数据出发,利用机器学习算法根据其平时成绩预测其期末考试成绩,并根据整个学习群体的平均预测成绩,自动从题库中生成一份期望值等于预测群体的平均成绩,同时知识点、题型覆盖情况尽可能的等于人为约束条件的试卷,从而更有效的检验其当前学习效果,并进一步指导之后的学习过程。

(4)MOOC课程的关键设计要素。目前有部分研究从学习理论,教学实施流程等方面对不同的MOOC课程设计进行研究分析,但是从MOOC课程设计的实践出发针对其关键要素开展的研究多以理论分析为主,而缺乏实际可操作性的参考。本项目结合学堂在线《组合数学》课程为例,从课程制作和运营的角度剖析MOOC课程的教学设计,分析影响在线课程品质的基本问题,尤其结合在线课程的互联网特性,关注MOOC课程设计中的基本问题。

(5)MOOC中的计算机程序设计教学平台。当今的真实软件项目基本上都是在分布式系统上完成的,需要相当的服务器、存储、网络等资源。这些资源的使用能让学生的项目更有实用价值,也能让学生对项目产生并保持更大的兴趣。这些资源在通常的计算机教学中是难于使用的:一方面受限于物理计算资源,一方面受限于实验环境配置的复杂程度。为了解决这些问题,团队构建了一个成本低效益高、基于云计算的、可扩展的系统,使得学生可以容易地开展编程实践项目。通过结合云计算、虚拟化等最新计算机技术,项目将让学生们在任何有互联网的地方,使用最先进的大数据计算框架,和云计算平台基础设施来进行动手实践。项目同时将开发一套能够给精确收集学生动手实践过程数据的系统,收集准确的学生学习数据,为学生的个性化学习带来条件。特别地,我们针对小型的学生团队(2-3名学生一组),对这一系统进行了优化,为学生团队开展跨校跨地域的团队合作打下基础。当前系统已经实现,并已经在3门课程中部署使用,下一步正在进行针对数据科学课程的教学模块的设计。

(6)面向网络文本信息的增量式无监督聚类方法研究。信息聚类是实现在线教育资源组织和有效利用的基础。在线教育资源表现出明显的动态增长和演化特点,增量式无监督聚类对于实现教育资源的按需聚合具有重要意义。针对传统神经网络学习算法在面向不断增加的文本信息资源的动态聚类中存在的不足,提出了一种新型自适应统计神经网络模型及其增量式无监督学习算法(ASNN),以提高文本信息的聚类效果。ASNN模型具有较好的统计学基础,并且借鉴了神经学实验证据。ASNN模型引入新的神经元激励函数和突触权值调节函数,通过神经元的自组织构建神经网络,并且基于“样本分布的时空局部性假设”给出了神经元激励函数和突触权值调节函数所蕴含的统计意义。在此基础上,我们还提出了一种增量式无监督聚类算法。实验表明,基于ASNN模型的聚类算法在增量学习任务上与k-means等经典聚类算法的精度相当,但是时间和空间开销更低,更加适合处理实时性数据。

(7)关于在线学习行为研究,已有的工作缺乏从用户属性维度分析其与各种学习行为之间的关联性,也很少有工作对用户交互学习行为进行深入研究。因此,本项目组着重探讨用户属性与用户参与课程行为以及用户论坛交互行为之间的关联性,以揭示用户行为背后的本质原因。通过对“学堂在线”系统的论坛数据分析,我们发现了几个有意思的现象:①在文科课程中,相比男性女性用户提问更多但是回答更少;②在文科课程中,本科生提问更多。在理工科课程中,研究生问得少,答得多;③对于文科课程,难度高的课程可能刺激提问,但不一定能带来更多回答问题的用户。

(8)针对术语提取和资源发现中的聚类问题,我们把它转化为基于网络的重叠社区发现问题,使用一种基于博弈的重叠社区发现算法,可以在保持聚类效果的同时,大大提高算法的效率。算法在Google+上得到了很好的验证效果。

2017年度的研究总体上按计划执行,主要开展了MOOCLink语义标注系统研制、慕课异构数据的语义化建模和应用、慕课学习者行为建模及应用、慕课在线学习者学习心理调查、慕课学习者辍学预测及唤回、基于慕课学习数据的智能组卷模型和算法、基于慕课的个性化学习推荐、慕课规模在线编程实验平台研发、慕课经济模式与其他网上服务经济模式的对比等各项研究。

具体研究进展如下。

(1)MOOCLink语义标注系统研制 针对慕课视频对课程内容的知识点缺乏直观展示、学习者难以建立课程内容之间的知识关联的问题,我们设计并实现了MOOCLink语义标注系统,该系统利用中文分词和实体链接技术,对慕课视频的字幕进行分析,识别课程知识点,并建立知识点与维基百科条目之间的关联。该系统能够根据语义标注结果,在学习者进行视频学习的同时,为学习者同步展示与正在播放的课程视频相关的知识点以及知识点之间的关联关系,实现课程视频、相关概念和语义关联关系的动态同步呈现。利用文本检索技术和语义标注的结果,该系统还提供了基于内容的视频检索和快速定位功能。 MOOCLink语义标注系统已经与国防科技大学梦课平台进行集成,并应用于“大学计算机基础”、“计算机网络”、“大学物理”和“高等数学”等四门在线课程,提供了教学资源的语义标注、视频知识点动态展示、基于内容的检索等功能。梦课平台于2017年11月通过专家鉴定,MOOCLink语义标注系统是该成果的重要组成部分,项目组骨干唐晋韬和李骁为该成果主要完成人。

(2)慕课异构数据的语义化建模和应用 慕课中的文本匹配可以自动关联知识,帮助实现学生提问的自动回答和提示,也可以实现论坛内容的自动分类和归档。从计算机技术的角度,教育文本匹配、教育资源检索等可被视作新的问题,也可被视作是异构数据的文本匹配问题。 针对这样的应用场景和技术需求,我们提出了三个基于神经网络的词向量表示学习算法,分别是神经语言模型、级联模型和异构文本网络模型。第一个模型考虑对同构的文本模型进行建模,后两个模型考虑对异构数据的语义化建模。模型的设计均考虑了慕课数据的特点,例如视频字幕的层次结构、学生学习行为的点击记录以及时间上的约束信息,考虑了建模异构信息,能够同时学习到隐语义和隐相似性,并且不需要任何人工标注的数据。我们在两个代表性慕课应用场景(字幕和帖子的匹配,以及相似帖子的检索)中通过运用新的模型,提高了教师的教学质量和学生的学习效果,验证了模型的有效性。 相关成果发表在EMNLP2017上。

(3)慕课学习者行为建模及应用 我们从微观层面的在线学习点击行为数据流入手,聚焦于行为数据流上的特征提取和设计,提出并改进了基于马尔科夫转移概率和基于N-gram子序列的两种行为序列特征提取方法,将慕课学习成绩预测任务建模为预测学习者在多个学习成绩等级上的多分类有监督机器学习问题。针对慕课在线学习存在的高辍学率问题,我们通过与多名教育技术领域专家线下讨论影响学习者辍学的诸多因素,总结出课程资源难易程度、学习者自身表现以及学习同伴对学习者本人的影响三类因素,然后从梦课平台抽取了课程因素、学习者自身因素和其他人员因素三个维度共计49项学习数据,讨论分析了各因素的统计特性。最后,使用神经网络技术建立面向二元分类的有监督机器学习模型,在梦课平台注册人数最多的八门慕课课程共32万学习者的数据集上展开实验,实验结果表明结合教育技术专家经验和神经网络等机器学习模型能够较好地预测学习者的辍学趋势。

(4)慕课在线学习者学习心理调查研究 针对慕课在线学习者在不同学习阶段的心理特征及其变化过程这一研究问题,我们依托梦课平台,开展了基于问卷调查的在线学习者心理分析研究。我们首先设计问卷调查表,分为学习者基本信息调查、内部因素调查和外部因素调查三大模块,共18道题目。基于问卷调查得到的结论,针对承担慕课课程建设任务的老师、平台开发运维人员和课程摄制人员提出了四点建议,包括1)加强对网络元认知知识的指导和监控能力的培养;2)合理建构课程体系,科学配置教学资源;3)人性化设置学习平台功能,优化讨论交流社区;4)线上与线下活动相结合,提高学习者学习的成就感和获得感。 相关研究成果发表在《高等教育研究学报》上。

(5)慕课学习者辍学预测及唤回研究 慕课平台大多数用户很难坚持到课程结束,会在课程中间辍学,分析用户的辍学行为并进行预测是一个很有意义的问题。我们提出了根据用户历史访问行为日志提取特征并分析其逐周的学习状态,预测用户是否即将辍学退出。模型使用17个慕课用户行为指标作为输入,包括每周的视频观看数、论坛回复数、活跃天数、活跃总时长等指标,通过稀疏堆叠自编码器对特征进行解析,并输入进循环神经网络进行分类预测,获得了较好的准确率和召回率。 针对学生的辍学现象,我们在《慕课问道》这门课上通过email发送唤回邮件,试图唤回一些学生。经过A/B测试,我们发现唤回邮件起到的作用不大,尤其是对于课程周期较短的慕课。可能的原因是这些学习者确有客观原因,或者对课程已经失去了继续学习的兴趣。 相关研究成果发表在EDM2017上。

(6)基于慕课学习数据的智能组卷模型和算法研究 我们从慕课学习者学习数据出发,利用机器学习算法根据其平时成绩建立学习效果分析预测模型,并根据整个学习群体的平均预测成绩,自动生成满足期望值约束,知识点、题型覆盖约束的试卷,从而更有效的检验其当前学习效果,并进一步指导之后的学习过程。 具体的研究包括:1)基于机器学习算法的慕课学习者成绩预测研究,比较了多种机器学习算法在慕课成绩预测中的准确率,提出了基于学习者特征类型分层的预测模型算法;2)提出基于遗传算法的慕课智能组卷算法与实验,将组卷设计目标抽象量化从而形成相应的约束和目标,建立了基于遗传算法的组卷优化算法,并在《组合数学》课程中进行了实例验证。

(7)基于慕课的个性化学习推荐 用户在大规模开发在线平台进行学习时可能会有各种疑问,而该种平台与课堂教学的天然不同决定了同学们的问题不能得到教师或助教的及时反馈。我们通过将用户的输入进行分类,并在备选问答集中进行搜索的方式来对用户的疑问自行自动回答。分类算法采用4元词素和支持向量机结合准确率可达到77%,而在平台使用相关的问答库中搜索时的相似度算法使用词向量和LSTM结合可将准确率提升至84%。 用户在慕课平台最主要的行为就是访问页面,30天之内有超过600万条访问行为的日志,能够覆盖89.5%的用户。其中课件页,课程内容的主体,页面内容丰富,有挖掘的空间。课题组针对用户访问页面的内容,使用LDA算法提取兴趣向量,使用基于向量相似度的协同过滤算法进行推荐,上线后相比原有推荐功能点击率和转化率皆有较大提升。

(8)慕课规模在线编程实验平台研发 如何在庞大(几百人规模的线下课程和几千甚至上万人规模的线上课程)规模的课程中保持高质量的教学水平,是十分有趣的一个问题。目前已有的自动化系统,大多针对特定的学科和实验,这种平台往往规模不大并且十分依赖于某些特定的实验特性。我们着重与建立一般化可支持多种实验的在线实验平台系统,特别是能够支持多样化计算机实验的平台。我们的实验平台具有以下特点:基于云服务实现,稳定、便于部署。系统通过API与底层云服务交互,因此在多个云服务之间的迁移也十分方便。

(9)慕课经济模式与其他网上服务经济模式的对比 慕课作为一种典型的互联网B2C业务,其freemium(免费增值)的商业模型与其他互联网市场存在内在关联。我们希望通过对慕课与其他互联网市场(如共享出行、在线广告、电子商务等)的用户行为进行挖掘和比较,寻找慕课市场用户参与率、完成率与付费率均不理想的内在原因。通过数据分析和理论模型,我们深入分析了慕课市场的用户效用、外部性以及反馈机制,并给出了提升慕课用户活跃度和付费率的方案。

2018年度的研究总体上按计划执行,继续深入基于本体的教育资源的语义表示研究,在多门、不同学科的课程内开展作业互评与论坛组织的研究,研究如何对慕课资源进行优化,并给予不同学生不同的个性化指导。特别地,我们主要开展了慕课导学、课程推荐、学习策略、作业评价、资源表示、资源分析、资源利用、课程自动辅导、慕课商业模型等各项研究。 具体研究进展如下。

(1)慕课导学研究 随着慕课的快速发展,代表性慕课平台如Coursera、EdX、学堂在线等上面的慕课数目越来越多。另一方面,慕课学习者的基础参差不齐,学习目的也各不相同。因此,如何帮助慕课学习者找到合适的学习课程,已经成为一个重要问题。我们基于慕课的课程介绍和背景信息,设计了一个自动对话工具MOOC Guider,能够帮助慕课学习者通过对话来了解一门慕课的基本情况,通过对课程进行基本过滤和选择,帮助学习者找到适合自己的课程。

(2)在线课程推荐系统中用户兴趣获取方法研究 我们研究了主动式用户兴趣获取框架的概念模型,从系统和用户两个角度描述了四种兴趣获取的策略场景,分析讨论了传统全样本获取策略存在的成本过高问题,提出了一种基于“相似度聚类+兴趣传播”的选择式主动用户兴趣获取算法。 我们以国防科技大学运行的梦课平台从2014年9月到2015年4月的319,408个选课数据为数据集,包含93063名学生和79个在线课程,训练因子分解机预测学习者的课程成绩作为推荐任务。实验结果表明所提出的“相似度聚类+兴趣传播”算法能够以一种较小的兴趣获取代价获取到较为准确完整的用户兴趣数据,在性能成本得分方面优于传统的全样本主动式获取策略30.25%。

(3)学习策略建模 关于慕课学习者学习策略建模的研究:如何从慕课平台记录的大量学习行为中辨识出学习者的行为模式和学习策略?慕课学习这的学习策略是如何形成、发展和变化的?我们从对北京大学开设多年的慕课课程《翻转课堂教学法》的分析和研究出发,收集学习者的学习行为、成绩等定量数据,同时收集了基于访谈的定性数据,基于混合研究方法,分别从静态情况、动态情况和差异情况三个层次对慕课学习者的学习策略模型进行了分析与展示。 大量实验表明,我们提出的模型与方法,将有助于相关领域的研究者更好地从教育大数据中建构教学意义,并为跨领域、跨平台和跨情景的研究对话提供了可能。

(4)慕课同伴互评可靠性和准确性研究 同伴互评是慕课常采用的学员作业评价方法,但是慕课同伴互评的准确性和可靠性因学员知识水平程度差异过大而被质疑。为了研究如何通过改进评价量规来提高同伴互评的可靠性和准确性,在教师培训类慕课“翻转课堂教学法”的两期教学中,我们进行了若干设计研究。研究发现,在教学培训类慕课的同伴互评活动中,学生评分和教师评分高度相关。细化评分量规的等级描述,以及采用是非选择型的评价量规都能显著提高评分者间信度和评分效度,且评分者间信度与评分效度的差异度与学生所提交作业文档本身的质量也有关系。在研究发现的基础上,我们提出了慕课同伴互评评价量规的设计原则和使用建议。

(5)慕课资源语义向量表示的组合方法和组合层次研究 大量的MOOC资源以文本形式存在,词向量是当前文本语义表示的主要方法,采取词向量对学习资源进行语义表示,是对MOOC资源内容进行分析的基础。我们比较的四种组合方法是词向量平均方法及其基础上进行的改进。词向量平均方法是把组成词组的所有成分(字或词)的词向量求平均,是流行模型里常用的词组向量近似方法。注意力平均方法是利用注意力机制,给与其他成分更相似的字词成分更高的权重,以期提高组合语义的准确度。临近词平均方法是通过找到组成成分在词向量空间里的近义词,并将这些近义词求平均的方法,由于这些近义词能够表示一个组成字词的多方面语义,此方法可以更全面的引入组成成分的信息,从而获得更高的额准确度。临近词聚类方法是在临近词平均的基础上,通过聚类找到组成成分的共同语义,用聚成的最大类的质心来表示组合语义。 我们以中文维基百科作为训练语料,以词组型条目名作为词组,训练字、词和词组向量,对词组向量进行组合语义表示。我们使用维基百科重定向列表作为同义词词典,使用词向量误差和同义词预测两个任务验证实验效果。实验结果表明,临近词平均和临近词聚类方法的组合语义效果最好。组合层级的选择比组合方法的选择更重要,词是最好的组合层级,能把同义词分类准确率从78.45%(字层级)提高到94.85%(词层级)。

(6)慕课资源语义分析中的开放实体关系抽取方法研究 我们在上一年度工作基础上,继续深入研究了语义分析关系抽取问题,旨在为MOOC资源的语义标注提供更丰富的知识。我们针对开放实体关系的抽取问题,提出了基于语义相似性的远监督错误标注消除方法,提高了开放领域语义关系识别与分类效果。 我们分别在数据集WIKI(以英文维基百科为目标语料,以YAGO2s作为知识库构建的)和公开数据集NYT上通过人工和held-out两种评价方式验证了方法的有效性。实验结果表明,相对于使用原始数据训练的模型,使用过滤数据训练的模型,关系分类效果获得显著提升,验证了利用语义相似度进行错误标注消除方法的有效性。 在远监督关系分类实验中,利用消除错误标注后数据集作为实验数据集,分别对比了传统方法与卷积神经网络模型间、采用不同输入的卷积神经网络模型间的关系分类效果。实验结果表明,使用卷积神经网络可以自动从输入数据中提取特征,使用核心依存短语作为卷积神经网络的输入,有利于捕捉关系分类的特征,可以在很大程度上避免不相关词序列带来的负面影响。

(7)慕课课程论坛的利用 课程论坛是慕课学习中的重要工具,但目前参与度还不太高。我们在研究中发现,通过论坛行为分析,和学习者的其他学习行为相结合,可以比较准确地预测出学习者的课程最后通过与否。一般来说,学习者适当地参与课程论坛的讨论,有助于提高学习者的学习兴趣和学习质量,进而提高课程通过率。所以,课程主讲老师可以适当地要求学生参与论坛讨论,并把参与度作为评价学习成绩的一个因素。

(8)CQA中的专家发现研究 将CQA技术用于慕课课程论坛中,可以帮助课程主讲教师和助教更好地开展课程答疑和要点辅导。专家发现是CQA中的一个重要研究点,以前的工作很多倾向于使用回答者以前的QA历史来确定其专家身份。我们提出了一个根据回答者的历史QA行为,动态融合结构信息和文本信息来发现合适领域专家的方法。通过在Stackexchange和Quora上的QA测试,该方法显著优于已有工作,展示出良好的效果。

(9)慕课商业模型研究 基于对MOOC和SPOC服务的多年市场和销售经验,我们对SPOC服务的商业模型和价格策略进行了分析,讨论了如何使用组合拍卖方法使得MOOC平台的总体利益最大化。我们还对单轮离线情景以及迭代多轮情景的问题进行了规范化并给出了解决方案,同时提出了关于分配规则和价格策略的多个应对机制。目前我们已经成功地把SPOC服务分发给125个机构用户,包括90所大学,20家公司,7所中学和8家政府单位。

(10)其他一些初步研究 MOOC学习的一大特点是松散和自由,缺乏强制力。我们研究发现,在MOOC学习中稍微施加一些强制性(比如强制学生对作业错误的地方进行一定的浏览和复习之后才能开始新的学习,甚至仅仅是提醒学生要这么做),就会取得较好的效果。 此外,我们发现学生倾向于使用自己的碎片化时间进行碎片化学习,系统性学习和思考的时间较少,而这不利于学生对知识的深度理解。

2019年3月,本项目通过了国家自然科学基金委组织的中期检查。中期检查之后,本项目根据专家意见,对研究计划进行了强化。2019年度除了针对在线学习环境中各类学习资源的分析开展研究,我们还主要关注了如何优化慕课教学资源,对学习者给予更多个性化指导,并帮助教师提高其教学效果。特别地,我们在对2018年慕课发展进行总结以及对慕课平台进行对比分析的基础上,主要开展了社区问答的段落选择、图像资源标注、科技论文资源摘要、退课行为分析和预测、同伴互评中的反思意识、优秀慕课学习者学习行为模式挖掘、针对慕课特点的学习方法研究、基于交互式游戏的慕课课程概念扩展等各项研究。 具体研究进展如下。

(1)2018慕课发展概要与未来趋势分析 2018年慕课累计学习人数超过1亿,参与慕课建设的高校已经超过900所,累计上线的课程超过1万门。就Coursera、edX、学堂在线、Udacity和FutureLearn这五大代表性平台来看,各平台面向付费用户提供了不同种类的业务且收入可观,其发展重心均放在了在线学位与面向企业的业务之上。在提供付费业务的同时,各平台仍保留了一定的免费入口,并倾向于采用更适合结业的学期制模式。 这些慕课平台更加重视对学习和教学过程的支持与服务,如在选课前帮助学习者规划课程学习路线,在学习中利用学习轨迹等功能帮助学生自我定位,在教学过程中开发支持教师授课的服务,在学习结束后提供学习记录转移功能。预计未来会有更多的高校参与到学位项目的建设之中,并将慕课应用于混合教学;平台之间应通过差异化运营精准吸引目标用户,人工智能等新技术的加入会提升慕课的学习体验,慕课也会更关注学习互动和学习社交等功能。总之综览2018年,慕课在保持本质特征的同时找到了一些区别于传统学历教育且具有自身特色的运营路线。

(2)国内主流慕课平台发展特点分析 我们对中国大学MOOC、学堂在线、好大学在线三家主流慕课平台新的发展特点进行了对比分析。三家平台在功能上都以MOOC课程为主,提供了按专业类别、开课院校进行筛选的功能, 三个平台中,学堂在线保持了标准慕课的形式,课程的划分主要按照的是传统大学中的课程分类体系,主要都是来自于名校的通识课和专业课,也设置了跨校学分课的专栏,专栏中的课程通过后的学分可以在其他大学得到认证。此外,学堂在线也提供了带有认证的项目课程,这些课程通常都相对系统化,拥有完整的教学体系和内容,结课后可以得到相应的证书。课程的形式和在职研究生的课程较为类似。在常规课程上,学堂在线同时采用了免费和收费的模式,其中免费的模式仅可以观看视频、完成作业,而交费后可以在一年时间内反复观看课程视频,全程有老师和助教的问题解答及作业批改,结课后可以得到认证证书。两种模式并存,为不同需求的学习者提供了更多的选择。值得一提的是,学堂在线的课程通常持续周期都比较长,对应大学课程的一个完整的学期,而且无法提前学习,因此学习者一旦参与课程,就必须全程跟进才能完成学习。 中国大学慕课的内容分类相对更多。在传统大学专业课上,中国大学慕课和学堂在线类似,采用了每周更新的方式,不同的是,中国大学慕课对于大多数课程没有提供付费模式,所有注册的学生都可以观看课程、进行提问,但是目前的现状是,学生的提问很少会被老师和助教回答,也仅仅有很少的问题会在讨论区引起学生们的讨论,意味着学生有疑问很难及时解决。中国大学慕课不仅有大学的专业课程,还有很多面向特定考试或工作的课程,例如四六级课程、考研课程、大数据技术速成课程等等。这些课程通常收费不高,而且持续的时间较短,面向的人群都是有特定应试需求的人群,课程内容一次性发布,参与者可以在有空的时候一次性学习完全部的课程。此外,中国大学慕课还推出了直播课程的形式,直播的时候可以更好的让老师和观看直播的学生进行互动,这样的形式可以让学生在不懂的时候及时提问,但也意味着老师需要反复进行讲解,更类似于传统的远程学习,而不是慕课。直播课通常都比较短,而且是短期应试或者是讲座类的课程,目前还没有体系化的被做成直播课。 好大学在线从课程的数量、参与课程人数、对接院校的数量来看,都远少于上面两个平台。这个平台在功能上也尚不完善,没有对课程打分评价的机制,也没有课程的推荐和精细化的分类,更像是一个给大学提供的把课程放在网上的平台,而不是一个面向大众的MOOC平台。好大学在线也在尝试加入更多内容,目前在尝试的就是加入求职课程(Python数据分析师课程)。

(3)面向社区问答机器阅读理解的段落选择 社区问答提供了丰富的学习资源。但是对于学习者来说,如何从众多候选回答中挑选合适自己问题的回答越来越困难。针对学习者的问题,利用机器阅读理解技术,可以帮助学习者提高获取有效知识和信息的效率。目前,大多数面向多篇章机器阅读理解任务的模型都是基于定义在单篇章机器阅读理解任务上的抽取式框架,通常返回答案较短。我们建议使用段落级别的文本片段作为问题的答案,并提出了一个结合学习排序框架与神经机器阅读理解模型的段落挑选框架,用于从问题所提供的参考段落中挑选最优质的段落来回答问题。 我们提出了一个段落挑选框架,以每个段落相对于标准答案的ROUGE-L值作为标签,训练了一个端到端的网络,用于从一个问题的所有候选段落中挑选一个最优的段落来回答该问题。该框架基于循环神经网络与注意力机制,同时基于高质量的段落之间是具有共性的假设,我们提出了用注意力机制来进行交叉段落验证,用于从一个问题所对应的所有候选段落中收集信息来验证段落内容的质量。我们以两个具有代表性的机器阅读理解模型Match-LSTM和BIDAF作为基线系统,分别在ROUGE-L和BLEU-4上取得了42.79%,35.88%和43.36%,38.50%的成绩。实验结果显示,我们的模型在ROUGE-L和BLEU-4上分别取得了51.05%和42.87%的成绩,远高于基线系统。 这方面的研究成果发表在会议The 25th China Conference on Information Retrieval(CCIR 2019)上。

(4)基于话题信息的图像描述生成 对图像实现自动标注已经成为对图像类教育资源进行挖掘的基础问题。传统端到端的生成框架,直接将图像特征作为输入,极易忽略图像所包含的高层语义信息。当我们人为对图像进行描述标注时,往往会先对图像内容定义主题范围,然后基于这些主题对其内容进行描述。我们提出在传统端到端框架中引入图像话题信息,生成使用话题卷积神经网络模型提取图片的话题信息,以指导句子生成。 我们利用图像的标注文本训练得到LDA话题模型,提出话题卷积神经网络模型将图片像素特征映射到话题语义空间,实现对图像高层语义信息的提取。话题卷积神经网络模型不仅关注到图片的话题信息,还可基于预训练好的话题模型得到图片的关键词分布信息,使图片的高层语义信息抽取更加充分。 我们在MS COCO数据集上进行多组对比实验,结果显示,相较于不使用话题信息作为模型额外输入,只以图像特征作为输入的模型,性能有明显提升;同时,我们改进语言生成部分的模型结构,提出了基于再思考机制的多重注意力框架,进一步提升了模型性能。最终我们的模型在BLEU-4/METEOR/CIDEr/ROUGE-L/SPICE指标上达到39.0/28.7/12.90/59.3/22.1。 相关工作成果发表在2019 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)。该工作的扩展版本《Rethinking for Image Captioning with Visual and Topic Cues》正在《Neural Networks》审稿中。

(5)科学文献相关工作摘要的自动生成 科学文献的快速增长为教育领域提供了丰富的论文资源,据统计,现如今全球科学文献的产出每九年翻一倍。在互联网的学习环境下,丰富的论文资源一方面为学习者快速便捷地获取论文,了解相关领域知识提供了可能;同时也为学习者准确及时地掌握相关领域研究动态和现状提出了挑战。 学习者如何快速地从浩繁的论文资源中掌握所需的知识至关重要,因此我们针对学习者如何利用论文资源,提出了如下应用场景:学习者以期望了解的包含科学话题的查询语句作为输入,比如学习者期望得到有关“自然语言处理”有关的总结,系统自动依据该输入查询语句生成和话题紧密相关的摘要,作为输出,返回给学习者,辅助学习者快速了解期望的领域,从而更高效率地利用网络论文资源。 针对该应用场景,我们首先构建了相关工作生成大规模数据集,分析了文章各章节对生成相关工作的影响,该方面研究成果发表在CCF-C类会议CCF International Conference on Natural Language Processing and Chinese Computing (NLPCC2019)上。然后我们深入研究了如何利用被引文献片段来生成摘要问题,重点研究了被引片段识别问题,为生成相关工作摘要提供依据,这方面研究成果发表在科学计量学权威SCI期刊《Scientometrics》上。

(6)慕课学习中的退课行为预测 慕课的产生变革了传统教育模式,使得每一个人都有机会享受最优质的教育资源。然而,慕课也存在一定的缺陷,其中一个最大缺陷就是学生的退课率要远远高于传统课堂的教育模式。据统计,大约只有4%~5%的用户会完成自己的可课程。 我们以学堂在线(中国最大的慕课平台)的数据为基础,探讨了三个问题:(1)用户退课的原因,(2)如何准确预测出学生的退课概率,(3)如何才能挽留有退课风险的用户。针对问题1,主要分析了用户在不同课程上退课的correlation(如果用户在一门课上退课,其是否也会有很大概率在另一门相似的课程上退课?)以及用户朋友的退课行为对其造成的影响。针对问题2,提出了一种上下文感知的特征交互模型(Context-aware Feature Interaction Network,CFIN),与其它退课预测方法不同,CFIN可以充分考虑慕课中用户行为的上下文信息(包括用户信息与课程的信息),适用于大规模用户在多门课程中的退课预测。CFIN在KDD CUP与XuetangX的数据集上均超过了baseline方法。针对问题 3,探讨了三种对退课学生的干预措施,并通过线上A/B test 实验对三种干预措施的有效性进行了验证。 相关成果发表在The 33rd AAAI Conference on Artificial Intelligence (AAAI'19)。

(7)慕课同伴作业互评中反思意识与学习成效的关系研究 同伴互评是慕课中经常采用的一种教学活动。为了帮助学习者自信地对他人作业做出客观公正的评价并促进自我反思,我们提供作业反思框架,即评价量规,希望学习者在使用评价量规撰写评语的过程中不断加深对课程教学目标的理解,通过观摩评议同伴作业促进自我反思。但教学用意未必所有学生都能够领会并落实,慕课中有多少学习者在作业互评过程中具有反思意识、反思意识程度如何、反思意识与学业成效之间是否存在关联,是我们感兴趣的问题。 通过对“教师如何做研究”慕课课程中79287条同伴互评数据进行深入分析后发现:在自然无干预的状态下,大部分学习者有一定的反思意识,但撰写的评语质量还有待提升;成绩合格者的评语长度和评语质量与学习成效呈现显著正相关,这表明同伴互评的评语长度及质量可以作为学习成效的预测指标。研究在使用定量方法对慕课学习者评语数据进行教学意义分析方面作了一些方法尝试,可为后续研究提供参考。

(8)优秀慕课学习者学习行为模式挖掘 基于中国大学MOOC平台上《翻转课堂教学法》慕课中17204名学习者的行为日志数据,在为学习者的页面访问记录赋予有意义的行为编码标签,建立其学习路径模型后,使用统计和共现分析的方法,研究其中优秀学习者的学习行为模式特点。 研究发现,优秀学习者总行为序列长度显著高于其他学习者,上线学习的次数显著地多于其他学习者;但是每次上线学习发生的有意义的交互行为的数量与其他学习者相仿,学习时长也相仿;其参与和回答教师的提问、复习已学过的内容、参与论坛互动的行为在其总学习行为中占比更多,而学习全新内容、参与测验、把握全局等行为的占比较少。研究用共现分析的方法分析了学习者每次上线产生的行为之间的共现关系,发现优秀的慕课学习者在学习新内容时更少发生走神和中断的情况,且其每次上线的目的更鲜明,学习主题更突出。研究的发现揭示了优秀慕课学习者学习行为模式的特征,有助于改进慕课教学。此外,共现分析的方法也为行为数据的挖掘提供了新的思路。

(9)慕课学习方法研究 慕课是个新事物,绝对不是把线下课程放到线上那么简单,因此,探讨什么样的学习方法更适合于慕课也就很有必要。我们主要做了两方面的尝试:(1)试错性学习。每次布置课后作业时,向学生说明他们可以提交两次,第一次全对可以得到满分(设为100分),如果得分过低,可以选择再提交一次,第二次全对可以得到90分。初步的试验表明,这种模式可以在某种程度上促进学生的学习。(2)选择性地提供更多学习材料。先通过调查问卷询问哪些学生希望收到更多学习材料,然后通过邮件向这些学生发送与每周知识点相关的学习材料,包括补充材料、实例、理论证明、互动性较强的游戏等。希望这些学生能够巩固基础知识,加深对知识点的理解,进一步拓展思维等等。目前本期慕课的成绩还未出来,一俟拿到成绩数据,我们将展开有效性分析。

(10)基于交互式游戏的慕课课程概念扩展方法 在慕课的教学场景中,由于课程时长以及教学模式的限制,用户很难获得那些老师们在视频中省略的,与课程有关的延伸知识点,因此根据课程内容自动化生成与课程有关的延伸知识点是非常有必要的。然而,传统的集合扩展算法并不能很容易地直接适配于慕课的场景:(a)慕课课程往往是多个不同领域的交叉,传统集合模型在多领域交叉的情境下很容易产生“语义漂移”的现象,引入很多的无关概念;(b)课程的延伸概念可能是由于多种不同因素而与课程产生联系,如与课内概念的相似性,先后修关系等,而传统的只基于语义表示的方法没有考虑这些信息。 因此,我们设计了一个利用已有的知识库,根据课内概念动态搜索扩展并筛选结果的算法,来找出优质的课程扩展概念。更有创新性的是,我们还在慕课上设计了一个用户可以参与的小游戏,用以动态地收集扩展结果的反馈并不断优化扩展模型。最终,我们利用XuetangX和Coursera建立了两种语言的四个课程数据集,并取得了超过传统算法的MAP指标0.17的良好结果。 相关成果发表在The 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019)。