作者：李洪亮 章潇琪
来源：《数字教育》2020年第06期
摘 要：傳统的在线开放课程平台限于呈现基于“二维”屏幕的在线学习环境以及人机交互，很大程度上限制了在线开放课程的教学效能。通过对混合现实硬软件技术的深入研究，结合计算机、网络等现代信息技术，构建了一种可以呈现“虚实”融合的全息学习环境，进行“虚实”融合的三维立体交互，脱离“二维”屏幕依附，具备空间音效的泛在网络在线开放课程平台。与传统的在线开放课程平台相比，该平台呈现的学习环境更加直观、立体、形象，其交互方式也更加真实、自然、灵便、有趣。
关键词：混合现实;5G;学习环境;在线课程;教育应用
中图分类号：G434 文献标志码：A 文章编号：2096-0069（2020）06-0071-06 收稿日期：2020-07-03
基金项目：2019年浙江省教育厅科研项目“基于混合现实系统的《器乐》在线课程教育平台构建研究”（Y201942994）;2019年浙江省高校实验室工作研究项目（重点）“基于混合现实技术的在线课程开发与应用研究”（ZD201912）
作者简介：李洪亮（1982— ），男，浙江绍兴人，实验师，硕士，主要研究方向为数字化学习环境及在线音乐教育;章潇琪（1986— ），女，浙江富阳人，中学一级教师，学士，主要研究方向为数字化音乐教育。
在线教学，是信息时代的产物，其与面对面教学相比，具有突破时空限制、支持大规模参与[1]、提供多种交互方式、满足学习者的个性化学习需求、教学资源丰富且可共享等优势[2]。在线开放课程平台是在线课程进行在线教学的技术承载媒介和实施在线课程在线教学的支撑系统，是开展在线教育活动的基础条件[3]，其平台功能的差异将直接影响在线教学的教学质量和效能。
2013年以来，爱课程、学堂在线等一批在线开放课程平台的陆续建成和投入运行，有效推动了我国在线教育的发展。从各平台的功能角度分析，有共性功能，也有个性化功能。共性功能包括：①课程信息与内容管理，②视频播放，③题库（或教师手动输入）测试，④主观题作业，⑤师生交互，⑥教学数据统计，⑦学习进度管理等。个性化功能包括：①学堂在线的“雨课堂”等智慧工具，②全国地方高校优课联盟推出了课堂笔记、直播交互与人脸识别功能，③超星尔雅闯关模式等[4]。目前，在线开放课程平台的功能已经日趋完善，尤其是通过“雨课堂”“人脸识别”等智能教学工具的应用，赋予了在线开放课程平台“智能”化特征。不过从已建成并投入运行在线开放课程平台来看，各平台都仅限于呈现基于“二维”屏幕的在线学习环境以及人机交互，很大程度上限制了在线开放课程平台的教学效能。 一、混合现实系统 （一）混合现实技术
混合现实（Mixed Reality，MR）有时被称为Hybrid Reality，是虚拟现实技术的进一步发展，也是增强现实技术的进一步延伸[5]，该技术可以将数字世界与物理环境融合在一起，使其在视觉和听觉上都像是你所在世界的一部分，即使你身处全息影像之中，也始终可以看到周围环境，自由移动，并可与人和物交互[6]。混合现实技术是一种虚拟世界融合现实世界的技术，虚拟现实代表了计算机营造的世界，使人类的知觉感知延展到计算机中，而混合现实技术则是在保持对现实世界正常感知的基础之上，通过建立虚拟世界与现实世界之间的联系，再将人类感官延伸到虚拟世界[7]。 （二）混合现实系统的基本构成
混合现实系统是虚拟现实系统的进一步发展和增强现实系统的进一步延伸，因此混合现实系统的硬件组成和系统构成与虚拟现实及增强现实系统有一定的继承性和关联性。一个典型的混合现实系统主要由虚拟场景生成器、头盔显示器、实现学习者观察视线跟踪的头部姿态跟踪器、虚拟场景与真实场景对准的定位设备和交互设备构成，如图 1 所示。[8] 二、基于混合现实系统的在线开放课程平台构建 （一）基于混合现实系统的在线开放课程平台的基本构成
基于混合现实系统的在线开放课程平台主要由PC、在线课程教育网站、混合现实教育应用、5G网络和混合现实全息设备构成，PC与在线课程教育网站通过网络连接，混合现实教育应用通过PC上传并发布至在线课程教育网站，在线课程教育网站与混合现实全息设备通过5G网络连接，如图2所示。
（1）PC：即个人计算机，用于教学应用的开发、上传、发布以及相关教学信息的管理等。
（2）在线课程教育网站：在线课程教育网站作为在线课程的门户窗口，用于教师进行在线课程管理、发布和用于学习者进行在线课程的浏览、登入、检索、获取、下载、安装等。在线课程教育网站包括Web层、业务逻辑层、Model数据层（云数据库）。
（3）混合现实教育应用：即混合现实教育应用程序，用于对虚拟教学环境（内容）的存储和对虚拟教学环境（内容）的呈现。
（4）5G网络：即第五代移动通信网络，具有高速率、低时延、泛在网、万物互联等特征。5G网络可以满足学习者通过混合现实全息设备进行在线学习，包括进行应用的下载、人机交互、相关影像及数据的传输等。
（5）混合现实全息设备：混合现实全息设备是基于混合现实系统的在线开放课程平台的重要教学工具，用于呈现在线课程的教学环境（教学内容）和完成在线教学的教学过程。混合现实全息设备的代表设备如Hololens，可以将数字影像放置在真实环境中，达到以假乱真的效果[9]。Hololens是一种能够超越屏幕限制，具有无线网络功能的全息计算机设备，不仅可以在移动中为学习者呈现混合现实全息影像和空间音效，还能实现学习者与虚拟的数字“三维”对象的交互，与周围真实环境交互。[10]
（二）基于混合现实系统的在线开放课程平台的使用方法
基于混合现实系统的在线开放课程平台的应用主要由12个环节组成，混合现实全息设备拟使用Hololens。如图3所示（见下页）：
（1）前期准备：教师根据课程的教学大纲、教学目标等制订教学计划，设计教学内容，收集相关教学资源，为开发制作混合现实教育应用做好准备。
（2）应用开发：教师开发制作混合现实教育应用，主要步骤如下。①开发环境搭建：正确配置开发环境并安装Windows SDK等组建。②资源导入：创建一个Unity项目并导入教学资源和项目开发所需相关素材等。③场景搭建：构建混合现实教学场景。④程序开发：包括开发凝视提示、语音提示、双手全关节手势提示以及设置响应事件等程序。⑤编译发布：编译成
可以在在线课程教育网站中发布以及在混合现实全息头戴显示器中使用的应用，以方便学习者浏览、下载、部署和应用。[11]
（3）创建管理账户：教师根据在线课程教育网站的相关要求和规程注册创建管理账户。 （4）应用上传：教师通过管理账户登入在线课程教育网站后台管理系统，将混合现实教育应用上传至在线课程教育网站的后台数据库。
（5）应用发布：教师打开应用发布窗口，选择发布区域，编辑课程发布的相关信息，从数据库中选择要发布的混合现实教育应用并发布至在线课程教育网站。
（6）创建学习账户：学习者根据在线课程教育网站的相关要求和规程注册创建学习账户。
（7）混合现实全息设备连网：学习者打开并带上混合现实全息设备，开启无线网络功能，连接5G网络，将混合现实全息设备连接至互联网。
（8）课程检索：学习者通过在线课程教育网站学习账户登入在线课程教育网站，对相关课程进行检索、浏览并选择需要进行学习的在线课程。
（9）课程安装：学习者在在线课程网页上点击“获取”，点击后混合现实教育应用自动下载并安装至混合现实全息设备。
（10）课程启动：安装完成后，混合现实教育应用已固定到混合现实全息设备的应用程序列表中，学习者选择并启动混合现实教育应用。
（11）课程学习：学习者进入基于混合现实的在线学习环境，进行基于混合现实的全息式在线课程学习。
（12）关闭应用：学习结束后，学习者退出混合现实应用程序，完成在线学习。 （三）基于混合现实系统的在线开放课程平台的优势功能分析
基于混合现实系统的在线开放课程平台与传统的在线开放课程平台相比，其优势功能主要体现在呈现环境、在线交互、应用范围和环境音效四个方面，如表1所示： 1.学习环境：“虚实”融合的全息学习环境
基于混合现实系统的在线开放课程平台可以呈现一个“在数字化的三维现实中融入虚拟的数字三维对象（学习内容）”的全息学习环境，在该学习环境中学习者不仅可以沉浸于虚拟三
维对象（学习内容），同时还能感觉到周围的真实环境。与基于“二维”屏幕的学习环境相比，“虚实”融合的全息学习环境呈现的学习内容更加直观、立体、形象，有助于学习者对于在线教学内容的感知、体验和理解等。 2.在线交互：维度与方式
（1）交互维度。基于混合现实系统的在线开放课程平台的学习环境可以在虚拟世界、现实世界和学习者之间搭起一个交互反馈的信息回路，学习者不仅可以与虚拟的数字三维对象（学习内容）进行交互，而且还能与四周的真实环境进行交互，增强学习过程中的真实感。与基于“二维”屏幕的交互相比，“虚实”融合的三维立体交互拓宽了学习者的交互维度，增加了交互的内容和范围，有助于学习者拓宽认知范围，启发学习思维。
（2）交互方式。基于混合现实系统的在线開放课程平台的混合现实全息设备可以对学习者的语音、眼动、手势进行感知和理解，学习者可以通过语音、眼动、手势与全息学习环境交互[12]。与“鼠标、键盘或（与）触屏”的交互方式相比，语音、眼动、手势的交互方式更加真实、自然、灵便、有趣，有助于学习者激发学习积极性。 3.应用范围：脱离“二维”屏幕的移动应用
基于混合现实系统的在线开放课程平台的混合现实全息设备是一种可以进行移动应用的全息计算机设备，学习者可以脱离“二维”屏幕的束缚进行移动应用[13]。与依附“二维”屏幕应用相比，脱离“二维”屏幕应用的范围更加广阔，可以让在线学习变得更灵活自由，有助于学习者增强在在线学习中的主动性和探索性。 4.环境音效：空间音响
基于混合现实系统的在线开放课程平台的音频模块由“5声道”麦克风阵列和“空间音响”扬声器组成，不仅可以拾取学习者的语音信息，还可以为学习者播放接近“真实空间”的音效[14]。与2.0立体声环境音效相比，空间音响呈现的环境音效更加立体、逼真，有助于学习者更好地沉浸至全息学习环境中并获得更加真实的学习体验和感受。 三、教学应用：以《箱型木琴》在线教学为例
《箱型木琴》在线教学拟使用基于Windows10系统的Hololens，主要操作步骤与应用方法如下：①带上Hololens，将头盔调整至舒适状态;②打开Hololens电源，启动Hololens;③通过“开始手势”打开开始菜单，找到已安装的《箱型木琴》混合现实应用;④通过“触摸光标”开启《箱型木琴》混合现实教育应用，Hololens开始呈现《箱型木琴》的混合现实在线学习环境;⑤学习者通过双手、触摸光标、手控光线和抓取手势等命令移动、旋转、放大、缩小混合现实在
线学习环境中的3D教学对象（内容）[15]，实现学习者对于教学内容的全景感知和深度体验，从而促进学习者对于教学内容的理解和掌握;⑥ 学习完成退出程序，关闭Hololens。 《箱型木琴》混合现实教育应用由五个教学场景组成，依次是：①箱型木琴简介，②箱型木琴的构成及三维外观，③箱型木琴的音名识别及音响视听，④箱型木琴的内部三维构造，⑤识谱视奏。具体教学场景如下。 （一）场景①：箱型木琴简介
混合现实教育应用启动后，系统随即呈现高、中、低音箱型木琴全息影像以及箱型木琴的简介信息：“箱型木琴属于……”学习者通过“隔空敲击”手势点击高、中、低音箱型木琴，系统随即呈现相应箱型木琴的音域信息：“高音箱型木琴……”如图4所示。
（1）前期准备：教师根据课程的教学大纲、教学目标等制订教学计划，设计教学内容，收集相关教学资源，为开发制作混合现实教育应用做好准备。
（2）应用开发：教师开发制作混合现实教育应用，主要步骤如下。①开发环境搭建：正确配置开发环境并安装Windows SDK等组建。②资源导入：创建一个Unity项目并导入教学资源和项目开发所需相关素材等。③场景搭建：构建混合现实教学场景。④程序开发：包括开发凝视提示、语音提示、双手全关节手势提示以及设置响应事件等程序。⑤编译发布：编译成可以在在线课程教育网站中发布以及在混合现实全息头戴显示器中使用的应用，以方便学习者浏览、下载、部署和应用。[11]
（3）创建管理账户：教师根据在线课程教育网站的相关要求和规程注冊创建管理账户。 （4）应用上传：教师通过管理账户登入在线课程教育网站后台管理系统，将混合现实教育应用上传至在线课程教育网站的后台数据库。
（5）应用发布：教师打开应用发布窗口，选择发布区域，编辑课程发布的相关信息，从数据库中选择要发布的混合现实教育应用并发布至在线课程教育网站。
（6）创建学习账户：学习者根据在线课程教育网站的相关要求和规程注册创建学习账户。
（7）混合现实全息设备连网：学习者打开并带上混合现实全息设备，开启无线网络功能，连接5G网络，将混合现实全息设备连接至互联网。
（8）课程检索：学习者通过在线课程教育网站学习账户登入在线课程教育网站，对相关课程进行检索、浏览并选择需要进行学习的在线课程。
（9）课程安装：学习者在在线课程网页上点击“获取”，点击后混合现实教育应用自动下载并安装至混合现实全息设备。
（10）课程启动：安装完成后，混合现实教育应用已固定到混合现实全息设备的应用程序列表中，学习者选择并启动混合现实教育应用。
（11）课程学习：学习者进入基于混合现实的在线学习环境，进行基于混合现实的全息式在线课程学习。
（12）关闭应用：学习结束后，学习者退出混合现实应用程序，完成在线学习。 （三）基于混合现实系统的在线开放课程平台的优势功能分析
基于混合现实系统的在线开放课程平台与传统的在线开放课程平台相比，其优势功能主要体现在呈现环境、在线交互、应用范围和环境音效四个方面，如表1所示： 1.学习环境：“虚实”融合的全息学习环境
基于混合现实系统的在线开放课程平台可以呈现一个“在数字化的三维现实中融入虚拟的数字三维对象（学习内容）”的全息学习环境，在该学习环境中学习者不仅可以沉浸于虚拟三维对象（学习内容），同时还能感觉到周围的真实环境。与基于“二维”屏幕的学习环境相比，“虚实”融合的全息学习环境呈现的学习内容更加直观、立体、形象，有助于学习者对于在线教学内容的感知、体验和理解等。 2.在线交互：维度与方式
（1）交互维度。基于混合现实系统的在线开放课程平台的学习环境可以在虚拟世界、现实世界和学习者之间搭起一个交互反馈的信息回路，学习者不仅可以与虚拟的数字三维对象（学习内容）进行交互，而且还能与四周的真实环境进行交互，增强学习过程中的真实感。与基于“二维”屏幕的交互相比，“虚实”融合的三维立体交互拓宽了学习者的交互维度，增加了交互的内容和范围，有助于学习者拓宽认知范围，启发学习思维。
（2）交互方式。基于混合现实系统的在线开放课程平台的混合现实全息设备可以对学习者的语音、眼动、手势进行感知和理解，学习者可以通过语音、眼动、手势与全息学习环境交互[12]。与“鼠标、键盘或（与）触屏”的交互方式相比，语音、眼动、手势的交互方式更加真实、自然、灵便、有趣，有助于学习者激发学习积极性。 3.应用范围：脱离“二维”屏幕的移动应用
基于混合现实系统的在线开放课程平台的混合现实全息设备是一种可以进行移动应用的全息计算机设备，学习者可以脱离“二维”屏幕的束缚进行移动应用[13]。与依附“二维”屏幕应用相比，脱离“二维”屏幕应用的范围更加广阔，可以让在线学习变得更灵活自由，有助于学习者增强在在线学习中的主动性和探索性。 4.环境音效：空间音响
基于混合现实系统的在线开放课程平台的音频模块由“5声道”麦克风阵列和“空间音响”扬声器组成，不仅可以拾取学习者的语音信息，还可以为学习者播放接近“真实空间”的音效[14]。与2.0立体声环境音效相比，空间音响呈现的环境音效更加立体、逼真，有助于学习者更好地沉浸至全息学习环境中并获得更加真实的学习体验和感受。 三、教学应用：以《箱型木琴》在线教学为例
《箱型木琴》在线教学拟使用基于Windows10系统的Hololens，主要操作步骤与应用方法如下：①带上Hololens，将头盔调整至舒适状态;②打开Hololens电源，启动Hololens;③通过“开始手势”打开开始菜单，找到已安装的《箱型木琴》混合现实应用;④通过“触摸光标”开启《箱型木琴》混合现实教育应用，Hololens开始呈现《箱型木琴》的混合现实在线学习环境;⑤学习者通过双手、触摸光标、手控光线和抓取手势等命令移动、旋转、放大、缩小混合现实在线学习环境中的3D教学对象（内容）[15]，实现学习者对于教学内容的全景感知和深度体验，从而促进学习者对于教学内容的理解和掌握;⑥ 学习完成退出程序，关闭Hololens。 《箱型木琴》混合现实教育应用由五个教学场景组成，依次是：①箱型木琴简介，②箱型木琴的构成及三维外观，③箱型木琴的音名识别及音响视听，④箱型木琴的内部三维构造，⑤识谱视奏。具体教学场景如下。 （一）场景①：箱型木琴简介
混合现实教育应用启动后，系统随即呈现高、中、低音箱型木琴全息影像以及箱型木琴的简介信息：“箱型木琴属于……”学习者通过“隔空敲击”手势点击高、中、低音箱型木琴，系统随即呈现相应箱型木琴的音域信息：“高音箱型木琴……”如图4所示。
因篇幅问题不能全部显示，请点此查看更多更全内容