中国美术学院|虚拟仿真实验教学共享平台

2、项目描述：

2-1名称

基于混合现实（MR）的公共雕塑虚拟仿真教学实验

2-2实验目的

国内高等艺术教育之雕塑和公共艺术均起源于中国美术学院，并培育出了众多艺术巨匠，也为中国城市建设发展输送了大量的专业人才。学院立足传统造型艺术教学，放眼科技创新研发，广泛开设以数字媒介作为创作手段的教学研究和实验，也取得了丰硕的成果。随着时代的发展，人们的审美诉求以及城市文化和形象重塑，都需要雕塑与公共艺术在教学与创作方法上的提升与创新。
在当前的社会应用中，雕塑与公共艺术创作设计均停留在以传统的平面图、效果图或微缩模型的方式来完成。当涉及到城市建设中重要节点的公共空间雕塑的遴选和评选也都是基于平面效果图及微缩模型来作为评定依据。这种方式缺乏即时性和真实直观的现场感受。
基于混合现实（MR）的公共雕塑虚拟仿真教学实验的研究对上述问题均可给予卓有成效的提升。能够在教学与创作中即时在现实环境中虚拟呈现作品的形态、尺度、材质、色彩，以及与观众之间的交互关系，并可及时作出判断和即时调整，选择最佳的艺术效果，将对雕塑与公共艺术的教研与创作方法起到革命性的改变。

研发要以完成教学要求和内容为目标，综合运用多种数字化、智能化技术手段提高实验教学项目的吸引力和教学有效度并能快速转换为社会实践和服务。

1在教学和科研创作方面，与传统教学手段形成了互补，实现低耗能的便捷训练，加强知识掌握的聚焦性与牢固性。坚持立德树人，强化以能力为先的人才培养理念，坚持“学生中心、产出导向、持续改进”的原则，将实验教学信息化作为高等教育系统性变革的内生变量，以高质量实验教学助推高等教育教学质量变轨超车，助力高等教育强国建设。具体的来说，学生可通过传统造型基础的泥塑小稿的三维扫描来获取数据，以及直接的3D数字建模，并在混合现实环境中以虚拟仿真技术实现形态、体量、材质、色彩等直观反馈及实时的调整。解决了雕塑与公共艺术教研与创作中处理作品与现实空间关系的方法上最大的难题。

2在城市建设应用方面，一直是对规划设计直观的可视化技术需求最为迫切的领域之一，我们可以依靠基于混合现实（MR）的公共雕塑虚拟仿真研发成果，直观的模拟出虚拟雕塑造型与所处的真实环境的形态、体量、材质、色彩等匹配关系，为相关人员提供评价依据并做出准确的判断，相较于传统的平面图、效果图评判方式，是一种创新性的改革，具有重大的现实意义。

2-3 实验课时

实验所属课程所占课时：	48
该实验项目所占课时：	6

2-4实验原理（简要阐述实验原理，并说明核心要素的仿真度）

实验原理：基于AR,VR使用者可以通过透明的显示器、顶级的光学引擎SLAM技术、MIS可以在空间中任意方向、任意位置投射影像，并进行实时渲染与空间坐标计算，进而可以无障碍地观看现实世界中的物体，使得多个佩戴者在使用该装置时能够无障碍地进行面对面的交流，实现全息视效影像画面与现实的真实混合。

产品优势及特色

混合现实交互系统是自VR、AR技术出现以来的有一次革新，是最新一代的人机交互平台，能在现实场景实时展示高清的全息影像，通过手势识别和语音识别等控制方式来模拟最自然的操作方式。
研发要以完成教学要求和内容为目标，综合运用多种数字化、智能化技术手段提高实验教学项目的吸引力和教学有效度并能快速转换为社会实践和服务。

在教学和科研创作方面积累：

微信图片_20191209232451 微信图片_20191209232615
2010年中国美术学院郑靖 MR混合现实名片 2013年郑靖老师指导的《西溪探秘》MR混合现实艺术作品

微信图片_20191209232525
2013年郑靖老师指导的毕业创作《像素云》MR混合现实艺术作品
微信图片_20191209232530 微信图片_20191209232520
2016年郑靖老师指导的毕业创作《如果》综合媒介VR艺术作品
微信图片_20191209232534 微信图片_20191209232543
2016年郑靖老师受邀完成《最忆杭州》MR混合现实艺术作品

与香港恒生大学合作增加卫星定位系统，以增强与现实空间的远程定位融合的功能性拓展；整合两校原有实验成果与教学经验，建立更加成熟稳定、功能更完备的教学实验及社会应用网络平台。

微信图片_20191211142154 微信图片_20191211142214
香港恒生大学校园MR 作品
微信图片_20191211142221
《虚拟俄罗斯》John Craig Freeman (美国) 香港恒生大学校园MR 公共艺术展2018

平台与传统教学手段形成了互补，实现低耗能的便捷训练，加强知识掌握的聚焦性与牢固性。坚持立德树人，强化以能力为先的人才培养理念，坚持“学生中心、产出导向、持续改进”的原则，将实验教学信息化作为高等教育系统性变革的内生变量，以高质量实验教学助推高等教育教学质量变轨超车，助力高等教育强国建设。具体的来说，学生可通过传统造型基础的泥塑小稿的三维扫描来获取数据，以及直接的3D数字建模，并在混合现实环境中以虚拟仿真技术实现形态、体量、材质、色彩等直观反馈及实时的调整。解决了雕塑与公共艺术教研与创作中处理作品与现实空间关系的方法上最大的难题。

2.在城市建设应用方面，一直是对规划设计直观的可视化技术需求最为迫切的领域之一，我们可以依靠基于混合现实（MR）的公共雕塑虚拟仿真研发成果，直观的模拟出虚拟雕塑造型与所处的真实环境的形态、体量、材质、色彩等匹配关系，为相关人员提供评价依据并做出准确的判断，相较于传统的平面图、效果图评判方式，是一种创新性的改革，具有重大的现实意义。

2-5实验仪器设备（装置或软件等）

微软的HoloLens 2 卫星定位系统/光学引擎SLAM技术 MIS管理信息系统
多功能手持式3D扫描仪 3维软件体系
1、混合现实应用开发平台 -----包括软件平台和硬件平台
2、高性能三维生成及处理系统
3、立体式虚拟三维显示系统
4、集成应用控制系统

2-6实验材料（或预设参数等）

泥塑成型材料/虚拟成型

2-7 实验教学方法（举例说明采用的教学方法的使用目的、实施过程与实施效果）

使用目的:

研发要以完成教学要求和内容为目标，综合应用多媒体、大数据、三维建模、人工智能、人机交互、传感器、超级计算、虚拟现实、增强现实、云计算等网络化、数字化、智能化技术手段、提高实验教学项目的吸引力和教学有效度并能快速转换为社会实践和服务。

实施过程:

在公共雕塑虚拟仿真实验教学中，将“理论知识讲授”、“线上虚拟实验”以及“作品展示分享”三个环节有机结合，以学生自主进行实验操作为主，教师引导讲授为辅，并以混合现实分享公共雕塑可视化实验报告等形式开展分享与交流，使学生获得反馈并加深学习记忆。

实施效果:

通过公共雕塑混合现实虚拟仿真实验教学，学生在还原度高的虚拟场景中身临其境完成创作过程。结合理论学习与教师引导，学生轻松完成对抽象艺术与空间艺术理论的深入学习、对专业度极高的创作研究过程实现感性认知。
例如：从本专业教学经验来说，学生不再像过去一样停留在手绘效果图的二维平面阶段，对公共空间雕塑的尺寸、材质、色彩、以及与周围环境的关系都不能呈现较好的艺术效果，我们只能通过艺术想象去理解这个创作方案，这并不能给我们一个直观的感受。在混合现实环境中以虚拟仿真技术实现形态、体量、材质、色彩等直观反馈及实时的调整，可以及时作出判断和校正

，实现方案的最佳艺术效果。

2-8实验方法与步骤要求（学生交互性操作步骤应不少于10步）

实验方法描述：

①模型法
本项目通过建构模型的方法模拟公共空间雕塑及环境，训练并评价学生在各种模拟情况下的交互操作、认知反应、实验方法和调节结果，以便学生在实际项目中能做到造型准确、表达精准。为后继学习和终生发展奠定坚实基础。
实验者以第一视角学习，虚拟的双手可在虚拟仿真环境中对公共雕塑和场景进行互动、评价和分析。
②情境法
本实验项目为学生提供了与人机环境全面交互的机会。学生在虚拟的环境中，不仅可立体、生动的获知本专业的基础知识，也可通过交互学习并掌握雕塑与公共艺术创作设计和实践应用的能力。学生沉浸其中，实现低成本的反复训练，加强知识掌握的准确性与牢固性。
③运用理论和实践相结合的方式，让学生在虚拟空间中完成项目的实验操作，对产品进行整体环境渲染测试，并调整到最好的艺术效果，进行最终成品渲染。

学生交互性操作步骤说明：

学生交互性步骤共12步
①方案策划，根据教学目标，进行合理的创作设计构想，并绘制草图。
②依据参考素材，完成雕塑模型的创建。
③把创建的数字雕塑文件导入软件并通过卫星定位系统与现实空间实时混合。
④调整创作方案在实际空间中的比例关系。
⑤调整创作方案的XYZ三个轴向的角度。
⑥针对现实的场地空间特征和主题要求，调整作品的色彩和材质。
⑦调整视角，优化混合视效。
⑧根据混合视效尝试不同夜景灯光效果。
⑨通过混合视效，寻找最佳观察区域与最佳体验路线。
⑩提交完整的混合现实录屏视频文件，提交实验报告。

2-9实验结果与结论要求

是否记录每步实验结果：■是
实验结果与结论要求：■实验报告
其他描述：

2-10考核要求

考核包括四部分内容：设计过程、实际操作、课堂演示和成果评价，参见表1。
表1 考核表

考核内容	考核内容	评分细则
实验操作	实验步骤是否清楚	10
	系统工具的使用方法是否正确、规范	5
	实验记录是否完整	5
设计过程	是否有效利用采集到的素材	10
	能否运用创新思维进行创意	10
	是否熟练运用相关软件	10
课堂演示	能否陈述清晰设计理念	5
课堂演示	整体方案演示是否流畅	10
成果评价	是否达到实验要求合格标准	10
	整体方案是否完整	10
	能否体现雕塑和地域文化之间的关系	10
	成果互评	5

2-11面向学生要求

专业与年级要求

公共空间艺术专业大二或大二以上年级的学生

基本知识和能力要求

对虚拟仿真和虚拟现实有一定的了解，具备计算机图形图像的基础知识，能正确使用软件操作。

2-12实验项目应用及共享情况

是否纳入到教学计划： ■是

是否面向社会提供服务： ■否