应用空间融合技术的叙事研究虚拟仿真教学

 

所属专业类:艺术学类 对应专业:空间叙事
学校:中国美术学院 负责人:李轶军

本实验项目旨在采用先进的虚拟现实技术,结合艺术与科技的优势,打破时间与空间的限制,对古典摄影工艺蓝晒法的历史、原理、流程进行虚拟仿真实验教学。与传统的摄影实验教学相比,本实验项目大幅度降低了教学成本、提升了教学效率、保证了教学安全,并可通过互联网的传播方式,向高校与社会共享教学资源。同时,以数字化的形式,传承和保留了正在逐渐消失的传统文化艺术。

 

   
 

 
 
   

2、项目描述:

 

实验目的

本实验教学项目作为空间叙事课程中的虚拟仿真专业实验,有效弥补了传统空间叙事课程体系的数字时代特征的欠缺以及在跨媒体与融媒体实践方面的不足。通过虚拟仿真专业实验教学,将前沿叙事媒介融入到教学实践,创新性地引入了虚拟现实、增强虚拟、混合现实、现实虚拟、增强现实、现实演绎等细分维度以及对应的传统和数字方式在多种平台与媒介上讲述单个故事或故事体验的技术,一改教学实践中的单一媒介创作流程,突破传统空间叙事制作在媒介以及空间上的局限性与时效性。

本项实验的目的在于:

  1. 掌握在媒介和交互技术高速发展中的快速应变以及学习能力;
  2. 掌握叙事媒介的基本理论及其应用;
  3. 提高学生的混合媒介管理、综合和设计能力;
  4. 塑造学生在创意产业内以内容为主导的设计战略领导力
  5. 培养学生成为艺术与科技领域的跨学科人才。。
实验课时
实验所属课程所占课时:60 课时
该实验项目所占课时:48 课时
实验原理

本实验教学项目作为空间叙事课程中的虚拟仿真专业实验,基于现实-虚拟连续统一体模型(米尔格拉姆,岸野文郎),将空间维度分为:人工现实、虚拟虚拟、虚拟现实、增强虚拟、混合现实、现实虚拟、增强现实、真实现实,将叙事作为各空间的沟通方式与特点,理解时间和空间、虚拟内容和物理材料、地理和网络的关系。

训练学生在多种空间与媒介上讲述单个故事或故事体验的技术,使学生适应在媒介和交互技术高速发展中的快速应变以及学习能力,并掌握空间的基本理论及其应用,培养学生的多模态媒介管理、综合和设计能力,形成在创意产业内以内容为主导的设计战略领导力。
知识点:共  5  

  1. 混合现实的背景知识;
  2. 空间写作与交互叙事的基本理论与核心知识;
  3. 数字内容创作实践的应用方法与发展动态;
  4. 沉浸式剧场设计的基本理论与核心知识;
多模态设计思维与呈现方法。
实验仪器设备(装置或软件等)

装置:


  1. 搭载Windows系统或MacOS系统的联网台式终端(MacOS是搭建iOS环境的必要条件);
  2. 搭载Android系统或iOS系统的智能移动终端。
软件:
  1. Edge、Firefox、Chrome等主流浏览器
  2. Unity 2018.1及以上;
  3. XCode 11及以上;
  4. Cinema 4D R19及以上
实验材料(或预设参数等)
  • 实验材料:模型资产库(包括现实空间构件与虚拟空间构建)、材质资产库
  • 预设参数:摄像机预设、基本灯光预设。第一人称摄像机预设参数为170cm离地距离,镜头为50mm、光圈F1.8的标准镜头;第三人称摄像机预设参数为等距模式;场景基础照明预设为全局自然光,均匀照亮整个场景。
  • 软件开发工具包:基于Unity 2019的AR Foundation(封装Google ARCore与Apple ARKit底层SDK)
实验教学方法
(举例说明采用的教学方法的使用目的、实施过程与实施效果)
使用目的:

提高学生对混合现实概念的认知与理解:通过对与社会相关的当代创造性实践的专业理解,培养学生的自信心,鼓励学生从充分调研的角度自由地进行实验、创新和挑战的创作:质疑现有的技术和理念。
使学生掌握空间写作与交互文本的基础能力:着重培养学生的叙事能力,了解写作的基本要素与文本游戏化的基本原理,构建跨媒介叙事能力的核心,鼓励学生通过使用描述性与对话性文字进行创作实验,从固有的、体系的转变为启发的、创新的、思辨的思考方式。使得学生适应超越先验的设计,了解到对话在交互中的关键性作用。培养独创能力和本能自信的判断。
使学生掌握数字内容创作的基本方法:注重对当代社会媒体和传播设计的批判性观点,通过线上自主与线下分享的学习模式,以小组形式进行数字内容制作、数字拼贴、互动、视觉设计和音频制作相关的实践,了解内容驱动视觉与形式的基本规律,使用多种形式的媒介并配合各自不同的技能长板,共同创作,保持迭代,制作和评估流畅、复杂的叙事内容,最终建立出具有个人风格的概念和媒介词汇,为空间叙事的创作时间提供更深入的理解。
提高沉浸式设计实验效率和实际创作水平:以学生为中心具象化、自主设计的实验模式,摆脱时间、地点、资金、技术的限制,鼓励学生不以技术作为先决条件,学习以艺术审美为首要核心,激发学生的学习兴趣,提高学生的学习主动性与创意媒介综合管理能力,掌握虚拟现实、增强现实与混合现实(XR)的基本规范。
实现学生的跨媒介创意从想象到实际的质变,有助于空间叙事创作的市场化运作:经过虚拟仿真平台的全景环境预设,由无技术、弱技术、强技术的逐步递推,在课程中学会体验和交互设计的平衡以及艺术展览和装置的制作,培养学生采用激进的实验和批判方法来质疑和推动跨媒介作品的技术与内容边界,旨在实现技术的后数字世界与现实物体、空间、系统和人的无缝链接。
实验教学中,重点学习连续性叙事从单一媒介转换到多模态媒介的基本规律;研究多模态的媒介融合理论,创建具有批判性的视觉形式和媒介环境。使学生掌握空间叙事的基本理论及其应用方法。

实验中,教师负责知识点的解释和对实验过程的监控,并对学生操作中出现的问题加以引导,启发学生认识问题出现的关键所在,增强学生对知识的自主学习兴趣与能力,培养学生对问题的发现和解决能力。通过实验,每个学生能获得不同的实验结果,考核主要以作品呈现出的的叙事表达能力、审美判断能力、社会感知能力、自我管理能力、田野基层能力、策略思维能力等情况进行综合评价。
实施过程:


以现实空间设计实训模块与虚拟空间设计实训模块为例,简要介绍教学方法的实施过程:
首先学员(本校师生和社会学员)通过网络登陆开放式虚拟仿真实验教学管理平台并进入本实验项目,先选择虚拟空间设计实训模块,进入模块后学生可选择理论学习或实践操作,期间可随时通过平台的通讯端口给留言,通过初步判断,提供通用答案,若问题库中不存在通用答案,系统将留言发送给教师,教师收到留言后对学生的问题进行答疑。
进入实训模块后选择选择理论学习,平台展示空间叙事创作中的8种媒介类型,如虚拟现实、增强现实等,让学生根据自己的学习方式全方位地理解某一种媒介类型与其他媒介类型之间的关系,及其对观众沉浸体验的作用。重点知识点可通过鼠标点击,弹出窗口进行详细介绍。学习完毕后进入小测页面,学生需回答一定数目的选择题后才可进入实训操作页面。方便学生复习所学知识点,找到薄弱环节,即使进行强化。
学生完成理论测试后进入实训操作页面,根据现实空间任务要求,选择空间构件,由初始点开始搭建空间,并根据任务要求进行布光。布光结束后,对空间的不同部分进行材质替换处理,经过反复的调整,让学生深入了解光影与材质对于空间的作用。
学生根据前期已完成的空间写作脚本与平面图进行虚拟空间创作,基于上一阶段所完成的现实空间,选择空间构件,对虚拟空间的呈现方式与尺度开展布局与设计,在第一视角沉浸式体验与第三视角空间建构中,通过反复的调整,让学生在反复操作中深入了解不同维度的混合方式所能呈现效果。在完成整体设计后学生将提交设计报告与成果图像。由教师审核后决定是否能进入线下学习模块。
通过教师审核后,学生获得软件开发工具包,学习软件搭建,并进入现实空间,通过实验器材,开展虚实结合的空间创作。在教师的现场指导下,根据线上实验中的设计结果进行叙事创作,在反复调整后,最终获得空间叙事的综合设计成果。

实施效果:

更多的受控空间类型,满足不同主题需求:在传统的空间叙事实践中,受时间、地点、资金、技术的影响,无法全方位为学生提供剧场创作中所需要的各种类型场景,采用虚拟仿真实验,仿真各种类型的空间类型,并完全控制约束条件,固化空间条件,可大大丰富学生可使用的场景。
更切实的时代特征,提高虚拟空间叙事设计能力:在数字化时代,虚拟空间是不可忽视的现代主要空间类型,传统的空间叙事主要面向现实的、物理的空间进行设计,其学理与经验无法直接应用于虚拟空间的叙事设计,采用虚拟仿真实验,能够实现在虚拟平台使用虚拟构建设计虚拟空间的目的。
更少的技术壁垒,大幅度提高实验效率:混合现实创作中,对不理想的着色器效果、视觉特效、动态序列的重复搭建需耗费大量时间与精力,通过虚拟仿真实验,可以即时观察到空间叙事设计效果。
更好的在线自助学习,有效提升设计的想象力:学生不再受到技术与时间的限制,可以对其个性化的设计进行多种表现手法的反复实验,可确保混合现实呈现的宏观度与精准度,避免出现在传统空间叙事教学中因为技术壁垒而产生的形式困境,有效提升设计的想象力。

更综合的多模态思维能力,就业创业必要手段:当下设计4.0时代,以体验为核心材料的设计是主流设计手法,混合现实创作是艺术与科技专业学生在这个情境下所必备的一项技能,如何同时教授现实空间与虚拟空间的叙事创作一直是本课程教学中的难点,本虚拟仿真实验对学生的审美能力、技术风险控制、混合现实设计效率等方面均具有较大的促进作用。
实验方法与步骤要求
(学生交互性操作步骤应不少于10步)
实验方法描述:
  • 分为理论教学与叙事实操训练,理论部分主要讲授空间叙事学的基本理论与空间融合技术中的媒介类别;叙事实操训练则通过一系列递进式维度训练学生的多模态叙事能力,摆脱技术的限制,展开持续性的开放式空间叙事实训。
    基本的实验操作方法如下:

    1. 登录开放式虚拟仿真实验平台,进入虚拟仿真操作,选择空间写作模块,对任务空间进行文字描绘,并以平面图的形式将其视觉化;
    2. 进入虚拟仿真操作,选择交互文本模块,根据空间写作结果与主题要求,创作故事曲线以及相应对话内容并提交;
    3. 进入虚拟仿真操作,选择数字内容创作,根据空间写作与虚拟仿真结果,通过数字内容创作的一系列基本要素:图像、颜色、语言、批判,解构探索熟悉的或日常的空间、情境与故事,创作出虚拟事件,并上传平台;
    4. 进入虚拟仿真操作,选择现实空间设计模块,选择理论学习,从列表中点击不同知识点,观看演示视频进行学习空间叙事设计的理论学习。完成系统给出的选择题测试,根据批改情况可选择向教师答疑或返回理论学习列表进行复习;
    5. 进入虚拟仿真操作,选择现实空间设计实训模块,根据空间写作结果创作现实空间布局,如增加台阶等;
    6. 给根据修改空间的基础全局自然光参数并设计其他布光;
    7. 调整现实空间基本色调,根据空间写作结果,修改材质参数;
    8. 激活第一人称视角模式,对初步完成的空间进行沉浸式体验,记录问题;
    9. 返回第三人称视角模式,对所记录的问题进行二次调整;
    10. 重复第8步与第9步直至确保无误;
    11. 进入虚拟仿真操作,选择虚拟空间设计实训模块,根据交互文本结果创作虚拟空间布局,如增加门等;
    12. 调整虚拟空间基本色调,根据交互文本结果,修改材质参数;
    13. 激活第一人称视角模式,对初步完成的空间进行沉浸式体验,记录问题;
    14. 返回第三人称视角模式,对所记录的问题进行二次调整;
    15. 重复第13步与第14步直至确保无误;
    16. 完成设计报告,提交实验结果。
学生交互性操作步骤说明:

1)童年记忆:空间写作文本创作
实验要求:根据自己的童年经历,选取某一印象深刻的瞬间,将所有记得的细节尽可能地写下。随着回忆的深入,扩展正在描写的空间的阀限,让这段回忆中的人物、事件、场所层层显现。

2)记忆宫殿:空间写作平面图创作
为空间写作文本创作中所得出的空间命名,记录下门的数量与位置,最后以平面图的形式描绘出这个空间以及与它相连接的其他空间,并上传平面图。
  

3)虚幻向导:交互文本
实验要求:根据空间写作结果,在故事曲线上安插不同选择项来创作发生在此现实空间的神话故事,使之具有推动观众在空间中前进的作用。

4)事件营造:数字内容创作
实验内容:根据空间写作与虚拟仿真结果,通过数字内容创作的一系列基本要素:图像、颜色、语言、批判,解构探索熟悉的或日常的空间、情境与故事,创作出虚拟事件,并上传平台。

5)现实空间设计
实验内容:根据空间写作的结果,充分考虑空间设计的8大要素:尺度、植物、比率、照明、装修、材料、色彩、质感,营造出与既定空间的情境相符合的环境与空间关系。

6)虚拟空间设计
实验内容:根据交互文本的结果,考虑动线设计、声音设计、交互设计等,创造出能够符合增强现实技术特点的,同时具有沉浸感的混合现实空间。

7)沉浸式剧场设计
实验内容:调整场景的基础全局自然光,呈现不同的时间,依据基本布光方式,设计主要的环境布光,营造空间的立体感。通过沉浸式体验,发现空间不足,并进行反复优化直至满意。

8)交互文本应用搭建
实验内容:根据交互内容创作结果,从虚拟仿真平台中获取软件开发工具包,将对话内容游戏化,实现文本的可交互性。

9)增强现实搭建
实验内容:学习增强现实的三种方向:图像识别、物体识别与空间识别,掌握增强现实的基本实践能力,将虚拟环境中的情节与现实世界中的物理体验相结合。

10)混合现实搭建
实验内容:将虚拟环境中的体验与现实世界中与体验相关的物理反馈相结合,通过使用沉浸式环境技术与增强现实技术创造物理和虚拟之间的流动性,实现在一个统一的空间中进行各种真实和虚拟的无缝互动和移动。最后完成基于增强现实技术的空间叙事作品,面向未来可能出现的基于时间的交互媒介环境。

实验结果与结论要求
  • 是否记录每步实验结果:是
  • 实验结果与结论要求:实验报告
  • 其他描述:要求提交符合教师给出的空间任务与主题设定的空间平面图与数字内容创作作品,并在设计报告中根据叙事内容叙述如何组合应用不同媒介与空间,结合所设计的空间,完成叙事表现,从而创立有效的空间叙事作品。
考核要求
  1. 学习态度占总成绩10%
    考核内容包括:理论学习完成学时、线上提问率、线下到课率、实验操作步骤完成度等。
  2. 理论水平占总成绩10%
    考核内容包括:理论测试完成时长、理论测试正确率等。
  3. 阶段性实践占总成绩20&
    考核内容包括:混合现实空间叙事设计的综合系统性、叙事有效性、方案完成度等。
  4. 最终作业占总成绩50%
    考核内容包括:要求理论与实践相结合,将前期所学基础知识在设计过程中应用起来。重点掌握界面设计的视觉表现,强调形式与功能的统一。在设计过程中发现问题,解决问题,兼顾学术价值与社会价值。
面向学生要求
专业与年级要求

该实验项目可作为试听语言、空间叙事等课程理论教学的配套实验课,根据各学校不同专业的课程进度安排,适合艺术与科技相关专业本科二年级及以上的学生。

基本知识和能力要求
  1. Unity操作基础;
  2. C#语言与逻辑基础;
  3. 增强现实概念与原理;
  4. 视听语言基础;
  5. 剧本写作基础;
实验项目应用及共享情况
  • 本校上线时间 :       2020.04
  • 已服务过的本校学生人数:50
  • 是否纳入到教学计划: 是
  • 是否面向社会提供服务:否