扩展现实技术（Extended Reality，简称XR），是虚拟现实（Virtual Reality，简称VR）、增强现实（Augmented Reality，简称AR）和混合现实（Mixed Reality，简称MR）这3种技术以及其他类似沉浸式技术的统称，其创新应用在传统行业及数字化领域均有广阔的发展前景。

近年来，在我国航天员训练中，虚拟现实技术及混合现实技术也得到应用。

虚拟现实技术应用到航天领域时，能够突破物理环境限制，在地面条件下逼真模拟失重环境下三维太空作业场景，快速构建各种应急场景，实现地面难以模拟的失重运动操作，有效弥补实物、半实物等地面训练设备的不足，可作为实物训练方式的补充。

空间站任务中，为了满足航天员在多舱段空间站内导航训练和操作训练任务不断多样化的需求，科研人员开发了一套虚拟现实仿真训练系统，为航天员训练带来了新的体验和超越传统地面模拟设备的可能性。

舱外航天员佩戴虚拟现实头盔(已集成耳麦)和手持手柄，实现虚拟场景的观察和交互操作。

舱外活动虚拟场景由虚拟现实仿真软件生成，包括空间站及舱外作业设备、机械臂、地球、星空和虚拟航天员等，虚拟场景中空间站的飞行数据、飞行轨道、飞行姿态、帆板转动角度、机械臂运动等数据由工程数据仿真提供。

为逼真模拟航天员舱外作业过程中听觉，由虚拟现实仿真软件实现舱外服风机噪声、报警声等模拟，并实现训练时教员与航天员之间通话传输，或任务演练时地面指挥、机械臂操作者和出舱航天员之间通话传输。由视频、通话系统实现音视频的传输。

神舟十五号航天员开展乘组虚拟现实训练

虚拟现实仿真软件根据虚拟现实头盔和手柄的跟踪数据，为每名虚拟现实头盔佩戴者实时生成各自第一视点图像，包括航天员1VR视角、航天员2VR视角和辅教VR视角；为方便在显示器上任意视角观察三维场景，由虚拟现实仿真软件生成一个辅教第三视角图像，通过鼠标键盘控制视点位置和观察方向。

神舟十二号航天员开展乘组虚拟现实训练

舱内航天员使用机械臂操作台对机械臂监视和操作，该设备与虚拟现实训练系统通过网络实现远距离数据、语音和视频互联。整个训练过程统一由训练控制软件实现过程控制，包括训练开始、训练结束等，并把相关训练数据存储到训练系统数据库中。

神舟十五号航天员开展乘组虚拟现实训练

神舟十六号航天员开展乘组虚拟现实训练

基于虚拟现实技术，以人的感知为焦点，面向航天员训练研发了一种多人协同虚拟现实训练系统，突破了逼真的三维场景渲染、安全绳/安全带交互操作仿真、多人协同操作仿真等技术。

安装扩展泵组(左：在轨图像，右：仿真图像)

此训练系统基于空间站及舱外作业工程状态和操作流程，创建了逼真的舱外作业三维场景，开发了舱外作业工具/设备的逼真交互操作仿真系统，实现了虚拟现实训练系统首次在航天员舱外作业训练的成功应用。

神舟十五号航天员开展乘组虚拟现实训练

神舟十六号航天员开展乘组虚拟现实训练

虚拟现实训练系统在应用于舱外作业方面是目前模拟任务要素全面、训练代价小、多人参与的地面模拟设备，不仅在航天员训练上发挥关键作用，在机械臂联合演练、舱外协同指挥程序演练和舱外操作工效综合评价等工程验证方面也发挥了重要作用。

众所周知，Unity与VR开发之间存在着紧密的关系，‌Unity作为一款强大的跨平台游戏开发引擎，‌被广泛应用于虚拟现实应用的开发中。‌

Unity提供了对虚拟现实（‌VR）‌开发的全面支持，‌允许开发者直接从Unity中针对虚拟现实设备进行开发，‌而无需任何外部插件。‌这种支持包括基本API和功能集，‌兼容多种设备，‌并且设计上考虑到了未来的设备和软件的兼容性。‌Unity的这一特性使得它成为VR开发的首选引擎之一。‌

在Unity中进行VR开发时，‌摄像机处理是一个重要的环节。‌

Unity使用头部跟踪姿势对摄像机变换进行覆盖，‌通过将其附加为另一个游戏对象的子游戏对象，‌可以实现摄像机的移动或旋转。‌这种处理方式使得摄像机的位置和方向能够根据用户的头部动作进行实时调整，‌从而提供更加沉浸式的体验。‌

此外，‌Unity还支持通过脚本对摄像机进行编程控制，‌进一步增加了开发的灵活性和可能性。‌

Unity的跨平台支持是其另一个显著优势，‌它支持将应用程序部署到包括PC、‌移动设备、‌VR设备等多个平台。‌这种跨平台兼容性使得开发者能够轻松地将他们的VR应用发布到不同的设备上，‌从而扩大用户基础并提高应用的可见度。‌

此外，‌Unity还提供了强大的图形渲染能力和丰富的资源库，‌包括物理引擎和大量的免费及付费资源，‌这些都极大地简化了高质量VR内容的创建过程。‌

这些功能使得Unity成为虚拟现实应用开发中的理想选择，‌无论是对于初学者还是经验丰富的开发者来说，‌都能够提供高效且高质量的开发体验。