海思 | XR技术：数字世界新入口

XR指VR/AR/MR等相关技术，他们是下一代体验革命和计算平台、是数字世界和物理世界融合的进阶，是算力、联接和显示的革命性升级。XR不仅是显示的变革，还是人机交互方式的革命，将在今年内开启一个数百亿美金的新市场空间。

VR技术（Virtual Reality），即虚拟现实技术，指利用计算机等现代科技对现实世界进行虚拟化再造，用户可以即时、没有限制地与三维空间内的事物进行交互，仿佛身历其境。VR强调了在虚拟系统中的人的主导作用。从过去人只能从电脑系统的外部去观测处理的结果，到人能够沉浸到电脑系统所创建的环境中，从过去人只能通过键盘、鼠标与计算环境中的单维数字信息发生作用，到人能够用多种传感器与多维信息的环境发生交互作用。

得益于VR的应用，未来观赏型的内容大都不必亲临现场，例如在国庆70周年庆典，传播机构在长安街两侧设置VR机位，观众第一次可以通过VR来看阅兵，可以从长安街高点，从贴地的视角，或者从观礼台的角度来欣赏。VR也正在教育领域得到应用，有了VR后，偏远乡村的学生带上眼镜，就可以近距离学习澳大利亚的地理地貌，也可以穿越到人体中，学习血液在人体中的传输。这种体验极大提升学习兴趣，也正逐渐被应用到工程培训等领域。

AR技术（Augmented Reality），即增强现实技术，是一种融合真实场景和虚拟场景的信息的技术。AR眼镜是集合了显示技术、交互技术、传感技术、多媒体技术等，基于第一视角的交互方式，通过镜片将虚拟信息内容展示在用户的视场中，为用户提供增强现实的感官体验。相比VR，AR是一门更大的生意。经过几年的“用户培育”，AR不仅在休闲应用取得进展，更是进入了多种2B应用领域，例如安防、工业、旅游、医疗等。以工业领域为例，AR智能眼镜可以简化工业操作流程，通过远程辅助等方式提高工作效率。

MR技术（Mixed Reality）,即混合现实技术，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。它是VR与AR的进一步结合发展，这一技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，进一步增强用户体验的真实感。MR的出现突破了完全虚拟的VR技术局限，进一步拓展了人机交互的模式，相应的也拓展了更广泛意义上的商业运用空间。

目前XR终端产品体验欠佳

设备分辨率低：以VR为例，人眼能达到的理想分辨率大约为60PPD（每度像素数），一般支持4KP60解码能力的芯片能支持的单眼分辨率为21.3PPD，对应到电视只能等效于480P的电视显示效果，视觉上往往有明显的纱窗效应，还远远达不到让人感到舒适和沉浸式的效果。如果芯片能够升级到8KP120的硬解码能力，就可以支持两倍于主流VR的分辨率即单眼42.7PDD，极大提升了用户视觉体验，更舒适而且不易疲劳。

眩晕感：影响用户沉浸体验，有25% 的消费者认为眩晕感是他们购买设备的主要阻碍。而CPU处理性能不足造成的延迟是眩晕感的主要原因之一：延迟引起视觉接受的信息和身体感知的信息不对称，导致用户视觉与其他感官通道冲突，整体感受紊乱，从而产生眩晕感。

芯片强大的NPU算力支持，保证良好体验

基于NPU智能场景识别是AR的基本功能，场景识别需要从图像采集、分析、上传到显示，耗时越短，速度越快，用户体验越好，其中分析阶段是整条链路中耗时最长的一环，想要做到每分钟上百个人脸、车牌在毫秒级内同时完成分析识别，就需要芯片具备强大的NPU算力支持。云端AR/VR对传输带宽和时延有极高的要求，根据华为X-Labs相关白皮书，要保证良好的体验，需要数百M到数Gbps的带宽和毫秒级时延，传统4G和WiFi难以满足要求，因此WiFi-6和5G将是更理想的选择。

XR(VR/AR/MR）完整解决方案

海思提供XR(VR/AR/MR）完整解决方案，包括计算处理（AP）、显示、视觉、连接等解决方案组件和整体解决方案：
高性能计算：

海思芯片具备独立的海思专有架构NPU，提供高达9TOPS的充沛的AI算力
海思芯片支持8核高性能A73处理器，支持高速计算，避免延时的产生
超高清显示：

4K超高清低延时编码，支持XR远程沉浸式视频会议及远程协助应用
支持AI PQ增强
支持XR音频和音效处理
低功耗智慧感知：

低功耗AI视觉方案，人/物识别检测、跟踪，AI 视觉增强。
智能语音解决方案
SLAM/6DOF应用
高速低时延联接：

低延时图传，支持云VR应用和短距无线图传应用
高速、低延时连接解决方案(5G/WIFI6)

总之，我们认为XR产品(VR\AR\MR)会是后续世界的新入口，能够更好地实现数字世界和现实世界的连接、映射和增强。XR产品后续会在近眼显示效果、交互体验、端到端延迟以及佩戴舒适性上持续提升。海思芯片支持4K/6K/8K超高清解码显示，支持120°大视野FOV(视场角)，还做了AI实时画质增强，带来沉浸式近眼显示体验；在交互上，海思芯片内置高性能算力模块，并集成SLAM、即时渲染等算法，给消费者提供流畅自然的交互感官；并通过5G/WiFi6等高速传输技术，有效降低传输时延，芯片全面提升集成度，降低功耗，降低整机产品重量，保证佩戴便捷舒适。

来源：上海海思