电子发烧友网

电脑版
提示:原网页已由神马搜索转码, 内容由www.elecfans.com提供.
会员中心
创作中心
发布

比Vision Pro还强?空间计算新品频出,2D内容空间化,VST 14ms低延迟

Monika观察来源:电子发烧友作者:莫婷婷2024-07-04 00:093253次阅读

电子发烧友网报道(文/莫婷婷)2023年,苹果发布Vision Pro,带火了“空间计算”一词。无独有偶,AR智能眼镜也有了自己的“空间计算”。当然,不仅仅是AR智能眼镜,MR头显市场或许也能在Vision Pro的影响下,迎来新的发展格局。


行业进入空间计算机市场爆发前夕
那么,什么是空间计算?空间计算利用空间感知和环境感知技术,将数字信息与物理空间相结合,创造出一种与现实世界更加融合的交互体验。在三维的世界里,用户可以感受到沉浸式的体验。

业内人士认为,移动互联网的下半场,正是空间计算机的上半场。在空间计算时代,信息的载体也从以往的智能手机转向空间计算设备,包括具备空间计算能力的MR、VR、AR设备。

在MR、VR、AR设备中,未来会如何发展呢?在前期的发展阶段,XR市场玩家多元化,没有统一的技术路径,整个行业属于百家争鸣的局面。当前业内有两种不同的技术路径,一是首先是满足功能和性能,然后再往轻便的方向发展。二是首先选择轻便,再往满足功能和性能的方向发展。

玩出梦想科技创始人黄锋认为,空间计算不可能是个三角,难以同时满足功能、性能、舒适性这三个条件。这也很容易理解,就连Vision Pro也仅仅只是实现了功能和性能这两个条件,由于在设备上集成了CPU、摄像头、传感器、高清显示屏等多个先进元器件,在舒适性上还不能完成达到100分。

XR市场经过近几年快速的发展,处理器光学显示、传感器、通信等关键技术都得到了快速发展,业内人士认为,行业正处于空间计算机市场爆发前夕,正由“真实视觉体验和MR”向“全面沉浸和可穿戴”过渡阶段,后者将在2027年到来,到2037年进入空间计算与机器人融合阶段。


基于VST、OST技术路径,MR、AR品牌推出空间计算新品
当前,不管是MR头显市场还是AR智能眼镜市场,都迎来了各自的空间计算产品,包括玩出梦想MR,Rokid AR Lite,XREAL Beam Pro。这三大产品都有各自的特点以及技术优势。

当前,空间计算的产品路线包括VST(视频透视)、 OST(光学透视)两种。VST是以苹果为代表的,依赖于摄像头等传感器和芯片,通过计算机图像技术呈现出来。OST是以Rokid等厂商为代表的路线,直接通过放置在眼前的半透明光学合成器看到的,再将数字内容叠加在物理世界来实现空间计算体验。

这两种产品路线各有优劣势。财通证券研究所的数据指出,VST虚实亮度易匹配,且虚实匹配一致,FOV在90°-120°之间,因为存在多方优势是当前空间计算的主流方案。而OST一般用于AR智能眼镜,在亮度、分辨率等方面具有优势,不过OST受限于光学技术,随着技术的发展,有望成为下一代的主流方案。

摄像头是VST的核心硬件。从玩出梦想的官方介绍来看,玩出梦想MR通过搭载了11颗摄像头、7 类传感器、22颗红外补光灯为空间计算效果的实现打下基础。那么,玩出梦想MR是如何打造空间计算的沉浸式体验呢?

首先从产品形态来看,玩出梦想MR是最接近苹果Vision Pro的产品,官方在发布会上也将多项指标与Vision Pro进行对比。根据官方的介绍,在硬件上,玩出梦想MR搭载了高通骁龙XR2+ Gen2芯片,该芯片采用4nm制程,GPU性能提升2.5倍,AI性能表现提升8倍,GPU功耗比提升50%。

在感知单元,玩出梦想开发了3个基本模块:跟踪、绘图和视觉,增强了混合现实世界的多样性。用户可以体验混合现实应用程序、传统安卓应用程序和跨设备交互。此外,玩出梦想还开发了AI增强的发射器,使用户能够高效简洁地处理各种数字信息。

在跟踪模块上,玩出梦想MR前后累计搭载了11颗摄像头,22颗红外补光灯。通过多传感器融合+dToF,全面进行头部跟踪、手部跟踪。为了提高延迟和定位精度,玩出梦想开发了新算法,可以减少渲染延迟并执行精确的校准。头部跟踪的定位精度可以在20x10m的房间内达到亚厘米级,在直线场景中,头部跟踪的位置漂移率低于0.3%。针对手部追踪,玩出梦想MR引入了全新的手部运动大模型。

wKgaomaFI36Adyk8AAGm406SKNU628.png

不同于其他MR头显品牌,玩出梦想还提升了控制器跟踪算法的精度。同时,官方表示高精度的眼动追踪是该产品的标配。公司还在研究使用眼动追踪数据来解决瞳孔摆动问题,以增强视觉体验。

实现高质量的视觉体验对于MR至关重要,因此视觉模块要确保在3D空间中准确呈现数字内容,包括亮度、颜色等。玩出梦想 MR 的光学显示方案采用双目 8K Micro-OLED+Pancake 的方案。在PPD、像素、PPI等性能上接近Vision Pro甚至超过Vision Pro。例如双目 2700 万像素,PPI为3882,中心区域 PPD 达 45。
wKgZomaFI4WAVOlZAAEvZQU2Re4511.png

游戏是MR头显的核心娱乐之一,而时延是考验MR设备或者是AR智能眼镜游戏体验的关键。在实现高清晰度的同时,玩出梦想MR做到了VST 14ms低延迟。

与玩出梦想MR的空间计算技术路线不同,XREAL 的Beam Pro承载了空间计算能力,能够将2D应用释放到3D空间,且支持手机全生态内容空间化。例如看电影时,可以在APP选好影片,再将Beam Pro连接XREAL Air系列眼镜中,就能实现在眼镜中观影。除了娱乐,Beam Pro同样能够用于视频会议等办公室场景。

wKgaomaFI5CACDAjAAVWDzroEvQ780.png
XREAL Beam Pro(图源:XREAL)

空间计算的核心是物理世界与虚拟世界的结合。XREAL为Beam Pro打造了3D拍摄的功能,加入双目立体校正算法,让拍摄主体和背景的融入更加自然。

Rokid的 AR Lite包括Rokid Max2眼镜和Rokid Station2主机,基于环境感知、空间定位、交互识别等技术能力,该产品能够用在多个场景中。在娱乐功能上,用户还能与虚拟角色进行互动。在设计领域,用户还能在虚拟环境中进行设计产品、原型制作等。

在看电影等需要投屏的功能时,Rokid AR Lite和XREAL Beam Pro都优化了防抖功能。例如Rokid AR Lite在巨幕模式下可以开启运动模式,实现逐帧追踪防抖。XREAL Beam Pro机身侧面设置了物理按键,可以一键切换3DoF悬停/云台防抖功能。

为了进入空间计算时代,MR设备厂商和AR设备厂商选择各自的技术路线,并在差异化的基础上推出自己的产品。在AR设备市场,XREAL选择以Beam Pro作为入口,打造了新的便携式空间娱乐计算设备。Rokid则持续升级 Station系列,赋能其更强大的空间计算能力。而对于沉寂多时的MR设备行业,苹果Vision Pro的出现,也给同行带来了新的灵感。可以期待的是,接下来会有更多厂商推出“空间计算”产品,整个行业也会更加热闹。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 2D
  • VisionPro
  • MR
  • Vision
  • VST
  • 空间计算
0人收藏

    评论

    发布评论请先 登录

    相关推荐

    苹果VisionPro空间计算头显获黑铅笔奖,出货或已调整

     据5月26日报道,苹果公司于去年WWDC展会上展示的空间计算头显VisionPro已于近日在美开售,售价高达3499美元(折合人民币约25368元)。
    05-27 14:16 260次阅读

    苹果拟增加VisionPro头显用户自拍空间视频功能

    外国科技媒体9to5Mac在最新版本的iOS 17.5 Beta 2中发现了名为“VPG Photos Retail Experience”的内部系统。该系统可让用户将个人拍摄的空间视频导入至苹果商店的Vision
    04-17 14:35 353次阅读

    iPhone15 Pro采用独特算法,创新空间视频拍摄体验

    此项拍摄空间视频功能只适用于iOS 17.2或更高版本的iPhone 15 Pro及iPhone 15 ProMax两款手机型号。用户可将这款全新的VR终端——Apple Vision
    04-16 10:45 389次阅读

    苹果VisionPro隐私保护限制制约创意空间

    据悉,VisionPro的开发者无法直接接触到摄像头数据,他们只能调用“周遭环境数据”。这项数据通过摄像头和激光雷达合成,构成三维环境模型。
    04-09 11:39 148次阅读

    苹果Apple VisionPro新增Beta版空间角色支持,支持至多5人协同

    据9to5mac透露,此新品功能将在今日稍后时间内对已安装visionOS 1.1及以上版本的苹果VisionPro客户上线。在进行FaceTime通话时,移动设备用户可选择启用空间
    04-03 11:26 212次阅读

    苹果VisionPro空间计算设备一月试用报告:重量分布不均,续航有待提升

     纽约州新泽西居民阿里什·赛义德·伊沙奇博士近期成为纽约市首批获得苹果新品空间计算设备VisionPro的消费者之一,并发表一篇专访,阐述
    03-04 16:48 520次阅读

    Dear Reality 发布 dearVR PRO2空间效果插件

    空间音频专家 Dear Reality 为其广受欢迎的 dearVR PRO空间效果插件推出了新一代产品 dearVR PRO2,添加了
    03-01 11:07 448次阅读

    gis空间分析包括哪些内容

    GIS(地理信息系统)空间分析是指通过使用GIS软件和方法,对地理空间数据进行处理、分析、建模和展示的过程。它结合了地理学、数学、计算机科学和统计学的原理和方法,在解决地理问题和支持决策过程中
    02-25 13:50 1180次阅读

    VisionPro发售只是开始,这两个问题才是决定行业成败的关键

    内容资源的价值。相信随着更多硬件设备的普及,ALVA 空间计算软件将迎来更加广阔的应用空间。 或许 Apple Vision
    02-22 13:53

    VisionPro有了,谁是空间计算时代的“安卓机皇”?

    • 苹果VisionPro的发售,为空间计算平台赋予完美定义:“VR+VST”的技术路线与不低于“8K”的视觉体验; • 以“Pimax
    02-04 18:43 211次阅读

    苹果VisionPro头显预售在即,传感器能否迎来新风口?

    时,并没有将其定义为“元宇宙”设备,而是提出了一个新的“空间计算”概念。通俗理解,空间计算的核心是将虚拟世界与现实空间进行融合,在XR(VR
    01-22 09:23 270次阅读

    利用搭载全域硬2DNoC的FPGA器件去完美实现智能所需的高带宽延迟计算

    在该FPGA器件的外围,这个硬2DNoC连接到所有高速接口:包括多个400G以太网、PCIe Gen5、GDDR6和DDR4/5端口。这使得Achronix的Speedster7t成为了业界第一款
    11-24 16:19 282次阅读

    Aqara秋季品鉴会众新品亮相 空间智能全面进化

    全新功能升级的场景传感器FP2,方舟技术升级至2.0版本。现场Aqara展示了三大空间智能解决方案,包含智慧适老空间、智慧商业空间及智慧节
    09-27 16:59 852次阅读

    智慧仓储:2D面板可视监控

    2D可视
    阿梨是苹果
    发布于 :2023年08月28日 09:38:04

    Rokid推出AR空间计算主机,搭载第一代骁龙XR2+平台

    今日,Rokid发布AR空间计算主机Station Pro(星站·空间版)。搭配AR眼镜Max Pro,围绕
    08-26 22:25 681次阅读

    Monika观察

    专栏
    734文章287.5w阅读58粉丝144点赞

    推荐专栏

    更多