包含标签:闪回技术 的文章
-
微软研究院的新技术让高质量VR不再高端
所以,如何将高质量的 VR 搬到低性能的设备上成为了众多科技公司们的研究课题,而微软研究院公布了一种名为“闪回”(FlashBack)的技术,似乎给我们提供的一种解决方法。 从娱乐到教育,再到社交和色情,VR 各个领域都有很大的发展潜力。但是目前为止,现有的 VR 设备仍旧受限于显卡的能力,高质量的画面就必须要强大的显卡在后面的支撑。 比如 Oculus Rift 和 HTC Vive 都提供了高保真、低延迟的虚拟环境,但是需要性能强劲的的 PC 来驱动大量屏幕像素来创建它。这些第一代设备的价格本来就很不便宜了,但是他们还要求一台比自身更贵的 PC 支撑。与此同时,谷歌纸盒和三星 Gear VR 这类就亲民很多,但又他们的图像质量又是另外一回事了。此外,即便头盔自身价格可以足够低廉,但高端智能手机也并非大众所拥有。 所以,如何将高质量的 VR 搬到低性能的设备上成为了众多科技公司们的研究课题,而微软研究院公布了一种名为“闪回”(FlashBack)的技术,似乎给我们提供的一种解决方法。 这个命名为“闪回”(Flashback)的系统在智能手机上实现了相比传统方法8倍的帧率提升,97倍的功耗降低以及15倍的延迟降低。其本质上通过消除设备所渲染的虚拟环境的实时帧画面来工作。 换句话说,它将GPU性能释放,取而代之的是缓存中的预渲染帧画面,能根据使用者的动作来进行显示。从设备的运作方式来看,跟你在看360度全景视频类似。当然这是个极度简化的解释,因为“闪回”系统甚至能运用在动态物体方面,比如 VR 世界里的正在移动的汽车,闪回会将汽车的显示数据完全预渲染出一个“超级帧”(mega-frames),同时根据使用者的位置来决定显示出正确的帧画面。▲图为“超级帧”的运作方式,帧缓存的数据被分割为无数个3D空间坐标系中的索引链,根据当前视角的方位数据来决定调用哪一部分 “闪回”同时还在设备 GPU 的显存/内存或者SSD/闪存中对“超级帧”进行压缩和存储。这些帧画面仅仅在将要显示在屏幕上时,才会在显存中进行解压缩。这就使得即便是庞大的 VR 环境也能有效地缓存到智能手机中,而且不会耗尽存储资源。打个比方,一个4K解码材质需要8MB的存储空间,但是通过“闪回”压缩到闪存或者内存中时只要100KB。 这样的压缩率(未来还有优化的空间),可以让 VR 应用在设备上预载自己的整个环境。这让我们可以通过网络实时加载 VR 的帧画面,最差的情况下,也可以直接在设备上进行预渲染,只不过这样会花很长的运算时间。目前“闪回”依然只是一个原型,同时也有着很多限制,目前最大的问题就是无法在相同时间内显示大量的动态物体。但依旧可以期待未来它的实际应用。 研究员在低端的HP Pavilion Mini PC配上Oculus Rift DK2的平台上展示了“闪回”系统所带来的提升。 研究论文地址:http://www.owlnet.rice.edu/~kevinaboos/docs/flashback_mobisys2016.pdf