谷歌发布会上让游戏秒换画风的新技术究竟是什么？

机器学习助力开发者快速选择游戏艺术风格。

      今日凌晨的谷歌 Stadia 云游戏平台发布会上，《Rime》开发商负责人登台谈到了他们在游戏开发中美术风格的确定是最耗时间的步骤。因为定下美术风格，也就定下了游戏的整体基调，所以这一阶段是重中之重。而谷歌在发布会上公布的名为「Style Transfer ML」的人工智能技术，就可为这一阶段的游戏制作提供巨大的帮助。

      技术人员能创造出富有美学气息的单幅图片，但在动画或电影中一帧帧动起来后，美术基调有时候会变得不连续统一。比如前一帧画面的颜色、材质、滤镜等特征在下一帧就可能会消失，导致视频出现令人不快的闪烁。以往的技术解决方法需要运算资源来做出实时交互，但这在现代屏幕分辨率下，比如 1080p，是做不到的。

      Style Transfer ML 是将一张画面的艺术风格与另一张画面相互结合来产生新画面的处理方式。这种机器学习算法已经过大量开源代码的研究和检验。首先，开发人员可以先去掉一些 GPU 运算效率不高的模型，以此来达到非常高的帧数进行检验。剩下的简单模型仍然可以用于表现各种艺术风格，然后再增加中等效率的模型，直到画面质量不再提升。

       为了增强连续帧数之间的稳定性，谷歌在模型中使用了额外的基于像素点光线流（optical flow）预测的损失函数（loss function）。通过训练模型来强化游戏运行时的特征稳定性。

       为了让这种风格变换能在不动源代码的前提下运用到所有游戏中，谷歌打造了一系列参数化的 Vulkan 后处理着色器。通过 TensorFlow 模型训练得出的用于着色器的文件仅仅只有512KB左右的大小，而着色器能在游戏串流中实时运行。开发者也能通过 runtime 运行时对其进行调整。

      实际演示中我们可以看到画面左下角是游戏美术所想采用的画面风格，通过 Style Transfer ML 就能够以非常高效的方式在游戏中将相应的材质、光线、模型等神韵尽可能还原出来，大大加速了游戏艺术风格确定阶段的项目迭代速度。同时这个实时艺术风格转换处理也能用于全新形式的游戏交互方式，比如游戏过程中艺术风格的变化、玩家可定制化艺术风格、风格随着用户生成内容的产生而产生等等。

      谷歌在台上展示的 Demo 场景并非专门为了展示这个算法而制作的，任何开发者可以通过虚幻引擎市场获得这个 Demo。

      谷歌希望这个原型能够激发开发者更多的灵感。也许有一天，游戏画面的风格变换会随着玩家心情的变化而变化，又或者组成游戏世界的各个部分都能够有自己的独特艺术风格。总之，谷歌的这套机器学习成果的确能够为游戏开发者带来切实的好处。

附：

Style Transfer ML源代码：地址

Style Transfer ML研究论文：地址

来源：Stadia