一、 背景介绍

以快手、抖音、微视为代表的APP已是当下最流行的移动应用，而直播、短视频的特效玩法更是为广大网民所喜爱与熟知。但是由于移动应用包体大小以及移动设备算力的限制，移动端无法集成并应用强大的商用渲染引擎，无法承接大机器学习模型，从而导致无法在移动端实现特别复杂精细的特效玩法。

近年来，GPU在架构与产品上的不断迭代，使得机器学习模型、高精图像与复杂特效的渲染变得越来越快。5G与wifi6技术的不断成熟，让音视频为主的流媒体能够在移动网络上更加实时的传输。尽管边缘计算技术的发展让用户与算力之间的物理距离越来越近，但是算力的发展速度远低于云端。

基于以上背景，腾讯结合直播业务场景需求，立项了实时云渲染专项项目，旨在通过高速网络将用户在客户端采集的视频画面实时传往就近的服务端，再利用服务端GPU算力进行云端的算法识别、形象驱动和3D渲染，最终回传客户端显示，实现基于云端渲染的虚拟直播。

二、 项目介绍

       基于云渲染的虚拟直播业务，通过引入游戏中的unreal游戏引擎和云渲染集群，把3D虚拟场景、虚拟人、物品实时渲染到同一个画面，再基于算法识别或动作捕捉设备，驱动虚拟人的肢体动作、表情、手势，实现由中之人实时带动虚拟人表演的直播效果。该技术方案，可以适用于电商直播虚拟带货、IP场景融入式直播、数字艺人、沉浸式互动直播等较多场景，为用户提供更优质的视觉效果。

       在技术上，腾讯自研的这套方案有如下的创新点和先进性：

       1- 相比业界主流的本地渲染技术，团队积极探索了行业前沿的云端渲染方案，本方案有效克服了终端硬件性能的限制，同时可以实现轻量化的升级更新，为未来更好的产品效果和升级扩展留下足够空间。

       2- 通过自研的云端抠像技术、视频AI全身驱动算法，实现真人和虚拟形象在虚拟场景中的高质量呈现和低成本的实时驱动；基于自研的云端运镜技术，通过虚实多机位跟踪，可以做到依赖算法自动运镜。

       3- 基于互动网关，实现了直播弹幕、礼物跟虚拟内容的实时交互，为探索新的直播互动形式奠定了基础。

                                             基于普通摄像头的形象AI驱动                    弹幕触发场景“下雪”              实时多机位和运镜切换

在产品上，致力于打造下一代的沉浸式互动化直播服务平台。

       目前团队计划以电商直播、演唱会、动漫等业务切入，针对B端客户提供软硬件结合的虚拟直播解决方案，相较于欧美主流厂商面向电视专业领域的“重”系统方案，团队利用实时云端渲染等技术手段降低使用门槛，推出高品质、轻量化、低成本的直播产品，把虚拟制作应用在更广泛的领域。

       今年12月15日首次落地的电商虚拟直播中，当天直播的转粉率是日常的2倍，在线观看时长，比日常直播高3倍，有效带动了业务数据的增长。   

       虚拟直播项目联合了腾讯内部多个跨部门团队，不但聚集了CV、AI 及三维引擎的算法工程师组成的技术团队，还同时组建了3D建模和美术特效团队，通过技术和内容团队相互合作和创意碰撞，研发出符合业务需要，解决行业痛点的服务和产品。

       未来，针对C端用户，团队希望利用服务B端客户积累的技术和经验优势，通过软件+SASS内容服务切入，打造无绿幕+手机+云+5G，建设消费级的虚拟直播产品方案。