摘要：目前直播技术广泛应用在各行各业。受限于带宽和硬件设备等要素，移动全景直播尚未广泛应用。随着5G技术的发展，移动全景视频直播可以成为现实。本文提出一种可实现的基于5G技术的移动全景视频直播系统设计，提出了各模块之间的实现方式。在该系统中，采用集成式移动全景摄像机作为前端视频采集硬件模块，使用5G安卓手机作为前端视频采集上位机，通过5G网络推流至云直播服务中端，在后端播放端采用基于Web的全景渲染技术进行全景视频播放。
关键字：5G; 全景摄像;视频直播;系统设计
0 引言
目前直播技术广泛应用在各行各业，包括安防监控系统、直播娱乐平台、移动社交、教育信息化等领域[1]。目前广泛应用的视频直播系统，在前端视频采集端一般采用单个窄角摄像机，使用4G、Wifi或者有线网络等传输通道，进行视频流推流，视频分辨率普遍在1080P以内。在一些特殊的应用场景，例如安防监控等，需要广角或360度全景观察时，传统的实现方式则为借助远程可操控的云台。然而远程端操作云台具有响应迟延、不能同一时刻观察所有角度、只能固定式安装等弊端，在使用上仍有缺陷[2]。
5G移动网络的发展为大码流、高清晰、全场景式的视频直播提供了技术基础[3]。为实现移动全景视频直播，本文提出基于5G和移动全景摄像机的解决方案和系统设计。该系统设计中，采用集成式的移动全景摄像机为前端视频采集硬件模块，通过5G安卓手机作为上位机将视频数据推流至云直播平台。在播放端，采用基于Web的全景渲染技术进行全景视频播放。实际应用的效果表明，该设计能够实现移动式的全景视频直播，效果良好。
1 总体架构设计
总体架构设计如图1所示。整个系统划分为移动前端推流子系统、直播云服务系统、后端全景渲染子系统三部分。其中，移动前端推流子系统作为视频数据采集端，提供视频流推流功能，其目的为将全景视频数据通过5G推流至直播云系统。直播云服务系统为服务中端，接受前端子系统的视频推流，以及后端子系统的视频拉流。后端全景渲染子系统作为直播的观看端，采用全景渲染技术进行全景实时播放。
2 移动前端推流子系统
移动前端推流子系统需要解决移动性、全景视频流、视频分辨率、推流方式、推流带宽等核心问题，主要由集成式移动全景摄像机、安卓上位机构成。
2.1 集成式移动全景摄像机
传统用于直播的民用摄像机一般为单镜头，且镜头视场角较窄。以手机摄像头为例，视场角一般为40°至60°。工业级的全景摄像机通常采用6个以上窄角摄像头，以环绕方式布设，多个摄像头同时拍摄，然后
.png)
图1 系统整体架构设计
在硬件和软件层次上进行视频合成，得到全景画幅。工业级全景摄像机体积大、移动性差、功耗大，常见于街景拍摄车等应用场景。集成式移动全景摄像机是一种新型的摄像机设备。它采用2个180°的广角摄像头，分别在前后以贴片的方式集成在一个设备上即可完成360°全景的拍摄。采用锂电池供电，功耗较低，具有体积小的优势。集成式移动全景摄像机支持4K及以上的视频流采集，因此能满足移动性、全景视频流和视频分辨率的基本要求。
2.2 安卓上位机设计
安卓上位机需要考虑直播流获取和直播协议支持。通过集成式移动全景摄像机的SDK，可以实时获取摄像机的全景视频画幅和流数据。目前主流的直播协议包括：RTMP协议、HLS协议、HTTP-FLV协议。其中，RTMP协议（Real Time Messaging Protocol，实时消息传输协议）是一种基于TCP层设计的用来进行实时数据通信的网络协议，具有实时性高的标准协议。因此，本系统采用RTMP协议进行推流，由安卓上位机实现RTMP推流模块，并向目标视频云服务推流。
2.3 5G网络
由于全景视频流在同一时间录制了360°的画面，因此带来了视频流数据量的增长，需要较高码率的支撑。根据实际测试，全景视频流的分辨率至少需要4K以上，才能保证画面清晰度，因此带来了上传带宽的更高要求，4G移动网络带宽难以满足需求。根据理论和经验计算，在采用H264压缩标准下，上传带宽至少需要6Mbps才能满足较好画质的4K视频流推流。5G网络可以大幅提升视频上传的带宽。在信号好的地区，5G网络和5G手机足以满足带宽上的要求。采用5G技术实施推流，是本系统设计的核心与关键。
3 直播云服务系统
直播云服务系统作为中端服务系统，接受视频上传端的推流和视频播放端的拉流。直播云服务系统的搭建包括两种方式，一是采用自建私有云服务，通过Nginx服务，结合Nginx的RTMP协议插件，实现视频流的中转；二是采用公有云的视频云服务，通过SDK接入公有云，借助公有云完成直播云服务系统。在二者的选择上，应当考虑实际应用场景的需求。公有云提供了CDN等更多的支撑服务，有助于实现更快更稳定的推拉流服务。
4 后端全景渲染子系统
后端全景渲染子系统用于全景视频画面的还原与动态渲染。全景视频画面的构成方式主要包括三种：（1）单目全景画面；（2）上下式双目立体画面；（3）左右式双目立体画面。其中，上下式和左右式双目立体画面均会将整个全景画面划分为两个可视区域，通过可视区域的组合形成双目视觉形成立体感。单目全景画面是将360°采集到的画面信息按一定规则放在同一个画面上，画面左右两侧、上下两侧可无缝对接构成画面的拼接。画面经过还原操作，可以构成以相机为中心视角的球状平面，即整个平面可以投影至球体，达到全景画面的效果。动态渲染基于视频流的解析，实时投影至该渲染球体，从而达到全景视频直播的效果。为实现在Web上进行观看，本系统采用基于Canvas和WebGL的全景解析渲染技术，将视频流实时动态地解析到Canvas组件中，并在Canvas中维护渲染球体的视觉映射。添加相应的鼠标操作，完成全景播放效果。由于所有角度的画面数据已经到达了渲染终端，实时在观看任何角度时基本无延时。
5 总结与展望
本系统设计采用insta360移动全景摄像机、小米10安卓手机、腾讯直播云以及开源框架babylon进行了实例验证，结果表明该系统设计可行，结构合理，能够满足移动式的全景视频直播和观看需求，且直播效果良好，相比云台式的全景直播系统具有无时延的巨大优势。未来展望中，可以结合佩戴式头盔等设备实现VR全景直播，进一步扩展系统功能。
参考文献
[1] 王永斌,魏燕.移动高清视频直播系统在高职院校应用优势研究[J].价值工程,2019,38(34):191-193.
[2] 刘进进,吴辉,叶伟.基于摄像机云台控制系统的应用研究[J].工业控制计算机,2019,32(04):127-128.
[3] 贺海玉.基于5G技术的移动视频直播系统设计及应用[J].电视技术,2019,43(Z2):62-64+69.