cVideo云转码系统

背景

随着前端摄像机的清晰度不断提升，其码流和数据量成倍增长。然而一些终端的处理能力有限，无法支持高清的分辨率；或者需要用到公网传输，带宽无法满足高清的码流的需求等。视频转码是一个高运算负荷的过程，需要对输入的视频流进行全解码、视频过滤/图像处理、并且对输出格式进行全编码。由于视频转码计算量很大，单一的计算机不可能实现整个监控系统内的摄像头实时视频数据的转码。cVideo研发了云端转码技术，将视频转码计算放大云端，实现整个系统内的实时视频转码，以满足用户对不同分辨率，不同码流，不同终端的使用需求。

产品简介

视频云转码平台是云创大数据自主研发的基于云架构综合调度平台的视频处理软件，它可对现有视频文件按不同格式、分辨率等参数进行分布式转码，达到负载均衡、统一管理，任务分发等功能目标，操作简单便捷，存储性能可靠。

架构概述

    上图简要描述了cVideo的云端转码平台。用户可以将需要转码的任意格式、任意分辨率的视频文件存储到cStor存储服务器中，然后通过客户端的Web操作页面，根据需求提交转码请求，系统根据设定的切片数量，对源文件的大小和时间轴长度进行拆分转码任务。通过JobKeeper云调度系统，自动负载均衡，将其分发到相应的处理节点，待分布式的转码完成后，再进行中间结果文件的合并与时间轴重构，并将视频文件存放在cStor的指定位置。这些视频文件经过索引建立一一对应关系，在cProc云处理集群中进行数据处理，实现对视频文件的转码，并将结果保存在cStor存储服务器中。

cVideo云转码Web客户端界面如下所示：

cVideo云端转码平台构架

cVideo云端转码平台，是在服务器集群上部署一整套基于云架构的视频处理软件，包括接入层、处理层、资源层、调度控制模块。

    上图为简化的cVideo云转码平台框图，其核心内容是对各类视频文件的转码。基于云计算的模式，采取海量分布式JobKeeper云调度架构，以集群的形式共同对外服务。实现云端转码、动态伸缩、监控管理等需求。将转码好的视频文件保存于cStor存储服务器中，并给用户提供对应接口方便调用。

方案涉及技术分析

    根据以上方案架构，涉及到的具体技术包括了cVideo的云端转码技术、JobKeeper云调度方法、cProc云处理框架、以及cStor云存储技术。其中cVideo的云端转码技术负责实现视频文件的拆分、转码、合成等上述功能，而JobKeeper和cProc负责综合管理和统一调度，实现云内计算机的联动和各类保障，共同对外提供服务，cStor则负责提供高可靠的海量数据存储能力。

    随着前端摄像机的清晰度不断提升，其码流和数据量成倍增长。然而一些终端的处理能力有限，无法支持高清的分辨率；一些需要用到公网传输，带宽无法满足高清的码流的需求；还有一些需要将已有视频文件转化成不同格式的需求等。

    视频的编码格式主要的有MPEG、H264、DivX、WMA、RM等，封装格式主要有avi、ps、ts、mov、mkv、mpg等，而不同的播放器对格式的支持也不同，因此不同终端对视频流格式也有着特殊的需求。

    面对以上这些因素，为了满足不同的需求，cVideo研发了云端转码技术，以满足用户对不同视频格式、不同分辨率，不同码流，不同终端的使用需求。不同分辨率的转码效果如下所示：

  针对视频文件的分布式云转码，由于视频文件已经存在，因此可以充分发挥云计算分布式的计算性能，将视频文件按时间切分为许多块，每个块被分配到不同的处理节点，待所有块都处理完毕后，再进行重新整合、重构时间轴、封装，从而实现转码，任务分配和调度由JobKeeper完成。

cVideo云转码的主要优势

平台功能及性能描述

功能描述

  cStor当前云转码平台的系统版本为测试的Demo版，前期需求多集中于ts格式的转码，平台上层应用支持的格式相对较少，但底层编解码库已经支持绝大多数常用格式。

  目前支持的视频封装格式：“.ts”、“.mp4”、“.mpg”；

  目前支持的视频编码格式：“H264”、“MPEG4”、“MPEG2”；

  目前支持的音频编码格式：“FAAC”、“MPEG1”、“MPEG2”；

  目前支持的分辨率：基本支持大部分辨率；

  针对“H263”、“XVid”、“MP3”、“LPCM”等音视频编码格式将在下一版本中进行支持，对于其他格式的支持可以根据项目具体需求，也只需根据底层编解码库对上层应用进行相应添加即可，十分方便。

性能描述

  云转码的处理性能与服务器CPU、内存、网络、转码文件分辨率、格式转换需求、任务分片数等多方面因素均有关联，因此统一的标准较难给出。下图为云转码平台测试的结果示意图：

  与存储共用节点情况下的性能如上图所示，随着转码服务器数量的增多，转码单个文件需要的时间不断减少，整体性能基本线性增加。同时，对分片数合理分配可以进一步优化转码的效率。

  云转码平台支持动态扩容，随着需求的不断增加，当现有处理能力无法满足处理总量时，只需要增加处理节点，无需停止服务，即可动态地增加处理性能，实现平台处理能力扩容。

相关测试

  目前，云转码平台已经在深圳天华传媒、南京广电等多家单位进行过测试，通过了相关码流分析软件的检测，视频拼接处无卡顿、ts流无PCR-DTS抖动问题。并且通过了在实际机顶盒推流中的各项指标测试，云转码的性能也得到了各家单位认可。

市场应用