七牛云霍锴 WICC 2020 谈构建互动直播场景的闭环解决方案

音视频数据到了直播云上，我们还可以对这些数据进行内容审核，只有通过内容审核的音视频数据才能够给到观众进行观看。

首先我们把数据流分为视频数据和音频数据，对于视频数据，会抽帧成一张一张的图片，然后进行图像识别和文字识别。对于音频数据，则会分切成一小段一小段的音频，然后对这些数据进行语音识别，也就是把语音转换为文字，从而能够知道具体的内容是什么；另外还可以对音频数据进行自然语言的理解，因为一些违规音频表达变化多端、 内容隐晦，所以需要通过语义理解知道它真实表达的意思是什么；最后，还可以通过声纹识别鉴别出里面是否有一些敏感人物的发言。

经过审核的音视频数据会被打上是否违规的标签然后实时地回调给用户，我们的用户可以通过这些信息从而把违规的数据丢弃掉。同时，也可以在我们的复核平台可视化地对这些数据进行复核。

7、数据驱动下的运营分析与质量监控

我们的互动直播方案是和七牛自研的 Pandora 数据分析平台内部打通的，所以我们可以通过数据打点，把一些质量数据（如分辨率，码率，帧率，丢包率，延迟等），业务数据（如房间数，连麦时长，用户量等），设备数据（如手机型号，系统版本，CPU，内存占用情况等），或者一些事件数据（如服务端的内部状态，客户端的信令日志等）给上报到数据分析平台之上。而我们的 Pandora 平台就可以对这些数据进行清洗，存储，搜索，监控，分析，最后形成报表。有了这些数据，我们就可以全方位地感知到线上的情况，例如，可以进行运维风险的预警，实时质量的监控，或者进行优化功能迭代，分析运营数据等，如下图，是我们一个 demo 的运营数据报表。

下图是我们的可视化质量监控系统，可以看到，我们能够定位到某一位客户，某个房间，某一路 Track，某一段时间的相关数据，包括丢包率，帧率，码率，RTT 等。

通过我今天的分享其实可以看到，打造一个互动直播的闭环解决方案是非常复杂的，不仅要包括一套端到端的音视频数据的实时传输通道，要有美颜、人脸核验等这些外围业务的扩展方案，数据的存储方案，最后还要有一个强大的数据分析平台。七牛云通过 One Product 的理念，把各个环节以数据为线索，自然地串联起来，让开发者真正感受到一站式的接入体验。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!