摘要：今天的話題分四部分，第一個(gè)是小程序音視頻能拿來做什么，第二部分是將其內(nèi)部是怎么做到的第三就是講騰訊視頻云的音視頻技術(shù)的一些技術(shù)細(xì)節(jié)第四個(gè)是介紹一下微信上做音視頻的應(yīng)用的一些審核問題以及應(yīng)對(duì)方案。

本文由云+社區(qū)發(fā)表

作者：常青

騰訊視頻云是做什么的？騰訊視頻云既不做數(shù)據(jù)庫，也不做存儲(chǔ)，也不做網(wǎng)絡(luò)，我們只做音視頻服務(wù)，也就是直播、點(diǎn)播、視頻通話、這類面向B類客戶的音視頻PAAS業(yè)務(wù)。

今天主要是跟大家講的是騰訊視頻云在過去一年時(shí)間里跟小程序結(jié)合，看看怎么去把這樣一個(gè)高技術(shù)含量的一個(gè)能力去跟小程序這樣一個(gè)非常輕量級(jí)的平臺(tái)發(fā)揮1+1>2的效應(yīng)。

今天的話題分四部分，第一個(gè)是小程序音視頻能拿來做什么，第二部分是將其內(nèi)部是怎么做到的？第三就是講騰訊視頻云的音視頻技術(shù)的一些技術(shù)細(xì)節(jié)；第四個(gè)是介紹一下微信上做音視頻的應(yīng)用的一些審核問題以及應(yīng)對(duì)方案。

我們現(xiàn)在開始第一部分。

我先開篇來個(gè)小故事，講講1944年，1944年其實(shí)是歐洲二戰(zhàn)戰(zhàn)場(chǎng)的最后的階段，當(dāng)時(shí)盟軍有很多的戰(zhàn)艦逼近歐洲戰(zhàn)場(chǎng)，德國為了盡量減少這些戰(zhàn)艦的威脅，就開發(fā)了反艦導(dǎo)彈。這個(gè)導(dǎo)彈其實(shí)說白了就是給重磅航空炸彈裝了一個(gè)火箭發(fā)動(dòng)機(jī)，點(diǎn)火之后就直接沖出去，威力是很大但準(zhǔn)度很差，離遠(yuǎn)了投放很容易就偏離目標(biāo)了。所以如果不解決制導(dǎo)問題，這種武器其實(shí)沒什么用處。

當(dāng)時(shí)太平洋戰(zhàn)場(chǎng)的日本人為了解決這個(gè)問題，直接將人裝在導(dǎo)彈里然后把門焊死，這種方法雖然簡(jiǎn)單有效，但畢竟并不適合德國。

德國人技術(shù)還不錯(cuò)，他們采用一個(gè)更加有技術(shù)含量的做法：在導(dǎo)彈前頭裝一個(gè)電視攝像頭，講攝像頭捕獲的影像通過導(dǎo)彈尾端的八木天先，直接傳送給投放導(dǎo)彈的轟炸機(jī)（躲得目標(biāo)遠(yuǎn)遠(yuǎn)的），在轟炸機(jī)上面則安裝有一個(gè)電視接收器（請(qǐng)注意，這是在1944年，想想1944年我們?cè)诟陕铮@樣以來，轟炸機(jī)上的投彈手就可以看到導(dǎo)彈前端的所有影像，再通過控制遙感直接操控導(dǎo)彈飛向目標(biāo)戰(zhàn)艦，這其實(shí)就是實(shí)時(shí)音視頻技術(shù)在軍事上的一個(gè)典型應(yīng)用。

我們接下來不講那么遠(yuǎn)的歷史，我們講講2018年。2018年小程序在今年熱度非常高，數(shù)量也特別多。但大家會(huì)看到很多小程序做的事情大多數(shù)對(duì)于H5公眾號(hào)的翻版，功能無外乎還是那些。但我要告訴你，如果小程序跟音視頻結(jié)合，有很多事情是H5做不了的事情，舉個(gè)例子我們現(xiàn)在看到這里面視頻通話應(yīng)用。

我們先以平安95511為例，比如說早晨您開車上班，我知道北京的早高峰還是比較堵的，可能一不小心就跟別的車擠到一起擦花了，這時(shí)候你的選擇就是打電話給保險(xiǎn)公司報(bào)險(xiǎn)，保險(xiǎn)公司接下來會(huì)讓你在事發(fā)地點(diǎn)慢慢等著，等半小時(shí)？等一小時(shí)？這要看當(dāng)時(shí)交通情況或者擁堵程度了。

那現(xiàn)在有小程序在線定損方案，您只需要打開微信，搜索平安95511，也不用安裝APP，1-2秒鐘就能報(bào)險(xiǎn)，大概2-3分鐘就能把報(bào)險(xiǎn)流程走完。

您可能會(huì)問，為什么通過視頻的方案解決不通過電話呢？因?yàn)閮H靠電話，保險(xiǎn)公司并不能有效的區(qū)分電話的另一端是不是在騙保，而通過實(shí)時(shí)音視頻通話，造假就幾乎就不可能了。

接下來大家就問微信里視頻通話為什么不能用呢？如果大家跟女朋友做一些很私密的聊天你用微信通話是可以的，它跟文字消息一樣，全程不留底，絕大多是1v1通話都是p2p直連，即使過服務(wù)器的音視頻流也只是簡(jiǎn)單的中轉(zhuǎn)。但在商用音視頻場(chǎng)景里，比如遠(yuǎn)程客服、遠(yuǎn)程醫(yī)療、遠(yuǎn)程定損等等，國家的相關(guān)法律法規(guī)就規(guī)定要全程錄制，不然無法維護(hù)普通用戶的合法利益。

除了平安這類比較偏保險(xiǎn)行業(yè)的案例，新零售領(lǐng)域我們跟寶馬也有一些合作。比如說您考慮一下寶馬系的車，之前可能只能去4S店，雖然確實(shí)看真車比較直觀，但最多也就是進(jìn)去看看內(nèi)飾，而且有不少靦腆的年輕人礙于面子并不想進(jìn)寶馬的店鋪。通過遠(yuǎn)程視頻的方式跟銷售聊，您只需要在小程序里面搜索“寶馬實(shí)車互動(dòng)平臺(tái)”，就有一個(gè)銷售1v1跟您溝通，他/她會(huì)拿手機(jī)直接給你看內(nèi)飾怎么樣，外觀怎么樣，遠(yuǎn)程看各種細(xì)節(jié)，而且我們專門校調(diào)了720p的高清分辨率，絕對(duì)可以看清每一個(gè)細(xì)節(jié)。

當(dāng)然還有遠(yuǎn)程庭審，以及遠(yuǎn)程醫(yī)療等項(xiàng)目，都有很多不錯(cuò)的應(yīng)用案例。

這里我們就可以發(fā)現(xiàn)，小程序音視頻可以解決兩個(gè)現(xiàn)實(shí)的傳統(tǒng)應(yīng)用解決不了的問題：

第一個(gè)是傳統(tǒng)電話只有聲音沒有畫面，很多不好用語言表述的事情用小程序音視頻就能很好的解決；第二，它可以很大程度上解決裝一個(gè)有視頻通話功能的APP非常費(fèi)勁的事情。

接下來要從技術(shù)層面講講我們是怎么做到的，怎么實(shí)現(xiàn)這個(gè)能力，這個(gè)分成幾部分：

首先，我們講我們的音視頻SDK嵌入到微信APP里面，然后外面包裝了兩個(gè)標(biāo)簽，一個(gè)叫，一個(gè)叫 ，然后用小程序的jsbridge做了內(nèi)部的橋接。有了這樣一個(gè)能力之后，我們現(xiàn)在其實(shí)具備了兩個(gè)基礎(chǔ)功能，一個(gè)是可以做到音視頻流的上行，再有一個(gè)是做音視頻流的下行。

上行和下行什么意思？上行是把本地的畫面往服務(wù)器上傳，下行就是把服務(wù)器的畫面往本地拉，這個(gè)最典型的應(yīng)用就是直播。大家可以看到我們?nèi)绻僭O(shè)像看到斗魚、虎牙的直播不錯(cuò)，你回去可以用5分鐘或者10分鐘在小程序做一個(gè)，放一個(gè)，它可以傳到騰訊云的邊緣節(jié)點(diǎn)，通過轉(zhuǎn)碼集群進(jìn)入CDN，再用一個(gè)進(jìn)行播放，這可以組合出目前所有直播的應(yīng)用能力。而直播質(zhì)量的保證主要是在于CDN，CDN很大的一個(gè)作用不僅僅是下圖片，也不僅僅是下文件，像視頻類的CDN我們可以做到近幾萬幾十萬并發(fā)的，我們大型的直播活動(dòng)、賽事直播都可以來實(shí)現(xiàn)。

但是有了這套架構(gòu)之后有一個(gè)問題，它的應(yīng)用場(chǎng)景還是比較偏小眾的，所謂的娛樂直播、游戲直播，光看直播其實(shí)我覺得還是沒有辦法體現(xiàn)小程序的價(jià)值，接下來我們要做一些嘗試，首先降低延時(shí)。就是主播這邊說一句話、體育賽事的球進(jìn)了你這邊看大概需要5秒或者10秒。我們降低延時(shí)怎么做？很簡(jiǎn)單地思路就是把鏈路的傳出延時(shí)降低，像這樣一段鏈路它延時(shí)很高，我們采用加速節(jié)點(diǎn)，這些加速節(jié)點(diǎn)中間采用UDP直接傳輸，比如說我在北京，你在深圳，我們?cè)诒本┱乙粋€(gè)云上的節(jié)點(diǎn)，深圳找一個(gè)云上的節(jié)點(diǎn)，中間用專線打通，這樣整個(gè)鏈路的延時(shí)是非常低的，單項(xiàng)傳輸延時(shí)可以控制在500毫秒以內(nèi)。有了它可以監(jiān)控一些監(jiān)控?cái)z像頭這樣一些場(chǎng)景。

但這樣所用的場(chǎng)景還是有限，我們可以再拉一路低延時(shí)鏈路，這樣就變成了大家看到應(yīng)用場(chǎng)景非常廣泛的雙向視頻通話。也就是，A有一個(gè)鏈路到B那邊，B也有一個(gè)鏈路到A這邊，延時(shí)都很低，A和B兩邊就可以溝通了（當(dāng)然還要做好回音消除的工作）。

大家會(huì)說有雙路是不是也可以做多路呢？當(dāng)然可以，只要手機(jī)性能扛得住，并行多路也是沒有問題，目前我們可以同時(shí)開啟8路小畫面，再高就不行了，手機(jī)性能可能扛不住。

但是有這個(gè)的話，其實(shí)我們會(huì)發(fā)現(xiàn)還不夠優(yōu)秀，我們其實(shí)還需要做一次延伸，將它跟Chrome瀏覽器打通。谷歌在收購了音視頻公司之后進(jìn)行開源，這套技術(shù)在Chrome瀏覽器是有的，我們可以把這兩個(gè)鏈路通過遠(yuǎn)端的協(xié)議模塊進(jìn)行互通，這樣就可以做到微信上用小程序，但是在PC上可以用瀏覽器。這對(duì)于什么場(chǎng)景非常有用呢？對(duì)于企業(yè)的服務(wù)場(chǎng)景，尤其是視頻服務(wù)，對(duì)于客服人員是用PC但是對(duì)于有問題咨詢的用戶而言他們用微信就可以解決了。

大家可以看到，類似這樣的一些事情，如果真的要做成的話，除了像兩端的能力之外，我們還需要說在服務(wù)端做一些事情。比如說像大家打10086都需要排隊(duì)，很多時(shí)候告訴你坐席比較忙，主要是因?yàn)榭头藛T有限，客服人員有限我們就要有排隊(duì)系統(tǒng)。

再包括像醫(yī)院的場(chǎng)景，不僅僅是打通一個(gè)就可以，大家知道這醫(yī)生站在這里它要接很多單的，不是一個(gè)視頻聊天做完就搞定了，他要看客戶的滿意度，看客戶的病歷，這里面除了排隊(duì)系統(tǒng)還有病歷服務(wù)、建檔服務(wù)這樣一些事情，在審核里面周邊的工作還是要做的。我今天被拉過來，我們后面也會(huì)跟小程序的云開發(fā)進(jìn)行深度合作來減少云開發(fā)的復(fù)雜度。

同時(shí)，過去一段時(shí)間，我們?cè)谝粢曨l質(zhì)量上也做了不少優(yōu)化，最新的微信版本中（目前尚未發(fā)布），在卡頓率上我們做了很大的改進(jìn)，如上圖。

最后一分鐘說一下關(guān)于微信審核問題，我們和微信的團(tuán)隊(duì)一起想了很多辦法來更好地解決國家的政策審核問題。騰訊云提供了1v1視頻通話插件和1vn直播插件，前者主要用于解決在線客服場(chǎng)景的需求，后者則主要用于電商直播。這兩款插件均有后臺(tái)的AI和人工審核團(tuán)隊(duì)進(jìn)行 7x24 小時(shí)的智能安全審核，所以政府部分同意授權(quán)使用這兩款插件的小程序可以使用微信小程序的音視頻能力。

此文已由騰訊云+社區(qū)在各渠道發(fā)布

獲取更多新鮮技術(shù)干貨，可以關(guān)注我們騰訊云技術(shù)社區(qū)-云加社區(qū)官方號(hào)及知乎機(jī)構(gòu)號(hào)