摘要:實時互聯網大會在美國已成功舉辦屆,是全球范圍影響最大最權威的實時通信行業技術會議。由聲網主辦,和協辦的在亞洲的第屆盛會,也是亞洲唯一最權威的實時通信行業技術會議。
Share of RTC2017
Walker.Xu
RTC2017RTC實時互聯網大會在美國已成功舉辦8屆,是全球范圍影響最大最權威的實時通信行業技術會議。該會議吸引了來自全球數萬名開發者和技術大咖參加,Google、Ericsson、Oracle、Intel、Agora.io、Mozilla、Avaya等公司均曾在大會上分享過各自在實時通信領域的技術、應用與經驗。
RTC2017由聲網Agora.io主辦,CSDN和Allthingsrtc.org協辦的在亞洲的第3屆盛會,也是亞洲唯一最權威的RTC實時通信行業技術會議。
1.商業目的,生態鏈
2.技術,應用交流
1.學習,了解RTC行業的先進水平
2.開闊思路,了解音視頻技術,實時音視頻技術的發展方向
微信,QQ,陌陌,face u,holla,house party,facebook
熊貓TV,YY,映客,花椒,荔枝FM(語音直播,萬人連麥),twitch
王者榮耀,狼人殺,飯局狼人殺,棋牌類游戲
滬江CCtalk
其他:醫療,金融服務,工具類,會議類
遠程助手,slack
1.創造應用場景,沒有實時音視頻技術就沒有這個用戶場景,社交視頻語音聊天,直播連麥,各種狼人殺,在線課堂
2.增強應用體驗,王者榮耀語音,棋牌類游戲
3.跨界,行業融合,直播連麥社交,狼人殺是游戲也是社交,twitch,熊貓是直播跟游戲密不可分
硬實力軟實力
北美,美國:3.23億,加拿大:3628萬
東亞,東南亞,南亞,非中國大陸,越南:9270萬,泰國:6886萬,馬來西亞:3118萬,印度尼西亞:2.611億,菲律賓:1.03億,巴基斯坦:1.93億,孟加拉國:1.7億,印度:13.24億,日本:1.27億,韓國:5125萬,臺灣:2349萬,新加坡:560萬,香港:737萬
中國大陸:14億
中亞:7000萬
1.標準組織
2.研究機構
3.技術框架聯盟,一般大公司牽頭發起,開源社區
4.技術實現,質量監測,數據分析等服務提供商
5.開源應用,技術框架
6.行業應用
騰訊,YY為代表的,從技術到服務到應用都自己干
Agora.io為代表的技術,服務提供商,服務了陌陌,face u,holla,熊貓TV,小米,cctalk等
技術體系私有,或webrtc變種
一個供應商解決所有問題,快速反應,提供保姆式服務,國情決定
IETF:國際互聯網工程任務組(The Internet Engineering Task Force)
W3C
CoSMo Software Consulting: webrtc research and api test of browsers
Google: add GIPS to webrtc and open source
Callstates.io: webrtc a/v quality monitor service
Jitsi
Slack
Twitch
Facebook
生態比較多樣,分工較明確
實時音視頻技術是一個技術平臺可以將很多新的多媒體技術融合進來,進行組合,創造新的應用場景
1.AI:小米音箱
2.AR
3.VR+人臉識別
4.holographic projection:全息投影, art media直播+全息投影
5.全景聲技術:dolby atoms
RTC, real time communication, webrtc是RTC的一種
我們不是有http,https,hls,rtsp,rtmp嗎,為什么還要開發實時音視頻技術
簡單來說就是不滿足進行實時音視頻通信的要求
1.延時低
2.雙向/多向
Http, https,hls延時10s左右,pass
rtmp延時1~3s還不錯,進行實時音視頻通信還差點意思,pass
rtsp的延時可以做到0.5s,基本滿足需求,但是它不是為雙向設計的,實現起來很復雜,而且網絡穿透能力差
webrtc為例實驗室200ms以內,比較好的網絡300ms以內,遠程助手基于webrtc實現的,單向延時可以做到300~400ms在魅族網絡
商業公司的延時基本做到在全網400ms
傳輸質量測量,智能網絡接入(就近接入),流控(flow control),帶寬估計,擁塞控制(congestion control),弱網對抗
Packet loss,RTT,丟包重傳,jitter buffer
Opus,agora solo
H26x:H264,H265
VPX:VP8,VP9
編碼的壓縮率,抗丟包,丟包隱藏,FEC,動態碼率(QP),幀率設計,I幀間隔,動態分辨率,B幀
SVC: scalable video coding
可分級的視頻編碼(Scalable Video Coding)
出現的原因 主要解決網絡傳輸視頻信息的時候,帶寬限制了數據的傳輸,而我們通過某種方法使得視頻流擁有可分級性,當網絡帶寬較小的時候,只保持基本的視頻信息被傳輸,并根據實際的網絡環境決定是否傳增強的視頻信息以使得圖像質量得到加強,以此得到自適應性.這樣的方式可以保持擁有網絡連接的大部分終端都可以以適當的碼流來使用多媒體信息,而不考慮原碼流的需求.
回聲消除,噪聲抑制,增益控制,可懂度增強,聲音美化/變聲,空間音頻,盲源分離
美顏,濾鏡,降噪,平滑,銳化,error concealment,人臉識別
市面上幾百款手機,魅族支持遠程協助的有20多款
是用于控制發送方的速度,防止接收方緩存溢出,它的局限性顯而易見,只有在特定限制條件下才有意義,如圖1
擁塞控制是在擁塞發生時控制進入網絡的數據量,相對復雜,GCC同時使用基于時延(delay-based)和基于丟包(lost-based)的兩種算法應對帶寬網絡的擁塞控制,這兩個預測控制組成了速率預測控制器如圖2
delay-based算法由數據的接收方實現,接收方需要記錄每個數據包到達的時間和大小,并計算每個數據分組之間(inter-group)的延遲的變化,由此判斷當前網絡的擁塞情況,并最終輸出碼率估計值由RTCP feedback(TMMBR或 REMB)反饋給發送方;loss-based算法則由數據的發送方來實現,發送方通過從接收方周期性發來的RTCP RR(Receiver Report)中獲取丟包信息以及計算RTT,并結合TMMBR或REMB中攜帶的碼率信息算得最終的碼率值,然后由媒體引擎根據碼率來配置編碼器,從而實現碼率的自適應調整。如圖3。可以看出,這兩個算法在系統中并不是孤立存在的。
全球網絡覆蓋(跨洲,跨國,夸網,夸運行商),CDN ,高并發,高可用(可用度,容災性),應用專網(路由選擇)
Bandwidth & CPU are limited in a device
smart way
信息數據交換,sdp,ice options
呼叫和消息系統,Websocket,SIP
信令通道在數據通道之前建立
其他作用,比如傳遞一些設備,狀態信息
指標,perfect/good/acceptable/bad/mess
測試環境/工具/資料/應用場景/人
大數據,監測統計,在實際使用環境中評估
高大上的音視頻實驗環境
用其他手段代替昂貴的器材
指標 測試環境 大數據,實際使用環境
1.接通率 (業內先進水平失敗率<=2%)
2.音視頻體驗 (做的不錯)
卡頓,模糊,馬賽克,數據丟失
1.普通的直播RTMP可以實現
2.需要連麥,需要實時音視頻技術的介入,主播和其他連麥用戶通過 RTC技術實現實時音視頻互動,再通過RTMP把連麥現場直播出去
M。。。
Android5.0~Android7.1
flyme5~flyme7
【應對了Android跨版本,flyme框架,不同屏幕分辨率等兼容性問題的挑戰】
用戶幫助
安全家庭
遠程監控
chrome and firefox
迭代不持續,不夠專注;后臺能力.
Normandie(音視頻sdk)Android4.2~Android7.1
yunos
flyme4.5~flyme7
【應對了Android跨版本,flyme框架,不同屏幕分辨率等兼容性問題的挑戰】
Music音樂,主題功能+定制需求比如drm,代理,副歌等,日活100萬,月活千萬
News咨訊,在線短視頻播放,cp重要有360(640x360),UC(852x480),快手(960x720),360,UC可以做到秒播,快手在1~2s內起播,千萬用戶
趣視頻,在線短視頻播放
迭代不持續,不夠專注;部分業務沒有推廣成功.
總結,三個階段【做不出來,die】
在更多機型上落地,在穩定性,功能,性能方面達到一定的要求,滿足現階段業務需求,并且部分指標不落后或不大幅落后市面上比較先進的產品
【做出來沒人用,die】
多看多想,擴展更多產品形態和場景
從業務上也對我們提出了更高的要求,業務上會直接和競品對比,業務或用戶不會關心你的團隊或資源,只關心體驗結果,能不能有好的體驗
【用戶用起來不爽,不能與竟品競爭,die】
從目前看,我們基本滿足生存的第二個階段,努力向發展的第三階段靠攏,這個階段對我們自身提出了更高的要求需要更深入的學習和積累,創造機會抓住機會不停的學習
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/11055.html
摘要:在亞太領袖峰會上,阿里視頻云總經理朱照遠叔度作了題為享見未來開啟新視界的主題演講。視頻,比你更懂你的視頻朱照遠談到,全民視頻的時代已經來臨,互聯網流量以上來自視頻,未來將超過。因此阿里云發布邊緣節點服務,是阿里云的邊緣計算的第二款產品。 摘要: 2018年4月11-12日,2018亞太CDN峰會在北京隆重召開,大會由亞太CDN領袖論壇、電視云論壇、短視頻論壇、視頻云論壇、新技術論壇、運...
摘要:在亞太領袖峰會上,阿里視頻云總經理朱照遠叔度作了題為享見未來開啟新視界的主題演講。視頻,比你更懂你的視頻朱照遠談到,全民視頻的時代已經來臨,互聯網流量以上來自視頻,未來將超過。因此阿里云發布邊緣節點服務,是阿里云的邊緣計算的第二款產品。 摘要: 2018年4月11-12日,2018亞太CDN峰會在北京隆重召開,大會由亞太CDN領袖論壇、電視云論壇、短視頻論壇、視頻云論壇、新技術論壇、運...
摘要:谷歌表示,與搜索并列,是谷歌機器學習技術最重要的產品服務載體。谷歌宣布了基于機器學習技術的全面升級,很可能是其誕生以來的最大升級。在去年的大會上,谷歌宣布了其第一代。 showImg(https://segmentfault.com/img/bVNTKT?w=900&h=385); Google I/O Google I/O 是由 Google 舉行的網絡開發者年會,討論的焦點是用 G...
閱讀 867·2021-10-25 09:45
閱讀 3283·2021-09-22 14:58
閱讀 3843·2021-08-31 09:43
閱讀 914·2019-08-30 15:55
閱讀 916·2019-08-29 13:51
閱讀 1224·2019-08-29 13:02
閱讀 3482·2019-08-29 12:52
閱讀 1960·2019-08-26 13:27