一、視頻行業

1、視頻是一個方興未艾的大產業

(1)人類社會信息產品發展趨勢：物理文本->電子文本->圖片->音視頻

(2)音視頻行業方興未艾：優酷&愛奇藝等、美拍&各種小視頻、視頻監控、人臉識別&自動駕駛

(3)科技以人為本，視頻符合人類的天然需求，必然要得到大發展。

(4)技術融合是趨勢：互聯網、人工智能、視頻采集和處理等技術會融合，構成奇幻美妙的現代科技生活。

2、視頻行業潛在商機大、人才缺口大

(1)視頻監控、手機拍照等“傳統”視頻領域仍有巨大發展空間

(2)自動駕駛、人臉識別閘機、刷臉支付等，潛在商機巨大，市場需求尚未井噴

(3)視頻行業專業性強、學習周期長、技術難度大，技術門檻和壁壘效應明顯

(4)行業出現時間短，發展快，根本沒有相對應的課程體系和專門學習資料，學習無處下手

(5)中國處于這一波技術革命的浪潮中心，產業配套最全、綜合實力最強、產品出貨量最大，所以人才需求最旺盛。但同時中國技術積累和底蘊薄弱，高端人才嚴重匱乏。視頻行業比較牛的公司國內的有海康威視和大華，據說華為也開始進軍安防攝像頭領域了。

3、了解華為海思的HI3518E方案

(1)海思的前身是華為的半導體部門，主要產品線包括：智能手機處理器麒麟系列，視頻采集和編解碼處理器HI35XX系列，無線通信方向芯片等。

(2)早年（2013、2014年之前）視頻行業主要被TI等美國公司控制，臺灣地區發展也很快，海思進入后憑借華為的技術和管理能力，迅速發展壯大，在高性價比消費級視頻領域已經獨霸了。

(3)海思還在不斷發展，逐步滲透汽車級（行車記錄儀、ADAS、自動駕駛等）、運動級（航拍、運動DV等）領域。

(4)還有更高端的工業級（工業相機譬如缺陷檢測、機器視覺等）和軍工級等多被美歐日德等把持，等待我們去征伐。

(5)一句話：海思方案用量大、范圍廣、工資高、潛力大，不學這個學什么？
??但是目前華為被美國制裁了好幾次，海思目前的發展比較艱難，從手機芯片從原來的麒麟變成了高通驍龍就知道海思目前有多無奈了，明明有著最先進的芯片設計技術，卻無法生產。不過華為今年年初在武漢已經建廠，準備進軍芯片制造領域，實現自給自足，雖然需要的時間不會斷，但最終一定可以的，華子yyds!

二、海思方案項目用到的硬件平臺介紹

1、本專欄文章使用的開發板配置

(1)處理器： HI3518E
(2)內存： 內置64MB DDR內存
(3)Flash: 板載16MB SPI Flash
(4)SENSOR： OV9712 + AR0130或其他
(5)有線網絡： 板載支持
(6)調試串口： 1路TTL串口
(7)底層調試： 預留JTAG口
(8)預留按鍵： 3個
(9)擴展存儲: TF卡
(10)WIFI擴展： USB WIFI

2、處理器為什么選HI3518E

(1)HI35XX系列有很多型號，其中HI3518E是入門級最高性價比的型號，出貨量很大。

(2)不同型號的差異主要是支持視頻像素數和分辨率、通道數、高端特性差異等。

(3)不同型號的相同點：同一套思路的海思SDK、視頻行業基礎概念和經驗、H.264編解碼算法和編程技術、RTSP/ORTP等網絡傳輸、P2P等外網視頻直播技術等。

(4)綜合比較結果：HI3518E最適合入門學習，硬件本身特性三年行業經驗；

三 、本專欄文章規劃和核心技術介紹

1、本專欄文章將通過我對朱有鵬老師的海思項目課程的學習進行不定期更新

文章內容劃分大致如下：

第1季：全面認識海思SDK及嵌入式層開發第2季：從官方例程深度學習海思SDK及API第3季：ORTP庫局域網圖傳和VLC實時預覽第4季：圖像sensor的特性和驅動解析第5季：海思平臺上USB WIFI的移植與局域網無線調試和視頻流預覽第6季：RTSP協議詳解與實時流視頻預覽第7季：視頻打包為MP4格式并存儲到TF卡的實現第8季：海思平臺OSD的實現第9季：圖像的IQ調試第10季：P2P方式實現視頻遠程直播第11季：基于opencv的圖像識別開發

2、詳細介紹

第1季：全面認識海思SDK及嵌入式層開發	本季首先介紹開發板整個硬件配置和測試方法，然后圍繞海思官方SDK開發包講解各種官方資料的用法，最后用大量時間講解如何在ubuntu中搭建海思視頻方案的開發環境，如uboot的配置和編譯、燒寫；kernel的配置和編譯、rootfs的制作，tftp方式下載燒寫并啟動linux系統，rootfs中各種配置文件的含義、ko文件的加載、mpp庫的部署、sample程序的編譯和運行等。

第2季：從官方例程深度學習海思SDK及API	本季課程詳細分析海思SDK中的sample程序的實現，并順帶講解視頻采集中的很多基本概念，視頻sensor的工作原理、像素和視頻分辨率的關系、rawRGB和RGB888的換算方式等，本季課程的重點內容是海思SDK中API文檔的帶讀，學習海思方案重點就在于學習這套API，這是海思方案視頻采集和H.264編碼的關鍵所在，因此本季課程非常關鍵，學完本季課程才表示對海思方案開發入門了。

第3季：ORTP庫局域網圖傳和VLC實時預覽	本季課程通過移植ORTP庫并調用ORTP庫函數來實現H.264裸流數據的網絡傳輸，并且在Windows中安裝VLC播放器，并在VLC中通過配置文件的方式來解析ORTP發送的裸流實現視頻實時預覽。本季課程的核心是ORTP協議的講解，ORTP庫的移植、部署和調用，VLC軟件的用法講解和配置文件講解，Wireshark網絡抓包工具的用法講解，實時視頻流傳輸和解析的體驗和編程實現。

第4季：圖像sensor的特性和驅動解析	本季課程以配置的2款圖像sensor為案例來講解圖像sensor的關鍵特性和相關數據結構，I2C控制接口和圖像數據接口，海思SDK中sensor的驅動框架和編譯、部署、加載，sensor調試的一般方法和步驟等。

第5季：海思平臺上USB WIFI的移植與局域網無線調試和視頻流預覽	本季課程在開發板上移植USB WIFI模塊（套裝附帶的MT7601模塊），工作在ap模式下，并且用電腦通過WIFI去連接開發板實現主機和開發板的無線網絡局域網通信，這樣就可以用WIFI網絡取代板載ethernet有線網絡方式來進行調試和局域網視頻預覽。現在很多的視頻攝像頭產品都要求支持無線網絡連接功能，本季課程主要是針對這方面開發技術講解的。

第6季：RTSP協議詳解與實時流視頻預覽	本季詳細講解RTSP協議的技術細節，并且編程實現基于RTSP協議的實時視頻流傳輸，在局域網內瀏覽實時監控畫面。RTSP是實時視頻網絡傳輸最主流的實現方式，低延時高清晰度的RTSP視頻流傳輸是網絡直播、在線會議系統等行業的核心技術，本季課程會詳細講解相關概念、編程實戰和調試技巧等。

第7季：視頻打包為MP4格式并存儲到TF卡的實現	本季實現將編碼后的H.264視頻流打包為MP4格式的錄像，并存儲到板載TF卡中。這個過程涉及到的一個主要技術是H.264的視頻幀格式，I幀、P幀等概念，另一個主要技術是MP4格式的文件頭、封包技術、MP4打包庫的移植部署和調用等，最后是linux下TF卡的存儲和文件管理（使用了FAT32文件系統）。編碼后圖像打包成MP4存儲的功能在行車記錄儀、監控攝像頭等產品上均是剛需功能，尤其是行車記錄儀，學好該季課程去做這類產品開發有非常大優勢。

第8季：海思平臺OSD的實現	OSD（on screen display）功能應用很廣泛，譬如監控視頻中的實時時間顯示、電視轉播中的臺標和字幕等。本季講解如何在海思平臺上實現圖像OSD，核心是海思SDK中提供的OSD功能相關的一些API的使用和調試技巧。

第9季：圖像的IQ調試	sensor直接采集的圖像都有各種不理想性，因此在編碼前都會經過一個軟件方式處理，這個處理就叫ISP，圖像的IQ調試就是研究這些處理算法和實現的。常見的IQ調試技術如：線性糾正、噪聲去除、黑電平校正、壞點去除、顏色插補、Gamma 校正、RGB2YUV 轉換、主動白平衡處理、主動曝光控制、AE評估等。

第10季：P2P方式實現視頻遠程直播	本季課程主要講解如何實現視頻的外網傳輸，核心技術是P2P內網穿透的實現和視頻轉發服務器的架構。雖然也可以自己搭建視頻服務器，但是實際開發產品時經常采用的是一些第三方的視頻服務，本季課程中兩種開發方式都會涉及到，并力求讓大家掌握其實現原理和編程技術、調試技術。

第11季：基于opencv的圖像識別開發	本季課程屬于擴展開發，講解如何在主機ubuntu中搭建和部署opencv的環境，將HI3518E采集并編碼后的視頻傳輸到主機中并且使用opencv來進行圖像識別和處理。近年來隨著人工智能技術的火爆，圖像識別和視頻識別技術越來越被看重，人臉識別閘機、刷臉支付、自動駕駛汽車、ADAS系統等應用場景均有賴于視頻識別的技術突破。本季課程算是拋磚引玉，向大家引入圖像識別技術的開發基礎、環境搭建、基本算法原理、簡單應用案例，希望幫助大家進入該技術領域。

注：本資料大部分由朱老師物聯網大講堂課程筆記整理而來并且引用了部分他人博客的內容，如有侵權，聯系刪除！水平有限，如有錯誤，歡迎各位在評論區交流。