格靈深瞳成立于2013年4月，是一家同時具備計算機視覺和深度學(xué)習(xí)技術(shù)以及嵌入式硬件研發(fā)能力的人工智能公司，作為一家視頻大數(shù)據(jù)產(chǎn)品和方案提供商，在人和車的檢測、跟蹤與識別等技術(shù)堅持自主研發(fā)，主要關(guān)注的領(lǐng)域包括公共安全、智能交通、金融安防等，同時在無人駕駛、機器人和智能醫(yī)療方面也進(jìn)行了深入的布局。
背景介紹
2016年，Alpha Go和人類圍棋大師的兩輪對決刷新了大眾對人工智能的認(rèn)知，也讓人工智能成為輿論焦點。今年7月20日，國務(wù)院頒布《新一代人工智能發(fā)展規(guī)劃》，明確將人工智能作為未來國家重要的發(fā)展戰(zhàn)略。UCloud作為國內(nèi)中立云計算公司，2017年初提出了“CBA”三位一體發(fā)展戰(zhàn)略，其中人工智能隨著云計算、大數(shù)據(jù)、深度學(xué)習(xí)等技術(shù)實現(xiàn)了快速發(fā)展。
客戶介紹
人工智能的五大核心技術(shù)包括計算機視覺、機器學(xué)習(xí)、自然語言處理、機器人和語音識別。格靈深瞳是一家同時具備計算機視覺、深度學(xué)習(xí)技術(shù)以及嵌入式硬件研發(fā)能力的人工智能公司，擁有三維視覺感知技術(shù)，幫助計算機理解人的行為軌跡，也是一家將人工智能應(yīng)用于金融安防、智能交通等領(lǐng)域的公司。
項目背景及業(yè)務(wù)挑戰(zhàn)
經(jīng)過多年技術(shù)積累和沉淀，格靈深瞳在金融安防、智能交通等行業(yè)累積大量了數(shù)據(jù)，通過深度學(xué)習(xí)技術(shù)，進(jìn)一步將計算機視覺性能提高。接下來，格靈深瞳將開拓商場、超市等連鎖企業(yè)，為他們提供智能視頻監(jiān)控解決方案，實現(xiàn)真正的商業(yè)化。
隨著業(yè)務(wù)拓展，格靈深瞳很需要GPU做在線服務(wù)的計算支持，部署客戶前端的智能攝像機會進(jìn)行畫面抓拍，同時把畫面?zhèn)骰卦贫耍稍贫说腉PU集群來進(jìn)行計算，并且可以快速將返回的結(jié)果提供給用戶。
UCloud解決方案
一直以來，UCloud都走在科技發(fā)展前沿。在人工智能興起之初，公司便積極與國內(nèi)人工智能公司接觸，共同探討人工智能與云計算的結(jié)合點。因此，在與格靈深瞳接觸中，UCloud深入挖掘客戶痛點，運用強大技術(shù)實力和良好服務(wù)，成功拿下人工智能領(lǐng)域的標(biāo)桿客戶。
通過與客戶一系列的接洽，UCloud總結(jié)出此類客戶以往的IT架構(gòu)，并拿出了針對AI客戶的解決方案。
格靈深瞳等傳統(tǒng)AI客戶的IT架構(gòu)以自建機房為主
軟件架構(gòu)：
-
需要維護(hù)多套深度學(xué)習(xí)框架，如：Tensorflow、Caffe；
-
很難進(jìn)行框架層面優(yōu)化以實現(xiàn)較好的訓(xùn)練性能；
-
需要自己維護(hù)一套驅(qū)動倉庫，不同GPU卡對應(yīng)不同的顯卡驅(qū)動；
-
訓(xùn)練數(shù)據(jù)種類繁多，數(shù)據(jù)量較大，管理起來較復(fù)雜，包括熱數(shù)據(jù)備份和冷數(shù)據(jù)歸檔、存儲容量擴展性、IOPS和帶寬吞吐量等，都是復(fù)雜的工程性問題。
硬件資源：
-
需要自己購買機柜、X86服務(wù)器、GPU顯卡、UPS電源、交換機、路由器，維護(hù)成本高；
-
需要維護(hù)一個X86服務(wù)器的備件庫，保證GPU服務(wù)器的較高的訓(xùn)練效率；
-
服務(wù)器、GPU卡屬于固定資源，無法做到資源快速擴展，重新采購周期較長；
-
訓(xùn)練數(shù)據(jù)的周期性迭代，使得硬件資源使用率存在高低峰值。
資金投入：
-
硬件資源購買需一次性投入大量資金；
-
電費開銷巨大，一般還需要涉及電路改造；
-
需要專業(yè)的硬件和操作系統(tǒng)運維工程師。
UCloud軟硬件并行，提供完善的解決方案
硬件資源：
UCloud提供NVIDIA Tesla系列GPU卡P40。P40是NVIDIA推出的專門用于深度學(xué)習(xí)訓(xùn)練和推理的GPU卡，提供比CPU服務(wù)器快40倍的深度學(xué)習(xí)推理速度，采用NVIDIA新的PascalTM 架構(gòu)和16納米制造工藝，具有3840個流處理器，核心主頻高達(dá)1303～1531MHz，24GB GPU顯存；高達(dá)12 TFLOPS單精度浮點運算和47TFLOPS整數(shù)運算能力（INT8）讓深度學(xué)習(xí)的速度飆升。
UCloud提供單機4卡P40物理機：
UCloud提供基于P40云主機：
UCloud解決方案
格靈深瞳云端架構(gòu)：
格靈深瞳原先自建的機房深度學(xué)習(xí)訓(xùn)練平臺使用單機8卡（GTX 1080Ti）的GPU物理機。遷移到UCloud云上之后，選擇UCloud的單機4卡（P40）GPU物理機＋單機4卡（P40）GPU云主機，訓(xùn)練數(shù)據(jù)三副本存放在UCloud提供的3臺萬兆網(wǎng)絡(luò)環(huán)境的SSD物理機上，最終實現(xiàn)資源層彈性伸縮和存儲層可靠性。
軟件架構(gòu)（PaaS）：
UCloud最近剛發(fā)布了AI-Train在線訓(xùn)練產(chǎn)品，解決包括代碼管理、運行環(huán)境維護(hù)、GPU管理維護(hù)、數(shù)據(jù)管理等模型訓(xùn)練過程中的每個環(huán)節(jié)，提供一站式Paas解決方案。下一步，我們將了解格靈深瞳的軟件架構(gòu)，為其解決模型訓(xùn)練場景所帶來的一系列工程性難題。
客戶收益
通過使用UCloud的服務(wù)，幫助格靈深瞳解決硬件成本以及人力成本，大幅度降低了格靈深瞳的成本投入。
資金投入前后對比：
前：硬件資源購買需一次性投入大量資金。
后：UCloud所有產(chǎn)品都可以提供按需付費模式，不需要一次性付費，提高了客戶資金的利用率。
前：電費開銷巨大，一般還需要涉及電路改造。
后：UCloud所有GPU資源都不收取產(chǎn)品費用以外的任何費用。
前：需要專業(yè)硬件和操作系統(tǒng)運維工程師。
后：UCloud所有GPU產(chǎn)品有專業(yè)的團隊運營維護(hù)，發(fā)生硬件故障后，可以快速從備件庫更換新硬件，或者開啟新的GPU資源，刪除故障機器。
現(xiàn)在，格靈深瞳已經(jīng)成為UCloud在人工智能領(lǐng)域的標(biāo)桿客戶。在摸索探尋人工智能的道路上，我們發(fā)現(xiàn)“中立性”是人工智能公司對云計算廠商重要評估標(biāo)準(zhǔn)之一。此次UCloud成功將人工智能技術(shù)與云計算服務(wù)結(jié)合，從中帶來的經(jīng)驗和可復(fù)制性，將為UCloud進(jìn)軍人工智能領(lǐng)域打下堅實的基礎(chǔ)。
