摘要：摘要導(dǎo)語近日，阿里云發(fā)布了智能媒體管理服務(wù)，通過離線處理能力關(guān)聯(lián)授權(quán)的云存儲，提供便捷的海量多媒體數(shù)據(jù)一鍵分析，并通過該分析過程構(gòu)建價值元數(shù)據(jù)，更好支撐內(nèi)容檢索。標(biāo)準(zhǔn)統(tǒng)一，訪問接口統(tǒng)一為阿里云的標(biāo)準(zhǔn)。場景化一鍵式處理，提高易用性。

摘要： 導(dǎo)語 近日，阿里云發(fā)布了智能媒體管理（Intelligent Media Management）服務(wù)， 通過離線處理能力關(guān)聯(lián)授權(quán)的云存儲，提供便捷的海量多媒體數(shù)據(jù)一鍵分析，并通過該分析過程構(gòu)建價值元數(shù)據(jù)，更好支撐內(nèi)容檢索。

導(dǎo)語
近日，阿里云發(fā)布了智能媒體管理（Intelligent Media Management）服務(wù)， 通過離線處理能力關(guān)聯(lián)授權(quán)的云存儲，提供便捷的海量多媒體數(shù)據(jù)一鍵分析，并通過該分析過程構(gòu)建價值元數(shù)據(jù)，更好支撐內(nèi)容檢索。

背景介紹
隨著智能手機(jī)的普及、無人機(jī)的流行，業(yè)界產(chǎn)生了海量的圖片、視頻等多媒體數(shù)據(jù)；同時，網(wǎng)絡(luò)也在飛速發(fā)展，特別是4G的推廣，讓這些數(shù)據(jù)的保存、分享發(fā)生了巨大的變化，從而也帶來了媒體數(shù)據(jù)各行業(yè)的新趨勢。我們親身體驗(yàn)到通信方式從短信變成語音，瀏覽內(nèi)容從文字變成圖片、從JPG靜態(tài)圖片變成GIF動態(tài)圖片、再到短視頻；從去年開始，直播也火熱起來，成為一種流行的時尚。這些迅速的變化趨勢，反應(yīng)了一個共同的特點(diǎn)，就是“交互的信息量越豐富、越實(shí)時，用戶越容易被吸引，越會產(chǎn)生新的價值”。

如圖中所示行業(yè)，都在利用最新的人工智能(Artificial Intelligence, AI)技術(shù)產(chǎn)生新的價值，同時也引入新的需求：

手機(jī)相冊。它早已不是簡單的圖片備份，iOS通過AI構(gòu)建人臉相冊、場景標(biāo)簽、編輯應(yīng)用，變成吸引客戶的亮點(diǎn)，成為新的基線。
視頻監(jiān)控。它不再只是記錄取證工具，而是利用AI發(fā)展為智慧城市，變成了智慧的眼睛，要管理整個城市的交通信息。
直播應(yīng)用。個人分享已不僅僅是博客、微博的文本形式，更是轉(zhuǎn)變?yōu)榭焖僦庇^的視頻模式，這背后需要更高、更快的直播內(nèi)容理解、審核需求。
數(shù)據(jù)處理場景需求
對于圖片分享社區(qū)應(yīng)用場景，最基本的功能是提供備份、分享，但這并不能帶來更多的價值。只有提供更多的圖片處理能力，比如主體剪裁、人臉識別、濾鏡功能、風(fēng)格渲染、視頻合成等數(shù)據(jù)處理功能，如下圖所示。這些亮點(diǎn)將為使用者帶來“生活不止眼前的茍且，還有依然在你身邊的美好”回憶，從而讓應(yīng)用更具吸引力。

內(nèi)容檢索場景需求
如今的綜藝節(jié)目非常火爆，例如跑男、極限挑戰(zhàn)等，每期拍攝的素材量千倍于實(shí)際播出量；要在這海量素材中快速掃描、找到爆點(diǎn)，需要相當(dāng)大的工作量，例如當(dāng)前的人肉檢索低效率方式需要處理幾周的時間。如果能夠基于AI分析語音、人物、場景得到結(jié)構(gòu)化信息，并索引管理起來，支撐更好的檢索，它將會大大的提高素材的處理效率。

同樣，在線教育等領(lǐng)域，對于老師、演講者的材料、語音、視頻內(nèi)容，如果能夠提供快速的解析索引能力，那么它將給學(xué)習(xí)者提供便捷的專場內(nèi)容描述、快速定位關(guān)鍵術(shù)語、演講筆記同步提取等亮點(diǎn)。

客戶痛點(diǎn)分析
要滿足上述場景需求，當(dāng)前應(yīng)用架構(gòu)設(shè)計(jì)時，需要選型不同數(shù)據(jù)處理功能的廠家（包括AI廠家）進(jìn)行集成、或者自研開發(fā)，對于內(nèi)容檢索，還需要分析場景細(xì)節(jié)需求，引入數(shù)據(jù)庫設(shè)計(jì)和開發(fā)。這都需要很好的技術(shù)能力，以及開發(fā)團(tuán)隊(duì)的支撐，并解決如下的痛點(diǎn)。

多廠家管理痛點(diǎn)

圖片應(yīng)用將數(shù)據(jù)保存到云存儲后，要選擇不同廠家的AI分析能力，支撐業(yè)務(wù)和監(jiān)管的需求。應(yīng)用通常會在云服務(wù)器（Elastic Compute Service，ECS）上部署AI廠家的軟件包，或者直接調(diào)用AI廠家提供的服務(wù)，但需要解決如下問題：

接口不統(tǒng)一。因?yàn)榇嬖诙鄰S家的選型，需要考慮不同廠家接口的兼容性。
資源浪費(fèi)。同一張圖片會被多次讀取，甚至是傳輸?shù)酵獠烤W(wǎng)絡(luò)，浪費(fèi)網(wǎng)絡(luò)帶寬，提高使用成本。
無存量數(shù)據(jù)的低成本批量處理方案。采用廠商的同步處理價格高昂，需要提供存量數(shù)據(jù)的低成本批量處理方案，接受異步接口返回檢測結(jié)果（比如針對存量的OSS桶里面的所有圖片，進(jìn)行批量鑒黃）。
復(fù)雜元數(shù)據(jù)管理痛點(diǎn)

智能網(wǎng)盤通過自己的用戶鑒權(quán)服務(wù)允許客戶登錄，然后采用基礎(chǔ)數(shù)據(jù)管理把圖片、視頻上傳到云存儲OSS中。為了提供人臉分組、標(biāo)簽分組等搜索功能，需要提供各類元數(shù)據(jù)管理，定義基于場景的表格式、處理數(shù)據(jù)庫的異常，它將帶來如下的開發(fā)難度：

元數(shù)據(jù)表設(shè)計(jì)難度大。針對不同的元數(shù)據(jù)，需要分類設(shè)計(jì)各類表結(jié)構(gòu)存儲，有相當(dāng)?shù)募夹g(shù)門檻。
多維度元數(shù)據(jù)管理有挑戰(zhàn)。需要組合多種元數(shù)據(jù)，進(jìn)行多維度查詢處理，存在設(shè)計(jì)挑戰(zhàn)。
維護(hù)元數(shù)據(jù)的的一致性難題。解決這些元數(shù)據(jù)在異常場景下的異常處理，是系統(tǒng)級難題。
設(shè)計(jì)目標(biāo)

通過上述的場景和痛點(diǎn)分析，智能媒體管理（IMM）服務(wù)提取了6個關(guān)鍵點(diǎn)作為設(shè)計(jì)目標(biāo)：

海量數(shù)據(jù)，支撐云存儲上的海量數(shù)據(jù)處理。
端云拉通，能夠讓端和云進(jìn)行有效的協(xié)作。
場景結(jié)合，基于場景構(gòu)建元數(shù)據(jù)管理便于快速接入。
一鍵處理，簡化配置和使用、提高系統(tǒng)易用性。
智能分析，引入業(yè)界領(lǐng)先的處理能力，特別是AI能力。
標(biāo)準(zhǔn)統(tǒng)一，訪問接口統(tǒng)一為阿里云的標(biāo)準(zhǔn)。
功能描述

對于云存儲上的海量數(shù)據(jù)，通過授權(quán)訪問的安全設(shè)計(jì)，讓數(shù)據(jù)處理分析服務(wù)能夠有權(quán)限訪問數(shù)據(jù)，在此之上構(gòu)建數(shù)據(jù)智能處理框架，該框架針對離線處理優(yōu)化設(shè)計(jì)，同時支持實(shí)時處理能力。基于該處理框架，引入了業(yè)界領(lǐng)先的數(shù)據(jù)處理能力，包括各種AI能力。利用離線處理能力關(guān)聯(lián)授權(quán)的云存儲，可以提供便捷的存量數(shù)據(jù)一鍵分析，通過該分析過程構(gòu)建價值元數(shù)據(jù)，支撐更好的內(nèi)容檢索。通過這樣的設(shè)計(jì)，從而提供如下功能：

普惠AI算法，提供豐富功能。人臉分組、圖片打標(biāo)、版權(quán)、鑒黃等能力。
價值元數(shù)據(jù)，為客戶帶來新的增長點(diǎn)。整合價值元數(shù)據(jù)，提供智能分析搜索。
OFFICE文檔處理，簡化客戶使用。提供典型的OFFICE文件格式轉(zhuǎn)換，便于移動設(shè)備瀏覽辦公文檔。
場景化、一鍵式處理，提高易用性。基于場景模版，結(jié)合實(shí)時、離線處理引擎，一鍵生成網(wǎng)盤關(guān)鍵元數(shù)據(jù)。
架構(gòu)介紹

如圖是IMM服務(wù)的架構(gòu)依賴上下文，服務(wù)本身的架構(gòu)分為2層：處理引擎、元數(shù)據(jù)索引。

架構(gòu)依賴上下文
對下依賴阿里云的對象存儲、文件存儲等服務(wù)，通過安全的機(jī)制訪問里面存儲的非結(jié)構(gòu)化數(shù)據(jù)（例如圖片、視頻），提取價值信息。
對上依賴場景理解，進(jìn)行封裝，支撐視頻網(wǎng)盤、手機(jī)相冊、社交圖庫、家庭監(jiān)控等圖片、視頻應(yīng)用場景，為它們產(chǎn)生新的價值。
處理引擎層
基于阿里云存儲，就近構(gòu)建計(jì)算框架，該框架支持批量異步處理、準(zhǔn)實(shí)時同步處理，在一鍵關(guān)聯(lián)云存儲（例如，指定Bucket的目錄前綴、指定Bucket的某個對象）后，實(shí)現(xiàn)快速的自動數(shù)據(jù)處理，通過整合業(yè)界領(lǐng)先的數(shù)據(jù)處理算法，處理引擎提供如下功能。

OFFICE文檔格式轉(zhuǎn)換。支持將OFFICE文檔轉(zhuǎn)換為JPG圖片格式，從而更好的支持網(wǎng)盤的文檔預(yù)覽功能。
大圖處理。支持將超大的圖片進(jìn)行切割、縮放處理，友好的支撐相冊、圖庫場景的精細(xì)看圖功能。
標(biāo)簽檢測。通過人工智能技術(shù)，識別圖片、視頻中的物品標(biāo)簽，從而實(shí)現(xiàn)機(jī)器的制動打標(biāo)，更好的支撐推薦應(yīng)用。
人臉檢測。通過人工智能技術(shù)，識別圖片、視頻中的人臉，檢測出人臉框，判斷人臉姿勢、年齡、性別等屬性。
元數(shù)據(jù)索引層
基于處理引擎提供的功能，通過對場景的深入理解和梳理，IMM封裝了場景的元數(shù)據(jù)設(shè)計(jì)，對外提供場景的元數(shù)據(jù)訪問接口，簡化場景應(yīng)用的設(shè)計(jì)難度、無須關(guān)注元數(shù)據(jù)索引數(shù)據(jù)庫的運(yùn)維工作，目前支持如下的元數(shù)據(jù)索引。

人臉分組索引。構(gòu)建元數(shù)據(jù)集合，然后調(diào)用人臉分組的接口分析圖片，把得到的元數(shù)據(jù)加入到該元數(shù)據(jù)集合中，從而可以得到該集合中相似的人臉。通過該索引，可以快速的支撐網(wǎng)盤的人臉相冊、家庭監(jiān)控的陌生人檢測、甚至新零售的顧客管理等場景。
標(biāo)簽分組索引。構(gòu)建元數(shù)據(jù)集合，然后調(diào)用標(biāo)簽分組的索引接口分析圖片，把得到的元數(shù)據(jù)加入到該元數(shù)據(jù)集合中，從而可以根據(jù)標(biāo)簽搜索圖片。通過該索引，可以快速的支撐網(wǎng)盤的場景相冊、家庭監(jiān)控的寵物跟蹤、甚至暴力、恐怖、色情圖片等標(biāo)簽的搜索。
調(diào)度框架

IMM的所有數(shù)據(jù)處理請求都在調(diào)度框架下執(zhí)行，例如上述架構(gòu)中提到的處理引擎層、元數(shù)據(jù)索引層請求，它由2部分組成：

運(yùn)行實(shí)例（Instance）。運(yùn)行實(shí)例是運(yùn)行指定數(shù)據(jù)處理功能的節(jié)點(diǎn)，例如運(yùn)行圖片打標(biāo)功能的節(jié)點(diǎn)。它可以是虛擬機(jī)、或者Docker，能夠采用預(yù)留類型、或者Spot競價類型的實(shí)例，支持部署在阿里云的VPC（Virtual Private Cloud）環(huán)境，保證數(shù)據(jù)處理功能的安全性、隔離性。
調(diào)度控制器（Schedule Controller）。調(diào)度控制器負(fù)責(zé)把IMM接收到的請求分發(fā)到指定功能的實(shí)例上，它支持接收同步、異步的請求，提供準(zhǔn)實(shí)時、離線的調(diào)度。針對負(fù)載的變化，實(shí)現(xiàn)了實(shí)例資源池的彈性伸縮、故障處理、自動升級等能力。
當(dāng)調(diào)度框架收到同步的請求時，例如DetectTag進(jìn)行圖片打標(biāo)分析時。調(diào)度框架將會把請求分發(fā)到請求隊(duì)列的Pipeline，然后根據(jù)后端實(shí)例的節(jié)點(diǎn)狀態(tài)、負(fù)載情況快速轉(zhuǎn)發(fā)請求，從而達(dá)到準(zhǔn)實(shí)時調(diào)度的能力。為了保證請求的低時延，以及請求的成功率，通常選擇預(yù)留的實(shí)例。

當(dāng)調(diào)度框架收到異步的請求時，例如CreateTagJob指定OSS的桶、前綴進(jìn)行批量的圖片打標(biāo)分析時。調(diào)度框架將會把請求放到調(diào)度器，調(diào)度器遍歷OSS桶、前綴的對象，然后生成單個對象的數(shù)據(jù)處理請求并分發(fā)到多個請求隊(duì)列中，再根據(jù)后端實(shí)例的節(jié)點(diǎn)狀態(tài)、負(fù)載情況快速向多個實(shí)例轉(zhuǎn)發(fā)請求，從而達(dá)到離線調(diào)度的能力。為了保證離線調(diào)度的成本，通常選擇Spot類型的競價實(shí)例。

通過上述調(diào)度控制和數(shù)據(jù)處理分離的架構(gòu)，調(diào)度框架提供如下亮點(diǎn)：

準(zhǔn)實(shí)時、離線調(diào)度。針對離線處理性價比競爭力的優(yōu)化設(shè)計(jì)下，也能提供準(zhǔn)實(shí)時能力，實(shí)現(xiàn)數(shù)據(jù)處理的閉環(huán)。
同步、異步請求。支撐一鍵式的異步處理需求同時，還提供了同步請求的靈活性。
數(shù)據(jù)處理能力的安全性。利用VPC部署數(shù)據(jù)處理的實(shí)例，保證了資源的隔離、安全的屏蔽。
如何使用
IMM提供控制臺操作和API接口，通過控制臺快速的創(chuàng)建IMM的項(xiàng)目，然后體驗(yàn)IMM的數(shù)據(jù)處理功能。

控制臺使用

登錄阿里云控制臺，執(zhí)行如下操作：

第一步，開通智能媒體管理服務(wù)。開通后，即可使用IMM提供的功能。
第二步，創(chuàng)建項(xiàng)目。使用IMM必須要創(chuàng)建項(xiàng)目，它是IMM資源管理、計(jì)費(fèi)的基本單元。

創(chuàng)建了項(xiàng)目，就可以體驗(yàn)IMM支持的功能：

格式預(yù)覽。支持OFFICE文檔轉(zhuǎn)換，并用圖片方式預(yù)覽。
人臉檢測。檢測照片中的人臉，識別年齡、性別，眼部狀態(tài)信息。
圖片打標(biāo)。檢測圖片包含的標(biāo)簽信息，以及置信度值。
詳細(xì)的控制臺使用介紹，請參考IMM快速開始。

API使用
IMM的API調(diào)用方法
調(diào)用IMM的API需要遵守阿里云的API規(guī)范，請參考IMM API調(diào)用，請您注意調(diào)用時的參數(shù)，特別是簽名。

如下是IMM典型功能的API調(diào)用示例。

文件格式轉(zhuǎn)換CreateFormatConvertJob

POST https://imm.cn-shanghai.aliyuncs.com?Action=CreateFormatConvertJob
&Project=test
&SrcUri="oss://bucket1/test.pptx"
&TgtType=jpg
&TgtUri="oss://bucket1/imm-format-convert-tgt/session123/"
&ExternalID=aaa

該功能接口的詳細(xì)信息，請參考CreateFormatConvertJob。

圖片打標(biāo)DetectTag

POST https://imm.cn-shanghai.aliyuncs.com?Action=DetectTag
&Project=test
&SrcUri=["oss://bucket1/1.jpg"]

該功能接口的詳細(xì)信息，請參考DetectTag。

人臉檢測DetectFace

POST https://imm.cn-shanghai.aliyuncs.com?Action=DetectFace
&Project=test
&SrcUri=["oss://bucket1/A.jpg"]

該功能接口的詳細(xì)信息，請參考DetectFace。

批量鑒黃CreatePornBatchDetectJob

POST https://imm.cn-hangzhou.aliyuncs.com?Action=CreatePornBatchDetectJob
&Project=test
&SrcUri="oss://bucket/prefix"
&TgtUri="oss://bucket/imm-porn-batch-tgt/session1"

該功能接口的詳細(xì)信息，請參考CreatePornBatchDetectJob。

立即體驗(yàn)
現(xiàn)在產(chǎn)品已經(jīng)在阿里云官網(wǎng)正式開始公測，點(diǎn)擊這里立即體驗(yàn)。

后續(xù)規(guī)劃
下一階段，IMM將和OSS集成拉通：

在OSS控制臺集成IMM功能。實(shí)現(xiàn)OFFICE文檔的預(yù)覽，媒體對象的AI功能。
在OSS提供存量數(shù)據(jù)的IMM處理對接。可以通過OSS的控制臺，選擇某個桶或者其目錄，調(diào)用IMM的批量異步任務(wù)，例如批量鑒黃，從而享受高性價比、便捷的數(shù)據(jù)處理。
在OSS的API中拉通。調(diào)用oss的x-oss-process處理引擎時，調(diào)用到IMM的API進(jìn)行處理。
通過這樣端的端的集成，從而讓您在云上的管理更加易用。
點(diǎn)擊查看原文