摘要:節目中,鹿班將接受設計領域的兩輪檢驗,如果鹿班的作品被現場觀眾成功找出,則認為鹿班通過檢驗。
近期,央視《機智過人》的舞臺上來了位“三超設計師”——設計能力超強;出圖能力超快;抗壓能力超強,成功迷惑嘉賓和現場觀眾,更讓撒貝寧出錯三連。
節目一開場,這位“設計師”就為現場嘉賓:主持人撒貝寧、演員韓雪、神經科學家魯白生成了三張獨具特色的海報。幾乎是說話的瞬間,海報立即生成,出圖速度之快讓撒貝寧驚呼“秒完”。
這位設計師正是阿里巴巴研制的AI設計師——鹿班。鹿班是為解放人類平面設計師而生,它學習了五百萬張人類設計作品,現在它每秒能做八千次設計。自從2016年上線至今,鹿班已經完成了十億次海報制作,是全球首位大規模投入使用的人工智能平面設計師。
節目中,鹿班將接受設計領域的兩輪檢驗,如果鹿班的作品被現場觀眾成功找出,則認為鹿班通過檢驗。究竟AI能否在設計領域達到人類水平?接下來,我們一起走進檢驗場。
第一輪挑戰中,鹿班與一次成稿率在80%以上的設計師、從業十二年的資深設計師等三位同臺競技,各自設計一張以“汽車卓越加速性能”為主題的商業海報。下圖即四位設計師的設計成圖,大家不妨來猜一猜哪幅是鹿班的作品。
根據現場觀眾投票,多數觀眾認為4號作品出自鹿班之手。讓觀眾出乎意料的是2號才是鹿班的創作,這個結果讓神經學家魯白大呼“不服氣”。
不信?眼見為實!
接下來,戰況升級。中央美術學院院長范迪安教授帶來畫家與服裝設計師來和鹿班同臺創作,為《孫子兵法》這本書設計封面。
面對設計難度升級,鹿班能否成功應對?我們馬上揭曉鹿班和兩位人類設計師為《孫子兵法》設計的封面的作品:
以上圖片中有三幅作品,其中哪一張是鹿班的設計?到底觀眾們有沒有猜對?不急,我們先請阿里巴巴資深技術專家星瞳為我們揭秘鹿班背后的技術。
使用場景
視覺生成引擎的使用場景大致可抽象成下圖。以顯式輸入而言,用戶可以輸入標簽需要的風格、色彩、構圖等,或者輸入一個例子,或者進行一些交互的輸入。除顯式輸入之外還可以有隱式輸入,比如人群信息、場景信息、上下文信息等。總的來說,輸入可以是千變萬化的,但通過規范化之后就會減少變化,使得生成過程可控,輸出質量可控。
對視覺生成引擎來說,它要求輸入是規范化的。但在輸入前,可以加入各種交互方式,如自然語言處理,語音識別等,將其轉化成規范化輸入。最后輸出結構化信息或可視成圖。
技術框架和生產流程
其技術框架如下圖左側。首先對視覺內容進行結構化理解,如分類、量化、特征化。其次通過一系列學習、決策變成滿足用戶需求的結構化信息即數據,最后將數據轉化成可視的圖像或視頻。這一框架依賴于大量的現有數據。其核心是一個設計內核。同時,引入效用循環,利用使用后的反饋來不斷迭代和改進系統。
其生產流程分成六個步驟,如下圖右側所示。首先用戶提出需求,將需求特征化轉變成系統可以理解的結構化信息。其次將信息進行規劃得到草圖。有了粗略的草圖后再將其轉變成相對更精確的圖,然后調整細節,最后通過數據可視化形成最終的圖。當然其中還有很多的trick,以及各部分的優化。
關鍵算法
下面介紹一些關鍵算法。我們希望基于下圖最左的耐克鞋生成最右的圖。先通過規劃器得到草圖,再通過強化學習獲得相對細致的結果,再通過對抗學習及渲染算法得到圖片,再通過評估器進行評估,最后形成業務閉環,其中還會有一些基礎的能力,包含更強的聯合特征(非普通 CNN特征)及多維度檢索算法等。
基本上,處理的第一步是將圖片中的信息結構化,這也是與現有的識別理解技術結合最緊密的地方。其中的難點和重點包括,對圖像中多目標的識別、遮擋和互包含情況如何得到分割的信息等,下圖只是個簡單的示例。
有了結構化信息之后,需要對信息進行量化。可以量化成特征或量化圖。量化過程中會包含很多信息,比如主題風格、布局配色、元素種類、量化空間等。有了這些信息后可以在主題、種類、風格、視覺特征大小位置上,量化成各種碼,用相對有限的特征來表達無限的圖。
下一步是通過用戶的輸入,得到一個相對粗略的結果即草圖。目前主要使用的是深度序列學習。從圖像角度,首先選定一個點的像素顏色再選擇位置,再迭代進行操作,最后形成一張圖。規劃器模擬的就是這個過程。本質上預測過程是一棵樹,當然也可以拆成一條條路徑。為了簡化,可以分成幾步進行,比如空間序列,視覺序列。最后形成量化特征模型,主要應用的是LSTM模型。它把設計的過程轉化成基于遞歸、循環的過程。
得到草圖后,利用行動器將草圖細化。如果將圖中的每個元素看作一個Agent,那么它將有若干個可選的行動空間。
假設一張圖中有20個元素,每個元素在視覺上有多種可選的行動空間,由其組合成的可選行動空間非常龐大。我們有很多trick可以解決這一問題,比如在空間上,只允許在有限范圍內進行變動,且行動方向有序,即狀態有序,行動有限。
下一步是如何衡量結果的好壞。圖像的評估相對比較主觀,主要可以從美學和效果兩方面來評估。美學角度可以包括是否對齊、色系搭配是否合理、有無遮擋這些較低級別的判斷標準,以及較高級的,比如風格是否一致,是否切合主題。從效果上,產品投放后是否會在點擊率等方面實現提升。最后將多個指標形成對應權重并形成多個DeepLR聯合模型。
但在衡量結果之前,需要形成像素級別可見的圖。這里有以下幾種構造器分類,包括臨摹、遷移、創造、搭配與生成。
前面介紹了,如何通過用戶的需求形成可見的圖。后續還需要進行投放和反饋并進行優化,形成效用外循環。這樣才能使得系統效用不斷得到提升,形成一個在線閉環,這也是智能設計相對設計師的一大優勢。
從技術角度來說,鹿班可以滿足海量無選擇客戶的需求。相信在未來,可以做到“所想,即所見”。節目的最后,撒貝寧、韓雪、魯白紛紛為鹿班站臺,鹿班也因此成功入選 “2018智能先鋒”。
本文作者:厲害了!
閱讀原文
本文來自云棲社區合作伙伴“阿里技術”,如需轉載請聯系原作者。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/19858.html
摘要:阿里巴巴集團安全部今年在直播管控中的特色在于大量采用人工智能和深度學習等技術,配合優化后的高性能多媒體計算集群,大幅度降低人工審核成本的同時,提升了對內容風險的防控能力。 阿里巴巴直播內容風險防控中的AI力量 直播作為近來新興的互動形態和今年阿里巴巴雙十一的一大亮點,其內容風險監控是一個全新的課題,技術的挑戰非常大,管控難點主要包括業界缺乏成熟方案和標準、主播行為、直播內容不可控、峰值...
摘要:錢可以存儲在自己的余額中,這就相當于微信錢包,余額可以提現到銀行卡的中。我們的第三方支付平臺是連連支付,杭州的一家公司。私鑰怎么加簽每個公司的加簽方式是不一樣的,支付寶有支付寶的加簽方式,微信有微信的加簽方式。 導讀 筆者在校期間,通過自學java。學校里也開過這門課,但是,講的都是一些基礎,比如java的表達式、基本類型、自定義類型等等。也都是很基礎的東西,就連lambda表達式都沒...
閱讀 2900·2021-11-23 09:51
閱讀 1546·2021-11-15 11:36
閱讀 3005·2021-10-13 09:40
閱讀 1863·2021-09-28 09:35
閱讀 13039·2021-09-22 15:00
閱讀 1366·2019-08-29 13:56
閱讀 2923·2019-08-29 13:04
閱讀 2697·2019-08-28 18:06