摘要：元旦假期即將來臨，我們精心準(zhǔn)備了這本阿里巴巴機(jī)器智能計(jì)算機(jī)視覺技術(shù)精選，收錄了頂級(jí)會(huì)議阿里論文，送給計(jì)劃在假期充電的同學(xué)們，也希望能和更多學(xué)術(shù)界工業(yè)界同仁一起探討交流。

當(dāng)下計(jì)算機(jī)視覺技術(shù)無疑是AI浪潮中最火熱的議題之一。視覺技術(shù)的滲透，既可以對(duì)傳統(tǒng)商業(yè)進(jìn)行改造使之看到新的商業(yè)機(jī)會(huì)，還可以創(chuàng)造全新的商業(yè)需求和市場(chǎng)。無論在電商、安防、娛樂，還是在工業(yè)、醫(yī)療、自動(dòng)駕駛領(lǐng)域，計(jì)算機(jī)視覺技術(shù)都扮演著越發(fā)重要的角色。

元旦假期即將來臨，我們精心準(zhǔn)備了這本《阿里巴巴機(jī)器智能計(jì)算機(jī)視覺技術(shù)精選》，收錄了頂級(jí)會(huì)議 CVPR 2018 阿里論文，送給計(jì)劃在假期“充電”的同學(xué)們，也希望能和更多學(xué)術(shù)界、工業(yè)界同仁一起探討交流。

下載地址：https://yq.aliyun.com/download/3237?utm_content=g_1000033518

在這本干貨精選集中，我們收錄了多篇具有代表性的 CVPR 2018 論文。比如，拍立淘利用圖像搜索和識(shí)別技術(shù)，幫助用戶在移動(dòng)端通過拍照就能找到相似商品；線下新零售領(lǐng)域，阿里用空間定位、貨架商品SKU識(shí)別技術(shù)推動(dòng)“人貨場(chǎng)”數(shù)字化，并做進(jìn)一步的商業(yè)分析；城市大腦項(xiàng)目中，阿里研發(fā)了大規(guī)模視頻高效處理技術(shù)，幫助城市交通事故識(shí)別、人流軌跡判斷、交通數(shù)據(jù)樣本匯總。

Spotlight論文《基于時(shí)間尺度選擇的在線行為預(yù)測(cè)》討論了視頻中行為預(yù)測(cè)的一個(gè)非常重要的問題：怎么去選擇一個(gè)好的時(shí)間維度窗口？論文提出了包含多個(gè)子網(wǎng)絡(luò)的尺度選擇網(wǎng)，比如包括時(shí)間序列建模的一維卷積子網(wǎng)絡(luò)、尺度回歸子網(wǎng)絡(luò)以及行為預(yù)測(cè)子網(wǎng)絡(luò)。在兩個(gè)公開數(shù)據(jù)集上，尺度選擇網(wǎng)的實(shí)驗(yàn)結(jié)果優(yōu)于其他方法，并且準(zhǔn)確率也接近使用Ground Truth尺度的結(jié)果。

Spotlight論文《基于語境對(duì)比特征和門控多尺度融合的場(chǎng)景分割》致力于場(chǎng)景分割中的兩大問題：場(chǎng)景圖片中像素形式的多樣化（例如：顯著或者不顯著、前景或者背景）和場(chǎng)景圖片中物體大小的多樣性。文章針對(duì)這兩個(gè)問題分別提出了語境對(duì)比局部特征和門控多尺度融合方法。本文提出的模型在Pascal Context, SUN-RGBD和COCO Stuff 三個(gè)場(chǎng)景分割數(shù)據(jù)集上驗(yàn)證了性能，取得了目前最高的場(chǎng)景分割性能。

對(duì)于跨模態(tài)檢索而言，如何學(xué)到合適的特征表達(dá)非常關(guān)鍵。Spotlight論文《所見所想所找－基于生成模型的跨模態(tài)檢索》提出了一種基于生成模型的跨模態(tài)檢索方法，該方法可以學(xué)習(xí)跨模態(tài)數(shù)據(jù)的高層次特征相似性，以及目標(biāo)模態(tài)上的局部相似性。本文通過大量的實(shí)驗(yàn)證明了所提出的方法可以準(zhǔn)確地匹配圖像和文本，并且在MSCOCO以及Flickr30K的數(shù)據(jù)集上都取得了state-of-the-art的效果。

在論文《整體還是局部？應(yīng)用Localized GAN進(jìn)行圖像內(nèi)容編輯、半監(jiān)督訓(xùn)練和解決mode collapse問題》中，作者建立了GAN和半監(jiān)督機(jī)器學(xué)習(xí)中Laplace-Beltrami算子的聯(lián)系，在用少量標(biāo)注樣本訓(xùn)練深度學(xué)習(xí)模型上取得了優(yōu)異的性能。同時(shí)論文還展示了用Localized GAN (LGAN)對(duì)給定圖像在局部坐標(biāo)系下進(jìn)行編輯修改，從而獲得具有不同角度、姿態(tài)和風(fēng)格的新圖像；以及如何從流型切向量獨(dú)立性的角度來解釋和解決GAN的mode collapse問題。

論文《處理多種退化類型的卷積超分辨率》針對(duì)現(xiàn)有基于CNN的單圖超分(SISR)算法不能擴(kuò)展到用單一模型解決多種不同的圖像退化類型的問題，提出了一種維度拉伸策略，使得單個(gè)卷積超分辨率網(wǎng)絡(luò)能夠?qū)ISR退化過程的兩個(gè)關(guān)鍵因素（即模糊核和噪聲水平）作為網(wǎng)絡(luò)輸入來解決這個(gè)問題。實(shí)驗(yàn)結(jié)果表明提出的卷積超分辨率網(wǎng)絡(luò)可以快速、有效的處理多種圖像退化類型，為SISR實(shí)際應(yīng)用提供了一種高效、可擴(kuò)展的解決方案。

論文《于尺度空間變換的本征圖像分解》將把圖像分解為其本征的反射圖像和光照?qǐng)D像看作是一個(gè)圖像到圖像的轉(zhuǎn)換問題，并且將輸入和輸出在尺度空間進(jìn)行分解。通過將輸出圖像（反射圖像和光照?qǐng)D像）擴(kuò)展到它們的拉普拉斯金字塔的各個(gè)成分，論文提出了一種多通道網(wǎng)絡(luò)結(jié)構(gòu)，可以在每個(gè)通道內(nèi)并行地學(xué)習(xí)到一個(gè)圖像到圖像轉(zhuǎn)換函數(shù)，這個(gè)函數(shù)通過一個(gè)具有跳過連接的卷積神經(jīng)網(wǎng)絡(luò)來表示。在MPI-Sintel數(shù)據(jù)集和MIT Intrinsic Images數(shù)據(jù)集上結(jié)果表明，新提出的模型在比之前最先進(jìn)的技術(shù)上有了明顯的進(jìn)步。

大多數(shù)現(xiàn)有的零樣本學(xué)習(xí)（Zero-Shot Learning，ZSL）方法都存在強(qiáng)偏問題。在論文《基于直推式無偏嵌入的零樣本學(xué)習(xí)》中，作者提出了一個(gè)簡(jiǎn)單而有效的方法，稱為準(zhǔn)完全監(jiān)督學(xué)習(xí)（QFSL），來緩解此問題。假定標(biāo)記的源圖像和未標(biāo)記的目標(biāo)圖像都可用于訓(xùn)練。在語義嵌入空間中，被標(biāo)記的源圖像被映射到由源類別指定的若干個(gè)嵌入點(diǎn)，并且未標(biāo)記的目標(biāo)圖像被強(qiáng)制映射到由目標(biāo)類別指定的其他點(diǎn)。在AwA2，CUB和SUN數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，文章的方法在遵循廣義ZSL設(shè)置的情況下比現(xiàn)有技術(shù)的方法優(yōu)越。

更為具體的實(shí)踐信息，大家可以通過此本電子書，進(jìn)一步了解。

好的視覺技術(shù)不僅需要好的方法指引，還需要在實(shí)際的場(chǎng)景中形成數(shù)據(jù)閉環(huán)和不斷打磨。未來的計(jì)算機(jī)視覺技術(shù)一定是理論探索和數(shù)據(jù)實(shí)踐的共同推進(jìn)。希望這本論文合集能拋磚引玉，給學(xué)術(shù)界和工業(yè)界帶來一些輸入，共同推進(jìn)計(jì)算機(jī)視覺技術(shù)的發(fā)展。

本文作者：元旦“充電包”

閱讀原文

本文來自云棲社區(qū)合作伙伴“阿里技術(shù)”，如需轉(zhuǎn)載請(qǐng)聯(lián)系原作者。