資訊專欄INFORMATION COLUMN
摘要：運用深度學習，這個系統能夠根據輸入的圖形用戶界面截圖直接輸出對應的代碼，從而省去前端手動編寫代碼的過程。如果二者存在任何長度上的差異，同樣會被認定為錯誤。我們相信未來將與人類協作，而不是代替人類。
UI設計和前端工程師之間，可能還需要一個神經網絡。
近日，位于哥本哈根的一家創業公司Uizard Technologies開發出了一個名為“pix2code”的系統。運用深度學習，這個系統能夠根據輸入的圖形用戶界面（GUI）截圖直接輸出對應的代碼，從而省去前端手動編寫代碼的過程。
目前pix2code所生成代碼的準確率已經達到77%，且這些代碼能夠兼容安卓、iOS以及Web界面三種平臺。
到底有多神奇？看看下面這段視頻就知道了。
UIzard的創始人Tony Beltramelli說，為了搞出這個神經網絡，研發團隊不得不克服三個主要方面的困難：
第一是計算機視覺層面——計算機無法自動識別、理解給定的對象和場景，也無法判斷它們的位置和特征；
第二是語言層面——他們需要教會神經網絡理解文本，好讓它能夠創造出準確的樣本；
最后，神經網絡需要理解代碼、文本以及對應圖像之間的關聯。
Beltramelli還表示，在未來，他們可能會用生成對抗網絡（GANs）對pix2code進行進一步的完善。GANs已經證明了自己在生成序列和圖像時的優勢，但因為這一領域內的研究還處于相對初步的階段，要對神經網絡進行訓練仍然需要花費大量的時間。
附paper地址：
https://arxiv.org/abs/1705.07962
GitHub地址：
https://github.com/tonybeltramelli/pix2code
此外，在GitHub上，Beltramelli對于pix2code相關的一些常見問題進行了解答。量子位將這一部分編譯如下：
Q：數據集會在什么時候開放？
A：我們把論文投到了今年的NIPS，等他們給出采納或拒絕的結果后，數據集將會開放，具體時間大概在九月。那時我們將會提供包含在數據集中的GUI截圖、相關的DSL代碼以及針對iOS、安卓和Web界面的三種目標代碼。
Q：源代碼什么時候開放？
A：原本如論文中所寫，我們沒有開放源代碼的計劃。但沒想到這個項目吸引了如此多的關注，因此我們決定將論文中說的pix2code實現代碼和數據集一起開源。
Q：pix2code會支持其他目標平臺/語言嗎？
A：不，pix2code只是一個研究項目，它將保持論文中所描述的狀態。這個項目其實只是對我們在Uizard Technologies所做工作的一個小小展示。當然，我們歡迎你fork，自己在其他目標平臺/語言上進行實驗。
Q：我能在自己的前端項目中用上pix2code嗎？
A：不，pix2code只是實驗性的項目，目前還無法讓你在特定案例上應用。但我們正在努力爭取讓它實現商業化。
Q：模型的表現是如何進行測量的？
A：論文中所報告的準確或是錯誤結果都是在DSL層次上，通過對生成的token和預期的token進行比較而得出的。如果二者存在任何長度上的差異，同樣會被認定為錯誤。
Q：訓練這個模型要花費多久？
A：在一塊英偉達的Tesla K80 GPU上，要讓一個數據集中包括的109 * 10^6條參數最優化，需要花費不到5個小時的時間。因此如果你想在三個目標平臺上對這個模型進行訓練的話，大概要花費15個小時。
Q：我是一名前端開發者？我是不是很快就要失業？（我非常真誠地問了這個問題好多遍了……）
A：AI并不會那么快就把前端工程師替代。
即便假定已經存在一個成熟的pix2code版本，在每種不同的平臺/語言上生成的代碼都能達到100%的準確率，好的前端仍然需要邏輯、互動、高級的圖形和動畫，以及其他所有用戶喜歡的東西。
我們做這個東西的目的是填平UI/UX設計師與前端開發者之間的鴻溝，而不是去代替他們。我們希望能讓設計者更好地創作，同時讓開發人員將自己的時間更多地花費在那些核心功能上。
我們相信未來AI將與人類協作，而不是代替人類。
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識
QQ群：81035754
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/4549.html
摘要：讀奇米是由奇舞團開源的一套視頻播放器解決方案，由奇舞團視頻云前端團隊結合在業務和視頻編解碼方向的沉淀積累傾心打造。 Chimee（讀奇米, [t??m?:]）是由奇舞團開源的一套 H5 視頻播放器解決方案，由奇舞團視頻云前端團隊結合在業務和視頻編解碼方向的沉淀積累傾心打造。 showImg(https://segmentfault.com/img/bVX8GW?w=640&h=364)...
摘要：讀奇米是由奇舞團開源的一套視頻播放器解決方案，由奇舞團視頻云前端團隊結合在業務和視頻編解碼方向的沉淀積累傾心打造。 Chimee（讀奇米, [t??m?:]）是由奇舞團開源的一套 H5 視頻播放器解決方案，由奇舞團視頻云前端團隊結合在業務和視頻編解碼方向的沉淀積累傾心打造。 showImg(https://segmentfault.com/img/bVX8GW?w=640&h=364)...
閱讀 2670·2023-04-25 18:10
閱讀 1604·2019-08-30 15:53
閱讀 2787·2019-08-30 13:10
閱讀 3215·2019-08-29 18:40
閱讀 1127·2019-08-23 18:31
閱讀 1200·2019-08-23 16:49
閱讀 3399·2019-08-23 16:07
閱讀 876·2019-08-23 15:27
