摘要:近幾年來,由于其作為機器學習模型的使用已成倍增長,所以移動設備和嵌入式設備也出現了部署需求。使機器學習模型設備能夠實現低延遲的推理。設計初衷輕量級允許在具有很小的二進制大小和快速初始化啟動的機器學習模型設備上進行推理。
谷歌今天終于發布了TensorFlow Lite 的開發者預覽!該項目是在5月份的I/O開發者大會上宣布的,據Google網站描述,對移動和嵌入式設備來說,TensorFlow是一種輕量級的解決方案,支持多平臺運行,從機架式服務器到微小的物聯網設備。近幾年來,由于其作為機器學習模型的使用已成倍增長,所以移動設備和嵌入式設備也出現了部署需求。Tensorflow Lite使機器學習模型設備能夠實現低延遲的推理。
在本文中,Google展示了TensorFlow Lite的框架構成以及一些功能特性。
TensorFlow Lite設計初衷
輕量級:允許在具有很小的二進制大小和快速初始化/啟動的機器學習模型設備上進行推理。
跨平臺:能夠運行在許多不同的平臺上,首先支持Android和iOS平臺
快速:針對移動設備進行了優化,包括顯著提高模型加載時間和支持硬件加速
現在越來越多的移動設備集成了定制硬件來更有效地處理機器學習帶來的工作負載。TensorFlow Lite支持Android神經網絡API(Android Neural Networks API)利用這些新的加速器硬件。當加速器硬件不可用的時候,TensorFlow Lite會執行優化CPU,這可以確保你的模型仍然可以很快的運行在一個大的設備上。
TensorFlow Lite架構設計
下面的關系圖顯示了TensorFlow Lite的構架設計:
組件包括:
TensorFlow模型:一個保存在磁盤上訓練好的TensorFlow模型。
TensorFlow Lite轉換器:一個將模型轉換為Tensorflow Lite文件格式的程序。
TensorFlow模型文件:基于FlatBuffers格式的模型文件,已針對較大速度和最小尺寸進行了優化。
Tensorflow Lite模型文件將被部署在一個移動應用程序,其中:
Java API:在Android上對C++API的一個封裝。
C++ API:加載Tensorflow Lite模型文件和調用解釋器。在Android和iOS上共用同一個庫文件。?
解釋器:采用一組運算符來執行模型。解釋器支持選擇性的運算負荷;沒有運算符大小只有70kb,當所有的運算符加載時,大小是300kb。正常的移動端的Tensorflow(包含一個規范的運算符操作集)需要1.5M的大小,可以看到解釋器顯著減少了內存。
關于選擇Android設備,解釋器會采用Android Neural Networks API來進行硬件加速,或者如果沒有可用的,默認為CPU執行。
開發人員還可以使用C++ API實現可由解釋器使用的定制的內核。
模型
Tensorflow Lite已經有一些訓練和優化好的支持移動端的模型:
MobileNet: 一種能夠識別1000類不同目標的視覺模型,它是為在移動設備和嵌入式設備上高效執行而獨特設計的。
Inception v3: 一個圖像識別的模型,在功能上類似MobileNet,提供更高的精度同時也有較大的尺寸
Smart Reply: 一種設備級的會話模型,針對即將到來的會話聊天消息,它提供一種觸摸響應。在Android Wear上,第一方和第三方的消息應用程序均使用了此功能。
Inception v3和MobileNet均是在ImageNet數據集上預訓練好的。通過遷移學習,你可以輕松的在你自己的數據集上再訓練這個模型。
什么是TensorFlow Mobile?
正如你可能知道的,通過Tensorflow Mobile API,Tensorflow已經支持了在移動端和嵌入式上部署模型。未來TensorFlow Lite應該被視為Tensorflow Mobile的演化,并隨著它的成熟將成為模型部署在移動端和嵌入式設備上的推薦方案。目前TensorFlow Lite是開發者預覽版,同時Tensorflow Mobile仍然支持APP的開發。
Tensorflow Lite的應用范圍大,目前處于積極開發中。通過這個開發者預覽版,我們有意地啟動了一個帶約束的平臺來確保一些最重要的常用模型的性能。我們計劃根據用戶的需求對未來的功能擴展進行優先級排序。我們持續開發的目標是為了降低對開發人員經驗的要求,并能為一系列移動和嵌入式設備部署模型。
我們非常興奮開發者能夠上手使用Tensorflow Lite。對于其余的Tensorflow項目,我們計劃使用同一強度來支持和解決外部社區問題。期待你能用TensorFlow Lite做些非常酷的事情。
更多關于Tensorflow Lite的功能和信息,請點擊TensorFlow Lite文檔:
http://tensorflow.org/mobile/tflite
祝大家Tensorflow Lite編程快樂。
歡迎加入本站公開興趣群商業智能與數據分析群
興趣范圍包括各種讓數據產生價值的辦法,實際應用案例分享與討論,分析工具,ETL工具,數據倉庫,數據挖掘工具,報表系統等全方位知識
QQ群:81035754
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/4672.html
摘要:寫在前面這兩天,大家一定是被紅月亮刷屏了吧我們都被下面漂亮的月亮迷倒了吧哈哈,大家清醒清醒,那么漂亮的月亮,大家有沒有想過我們的可以搞定任意顏色的月亮呢答案是肯定可以的。 1.寫在前面 這兩天,大家一定是被紅月亮刷屏了吧?我們都被下面漂亮的月亮迷倒了吧?showImg(https://segmentfault.com/img/bV21NB?w=102&h=101); 哈哈,大家清醒清醒...
閱讀 3078·2021-11-24 09:38
閱讀 1330·2021-09-22 15:27
閱讀 2968·2021-09-10 10:51
閱讀 1504·2021-09-09 09:33
閱讀 917·2021-08-09 13:47
閱讀 2070·2019-08-30 13:05
閱讀 892·2019-08-29 15:15
閱讀 2425·2019-08-29 12:21