Serving精品文章

• 

  tensorflow-serving

  TensorFlow Serving是一個(gè)開(kāi)源的高性能機(jī)器學(xué)習(xí)模型部署框架，可用于將訓(xùn)練好的模型部署到生產(chǎn)環(huán)境中進(jìn)行預(yù)測(cè)。TensorFlow Serving具有許多有用的功能，如模型版本控制、模型熱更新、模型的灰度發(fā)布和模型可擴(kuò)展性等，這些功能使...

  XiNGRZ 2023-04-25 20:22 評(píng)論0 收藏2691
• 

  TensorFlow在產(chǎn)品環(huán)境中運(yùn)行模型的實(shí)踐經(jīng)驗(yàn)總結(jié)

  ...容支持其他TensorFlow模型，以支持未來(lái)的數(shù)據(jù)產(chǎn)品TensorFlow Serving ?經(jīng)過(guò)網(wǎng)上的調(diào)研之后，Google的TensorFlow Serving成為我們推薦的模型服務(wù)。TensorFlow Serving用C++編寫，支持機(jī)器學(xué)習(xí)模型服務(wù)。開(kāi)箱即用的TensorFlow Serving安裝支持：TensorFl...

  stackfing 2019-04-25 18:10 評(píng)論0 收藏0
• 

  TensorFlow Serving入門

  ...服務(wù)。在2017年的TensorFlow開(kāi)發(fā)者Summit上便提出了TensorFlow Serving。 但那時(shí)候客戶端和服務(wù)端的通信只支持gRPC。在實(shí)際的生產(chǎn)環(huán)境中比較廣泛使用的C/S通信手段是基于RESTfull API的，幸運(yùn)的是從TF1.8以后，TF Serving也正式支持RESTfull AP...

  Harpsichord1207 2019-06-18 11:17 評(píng)論0 收藏0
• 

  使用Kubernetes和TensorFlow Serving將神經(jīng)網(wǎng)絡(luò)鏡像分類進(jìn)行彈性擴(kuò)容

  ...模。學(xué)習(xí)更多關(guān)于TensorFlow，請(qǐng)看下文補(bǔ)充： 用TensorFlow Serving和Kubernetes給Inception模型提供服務(wù) 這個(gè)tutorial展示了如何使用TensorFlow Serving組件在容器里面的運(yùn)用，以此來(lái)服務(wù)TensorFlow模型，還展示了如何用Kubernetes配置服務(wù)中的集群...

  Harpsichord1207 2019-07-01 16:20 評(píng)論0 收藏0
• 

  使用 TensorFlow Serving 和 Docker 快速部署機(jī)器學(xué)習(xí)服務(wù)

  ...重現(xiàn)，隔離和安全。這里，我們使用基于Docker的TensorFlow Serving來(lái)簡(jiǎn)單地完成這個(gè)過(guò)程。TensorFlow 從1.8版本開(kāi)始支持Docker部署，包括CPU和GPU，非常方便。 獲得訓(xùn)練好的模型 獲取模型的第一步當(dāng)然是訓(xùn)練一個(gè)模型，但是這不是本篇...

  endless_road 2019-06-28 17:05 評(píng)論0 收藏0
• 

  flask源碼走讀

  ...ketserver上啟動(dòng)了服務(wù)開(kāi)始監(jiān)聽(tīng)端口: flask.Flask.run -> werkzeug.serving.run_simple -> werkzeug.serving.run_simple.inner ->werkzeug.serving.make_server -> BaseWSGIServer->HTTPServer.__init__(self, get_sockaddr(h...

  Coly 2019-07-31 10:16 評(píng)論0 收藏0
• 

  【TensorFlow開(kāi)源2年官方回顧】下一個(gè)重要方向是分布式模型服務(wù)

  自從2016年2月 TensorFlow Serving 開(kāi)源以來(lái)，我們做了一些重大改進(jìn)。現(xiàn)在，讓我們?cè)倩氐竭@個(gè)項(xiàng)目開(kāi)始的地方，回顧我們的進(jìn)展過(guò)程，并分享我們下一步的方向。在 TensorFlow Serving 啟動(dòng)之前，谷歌公司內(nèi)的 TensorFlow 用戶也必須從頭...

  morgan 2019-04-25 18:20 評(píng)論0 收藏0
• 

  滴滴機(jī)器學(xué)習(xí)平臺(tái)架構(gòu)演進(jìn)

  ...，平臺(tái)結(jié)合自己的場(chǎng)景特點(diǎn)開(kāi)發(fā)了 DDL（DiDi Deep Learning） Serving 服務(wù)框架、IFX 框架和 Autotuning 優(yōu)化庫(kù)，極大加速了模型上線部署和優(yōu)化過(guò)程。 針對(duì)模型服務(wù)部署和優(yōu)化，平臺(tái)結(jié)合自己的場(chǎng)景特點(diǎn)開(kāi)發(fā)了 DDL（DiDi Deep Learning） Serving...

  entner 2019-06-26 18:58 評(píng)論0 收藏0