国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

機器學習在美團配送系統(tǒng)的實踐:用技術還原真實世界

hearaway / 684人閱讀

摘要:可以說,美團要建設的就是配送系統(tǒng)的超級大腦。美團超腦配送系統(tǒng)目前互聯(lián)網(wǎng)技術,很大部分還是針對線上產(chǎn)品和系統(tǒng)研發(fā),整個流程可以在線上全部完成,而這也正是配送技術最大的不同和挑戰(zhàn)。

在2018 AI開發(fā)者大會(AI NEXTCon)上,美團配送AI方向負責人何仁清,分享了美團在即時配送領域中機器學習技術的最新進展,以及如何通過大數(shù)據(jù)和機器學習手段,建立對線下真實世界各種場景的感知能力,還原并預測配送過程各個細節(jié),從而提升整體配送系統(tǒng)的精度。
美團“超腦”配送系統(tǒng)的由來

2014年,斯嘉麗·約翰遜主演的科幻片《超體》大火,影片中主人公Lucy由于無意中攝入了大量的代號為“CPH4”的神秘藥物,大腦神經(jīng)元獲得空前的開發(fā),獲得了異乎尋常的超能力,她能夠?qū)@個世界進行全新的感知、理解和控制(比如控制無線電波),最終跨越時間和空間成為了一個超級個體。

這種對真實世界的深度感知、理解和控制,與配送AI系統(tǒng)對配送場景的感知、理解和配送環(huán)節(jié)控制的目標非常一致。可以說,美團要建設的AI就是配送系統(tǒng)的“超級大腦”。因此我們內(nèi)部把配送的AI系統(tǒng),簡稱為“超腦”配送系統(tǒng)。

即時配送在全球快速發(fā)展

最近幾年,以外賣為依托,即時配送業(yè)務在全球范圍內(nèi)掀起了一波快速發(fā)展的浪潮,全球各地都出現(xiàn)了很多創(chuàng)業(yè)公司,其中國外知名的包括美國的Uber Eats(全球)、英國的Deliveroo、印度的Swiggy、Zomato(分別被美團和阿里投資),印尼的go-jek等等。國內(nèi)除了美團外賣、餓了么、滴滴外賣等典型代表外,而還有專注于即時配送服務創(chuàng)業(yè)公司,比如閃送、UU跑腿、達達、點我達等。

這種全球爆發(fā)的現(xiàn)象說明了兩個問題:

“懶”是人類的天性。平價、方便、快捷的服務是人類的普遍需求,尤其是在“吃”這個事情上,外賣成為了一種高頻的剛需。

外賣的商業(yè)模式完全可行。以美團外賣為例,2018年上半年整體收入160億,同步增長90%。根據(jù)Uber公布的數(shù)據(jù),Uber Eats在2018第一季度占整體營業(yè)的13%。

即時配送的業(yè)務模型

即時配送,是一種配送時長1小時以內(nèi),平均配送時長約30分鐘的快速配送業(yè)務。如此快速的配送時效,將傳統(tǒng)的線上電商交易與線下物流配送(傳統(tǒng)劃分比較明確的兩條業(yè)務)整合為統(tǒng)一整體,形成了用戶、商戶、騎手和平臺互相交錯的四元關系。

其整合力度空前緊密,幾乎滲透到各個環(huán)節(jié)。以外賣搜索和排序為例,在下午時段,在用戶搜索和推薦中可以看到更多的商家,因為此時運力充分,可以提供更遠距離的配送服務,不僅能更好滿足用戶的需求,提高商家的單量,而且能夠增加騎手的收入。

即時配送的核心指標是效率、成本、體驗,這三者也形成了即時配送的商業(yè)模型。簡單來說可以分為以下幾步:

首先配送效率提升

讓騎手在單位時間內(nèi)配送更多訂單,產(chǎn)生更多價值。

然后配送成本下降

更高的效率,一方面讓騎手收入增加,一方面也讓訂單平均成本下降。

然后用戶體驗提升

低成本能夠讓用戶(商戶)以更低的價格享受更好的配送服務,從而保證更好的用戶體驗。

進一步提升效率并形成循環(huán)

更好的用戶體驗,讓更多用戶(商戶)聚集過來,提升規(guī)模和密度,進一步提升配送效率。

這樣,就形成了一個正向循環(huán),不斷創(chuàng)造更多商業(yè)價值。而技術的作用,就是加速這個正向循環(huán)。

美團“超腦”配送系統(tǒng)

目前互聯(lián)網(wǎng)技術,很大部分還是針對線上產(chǎn)品和系統(tǒng)研發(fā),整個流程可以在線上全部完成,而這也正是配送AI技術最大的不同和挑戰(zhàn)。簡單來說,類似搜索、推薦、圖象和語音識別這種線上產(chǎn)品常用的AI技術幫助不大,因為配送必須在線下一個一個環(huán)節(jié)的進行,這就要求AI技術必須能夠面對復雜的真實物理世界,必須能深度感知、正確理解與準確預測、并瞬間完成復雜決策。

為了滿足這些要求,我們建設了美團“超腦”配送系統(tǒng),包含以下幾個方面:

大數(shù)據(jù)處理和計算能力

算法數(shù)據(jù)和計算平臺:包括實時特征計算、離線數(shù)據(jù)處理、機器學習平臺等。

建立對世界深度感知

LBS系統(tǒng):提供正確位置(用戶/商戶/騎手)以及兩點之間正確的騎行導航。

多傳感器:提供室內(nèi)定位以、精細化場景刻畫、騎手運動狀態(tài)識別

正確理解和準確預測

時間預估:提供所有配送環(huán)節(jié)時間的準確預估

其他預估:銷量預估、運力預估等

完成復雜決策

調(diào)度系統(tǒng):多人多點實時調(diào)度系統(tǒng),完成派單決策:誰來送?怎么送?

定價系統(tǒng):實時動態(tài)定價系統(tǒng),完成定價決策:用戶收多少錢?給騎手多少錢?

規(guī)劃系統(tǒng):配送網(wǎng)絡規(guī)劃系統(tǒng),完成規(guī)劃決策:站點如何劃分?運力如何運營?

機器學習技術挑戰(zhàn)

如何構建一個在真實物理世界運行的AI系統(tǒng),就是我們最大的挑戰(zhàn)。具體到機器學習方向而言,挑戰(zhàn)包括以下幾個方面:

精度足夠高、粒度足夠細

時間要求:一方面是周期性變化,比如早午晚,工作假日,季節(jié)變化;一方面是分鐘級的精細度,比如一個商圈單量和運力的實時變化。

空間要求:一方面是不同商圈獨有特性,比如CBD區(qū)域;一方面是要實現(xiàn)樓棟和樓層的精度,比如1樓和20樓,就是完全不同的配送難度。

魯棒性要求:處理各種不確定的能力,比如天氣變化、交通變化等等。

線下數(shù)據(jù)質(zhì)量的巨大挑戰(zhàn)

大噪音:比如GPS定位漂移,尤其是在高樓附近,更不要說在室內(nèi)GPS基本不可用。

不完備:比如商家后廚數(shù)據(jù)、堂食數(shù)據(jù)、其他平臺數(shù)據(jù),都極難獲得。

高復雜:配送場景多樣而且不穩(wěn)定,隨著時間、天氣、路況等在不斷變化。

配送系統(tǒng)的核心參數(shù)ETA

ETA(Estimated Time of Arrival,時間送達預估)是配送系統(tǒng)中非常重要參數(shù),與用戶體驗、配送成本有直接關系,而且會直接影響調(diào)度系統(tǒng)和定價系統(tǒng)的最終決策。

一個訂單中涉及的各種時長參數(shù)(如上圖右側(cè)所示),可以看到有十幾個關鍵節(jié)點,其中關鍵時長達到七個。這些時長涉及多方,比如騎手(接-到-取-送)、商戶(出餐)、用戶(交付),要經(jīng)歷室內(nèi)室外的場景轉(zhuǎn)換,因此挑戰(zhàn)性非常高。

通過機器學習方法,我們已經(jīng)將外賣配送幾乎所有環(huán)節(jié)都進行了精準預估預測。用戶感知比較明顯是預計送達時間,貫穿多個環(huán)節(jié),商家列表(從配送時長角度讓用戶更好選擇商家)、訂單預覽(給用戶一個準確的配送時間預期)、實時狀態(tài)(下單后實時反饋最新的送達時間)。當然這里面還有很多用戶看不到的部分,比如商家出餐時間、騎手到店時間、交付時間等。其中交付時長,與用戶關系比較大,也很有意思,下文會詳細展開。

精準到樓宇和樓層的預估:交付時長

交付時長是指騎手到達用戶后,將外賣交付到用戶手中并離開的時間,實際是需要考慮三維空間內(nèi)計算(上樓-下樓)。交付時間精準預估,有兩點重要的意義,首先是客觀的衡量配送難度,給騎手合理補貼;其次,考慮對騎手身上后續(xù)訂單的影響,防止調(diào)度不合理,導致其他訂單超時。

交付時長的目標是,做到樓宇和樓層的精準顆粒度,具體可以拆解為以下幾步:

地址的精準解析(精確到樓宇/單元/樓層)

地址精度需要在5級之上(4級:街道,5級:樓宇),國內(nèi)擁有這個級別精細化數(shù)據(jù)的公司屈指可數(shù)。

數(shù)據(jù)的安全級別很高,我們做了很多脫敏工作,做了各種數(shù)據(jù)保護與隔離,保證用戶隱私和數(shù)據(jù)安全。

地址信息的多種表達方式、各種變形,需要較強的NLU技術能力。

交付時長預估

通過騎手軌跡進行“入客-離客”識別,并進行大量數(shù)據(jù)清洗工作。

統(tǒng)計各個粒度的交付時長,通過樹形模型實現(xiàn)快速搜索各個粒度的數(shù)據(jù)。

因為預估精度是樓宇和樓層,數(shù)據(jù)很稀疏,很難直接進行統(tǒng)計,需要通過各種數(shù)據(jù)平滑和回歸預估,處理數(shù)據(jù)稀疏和平滑的問題。

下游業(yè)務應用

給調(diào)度和定價業(yè)務,提供樓宇+樓層維度的交付時長。從上圖可以看到,在不同樓宇,不同樓層交付時長的區(qū)分度還是很明顯的。

尤其是樓層與交付時長并不是線性相關,我們還具體調(diào)研過騎手決策行為,發(fā)現(xiàn)騎手會考慮等電梯的時間,低樓層騎手傾向于走樓梯,高樓層則坐電梯。

可以看到,真實世界中影響決策因素非常多,我們目前做的還不夠。比如交付時長也可以進一步細化,比如準確預估騎手上樓時間、下樓時間和等待時間,這樣其實能夠與商家取餐環(huán)節(jié)保持一致,之所以沒這么做,主要還是數(shù)據(jù)缺失,比如騎手在商家其實有兩個操作數(shù)據(jù)(到店、取餐),這樣能支持我們做精細化預估的,但是在用戶環(huán)節(jié)只有(送達)一個操作。

舉這個例子,其實是想說明,數(shù)據(jù)的完備性對我們到底有多重要。數(shù)據(jù)方面的挑戰(zhàn),線下業(yè)務與線上業(yè)務相比,要高出好幾個等級。

配送中最重要的數(shù)據(jù)之一:地圖

地圖對配送的重要性毋庸置疑(位置和導航都不準確,配送如何進行?),前面提到的5級地址庫只是其中一部分。配送地圖的目標可以概括為以下兩點:

正確的位置

實時部分:騎手實時位置。

靜態(tài)部分:用戶和商戶準確的地址和位置。

正確的導航

兩點之間正確的距離和路線。

突發(fā)情況的快速反應(封路、限行)。

如果橫向?qū)Ρ扰渌汀⒖爝f、打車等行業(yè)對地圖的要求,其實是一件很有意思的事情,這個對于配送地圖技術建設來說,是一件非常有幫助的事情。

即時配送 VS 物流快遞:即時配送對地圖的依賴程度明顯高于物流快遞

即時配送 VS 出行行業(yè):地圖廠商在車載導航的優(yōu)勢和積累,在即時配送場景較難發(fā)揮

從這兩方面對比可以看到,在即時配送業(yè)務中,騎行地圖的重要性非常之高,同時很多問題確實非常具有行業(yè)特色,通過駕車地圖的技術無法很有效的解決。這樣就需要建設一套即時配送業(yè)務地圖的解決方案。

基于簽到數(shù)據(jù)的位置校正:交付點

如前文所述,配送地圖的方向有很多,這次我重點講一下用戶位置相關的工作“交付點挖掘”。首先看一下目前主要問題:用戶位置信息有很多錯誤,比如:

用戶選擇錯誤

上圖左,一個小區(qū)會有1期2期~N期等,用戶在選擇POI的時候就可能發(fā)生錯誤(比如1期的選了2期),兩者地理位置相差非常遠,很容易造成騎手去了錯誤的地方。這樣在訂單發(fā)送到配送系統(tǒng)的時候,我們需要做一次用戶坐標糾正,引導騎手到達正確的位置。

POI數(shù)據(jù)不精細

上圖右,用戶本來在xx區(qū)xx棟,但是只選了xx區(qū)這個比較粗的位置信息。現(xiàn)實中在一個小區(qū)里面,找到一個具體xx棟樓還是非常困難的,大家可以想想自己小區(qū)中,隨便說一個樓號你知道它在哪個角落嗎,更別說如果是大晚上在一個你不熟悉的小區(qū)了。造成這種原因,一方面可能是用戶選擇不精細,還有一種可能,就是地圖上沒有具體樓棟的POI信息。

在實際配送中,我們都會要求騎手在完成交付后進行簽到,這樣就會積累大量的上報數(shù)據(jù),對于后續(xù)進行精細化挖掘非常有幫助。大家可以先看看我們收集的原始數(shù)據(jù)(上圖),雖然還是非常凌亂,但是已經(jīng)能看到這其中蘊含著極高的價值,具體來說有三方面:

數(shù)據(jù)量大

每天幾千萬訂單,幾十億的軌跡數(shù)據(jù)。

可以充分覆蓋每一個小區(qū)/樓棟/單元門。

維度多樣

除了騎手簽到和軌跡數(shù)據(jù),我們還有大量的用戶、商戶和地圖數(shù)據(jù)。

多種數(shù)據(jù)維度可以交叉驗證,有效避免數(shù)據(jù)的噪音,提高挖掘結(jié)果精度。

數(shù)據(jù)完備

在局部(用戶和商戶)數(shù)據(jù)足夠稠密,置信度比較高。

交付點挖掘的技術實戰(zhàn):挑戰(zhàn)

在數(shù)據(jù)挖掘?qū)嶋H過程中,其實并沒有什么“高大上”的必殺技,無法使用流行的End2End方法,基本上還是需要對各個環(huán)節(jié)進行拆解,扎扎實實的做好各種基礎工作,基本整個挖掘過程,分為以下幾個步驟:(1)基于地址分組;(2)數(shù)據(jù)去噪;(3)數(shù)據(jù)聚合;(4)置信度打分。其中主要技術挑戰(zhàn),主要在各種場景中保證數(shù)據(jù)挖掘質(zhì)量和覆蓋率,具體來說主要有三個挑戰(zhàn):

數(shù)據(jù)去噪

數(shù)據(jù)噪音來源比較多樣,包括GPS的漂移、騎手誤操作、違規(guī)操作等各種。一方面是針對噪音原因進行特殊處理(比如一些作弊行為),另一方面要充分發(fā)揮數(shù)據(jù)密度和數(shù)據(jù)量的優(yōu)勢,在保證盡量去除Outlier后,依然保持可觀的數(shù)據(jù)量。能夠同時使用其他維度的數(shù)據(jù)進行驗證,也是非常重要的,甚至可以說數(shù)據(jù)多樣性和正交性,決定了我們能做事情的上限。

數(shù)據(jù)聚合

不同區(qū)域的樓宇密度完全不一樣,具有極強的Local屬性,使用常規(guī)聚類方法,比較難做到參數(shù)統(tǒng)一,需要找到一種不過分依賴樣本集合大小,以及對去噪不敏感的聚類算法。

重名問題

這個屬于POI融合的一個子問題,判斷兩個POI信息是否應該合并。這個在用戶地址中比較常見,用戶提供的地址信息一樣,但實際是兩個地方。這種情況下,我們的處理原則是一方面要求糾正后坐標更符合騎手簽到情況,另一方面新坐標的簽到數(shù)據(jù)要足夠稠密。

交付點挖掘的技術實戰(zhàn):效果

目前,我們已經(jīng)上線了一版交付點,對用戶位置進行主動糾正,讓騎手可以更準確更快的找到用戶。目前效果上看還是非常明顯的。包括幾個方面:

騎手交付距離明顯降低

從上圖左側(cè)部分看到,在上線前(綠色)交付距離>100M的占比很高(這個距離會導致實際位置差幾棟樓,甚至不同小區(qū)),也就是用戶自己選著的位置錯誤率比較高,導致騎手交付難度較高,對效率影響比較大。上線后(紅色),交付距離明顯縮短(均值左移),同時>100M的長尾比例明顯下降。

單元門級別的高精度位置

上圖右側(cè)部分看到,我們挖掘的交付點基本上能與樓宇的單元門對應。而且沒有明顯偏差比較大的部分。這個質(zhì)量基本達到我們之前設定目標,也證明配送大數(shù)據(jù)的巨大潛力。

目前的問題以及后續(xù)的優(yōu)化點

如何提升其作為POI挖掘和發(fā)現(xiàn)手段的準確率?這里面有很多優(yōu)化點,比如去重(交付點-位置信息的一一映射),POI信息補全和更新。

如何擴大數(shù)據(jù)渠道并做到信息整合?目前主要渠道還是騎手簽到和軌跡數(shù)據(jù),這個明顯有更大的想象空間,畢竟每天在全國大街小巷,有幾十萬騎手在進行配送,除了前面(以及后面)提到的通過手機被動采集的數(shù)據(jù),讓騎手主動采集數(shù)據(jù),也是不錯的建設思路。只不過想要做好的話,需要建立一個相對閉環(huán)數(shù)據(jù)系統(tǒng),包括上報、采集、清洗、加工、監(jiān)控等等。

更精細化的配送場景識別:感知

前面提到的地圖技術,只能解決在室外場景的位置和導航問題。但配送在商家側(cè)(到店、取餐)和用戶側(cè)(到客、交付)兩個場景中,其實是發(fā)生在室內(nèi)環(huán)境。在室內(nèi)的騎手位置是在哪里、在做什么以及用戶和商家在做什么,如果了解這些,就能解決很多實際問題。比如:

這個技術方向可以統(tǒng)稱為“情景感知”,目標就是還原配送場景中(主要是室內(nèi)以及GPS不準確),真實配送過程發(fā)生了什么,具體方向如下圖所示:

情景感知的目標就是做到場景的精細刻畫(上圖的上半部分),包含兩個方面工作:

配送節(jié)點的精確刻畫

在ETA預估中已經(jīng)展示過一些,不過之前主要還是基于騎手上報數(shù)據(jù),這顯然無法做到很高精確,必須引入更客觀的數(shù)據(jù)進行描述。目前,我們選擇的是WIFI和藍牙的地理圍欄技術作為主要輔助。

配送過程的精確刻畫

騎手在配送過程中經(jīng)常會切換方式,比如可能某個小區(qū)不讓騎電動車,那騎手必須步行,再比如騎手在商家發(fā)生長時間駐留,那應該是發(fā)生了等餐的情況(用戶側(cè)同理)。目前,我們選擇使用基于傳感器的運動狀態(tài)識別作為主要輔助。

這些數(shù)據(jù),大部分來至于手機,但是隨著各種智能硬件的普及,比如藍牙設備,智能電動車、智能頭盔等設備的普及,我們可以收集到更多數(shù)據(jù)的數(shù)據(jù)。WiFi/藍牙技術,以及運動狀態(tài)識別的技術比較成熟,這里主要說一下概況,本文不做深入的探討。


對于配送系統(tǒng)來說,比較大的挑戰(zhàn)還是對識別精度的要求以及成本之間的平衡。我們對精度要求很高,畢竟這些識別直接影響定價、調(diào)度、判責系統(tǒng),這種底層數(shù)據(jù),精度不高帶來的問題很大。

考慮成本限制,我們需要的是相對廉價和通用的解決方案,那種基于大量傳感器硬件部屬的技術,明顯不適用我們幾百萬商家,幾千萬樓宇這種量級的要求。為此,在具體技術方面,我們選用的是WiFi指紋、藍牙識別、運動狀態(tài)識別等通用技術方案,就單個技術而言,其實學術界已經(jīng)研究很充分了,而且也有很多應用(比如各種智能手環(huán)等設備)。對于我們的挑戰(zhàn)在于要做好多種傳感器數(shù)據(jù)的融合(還包括其他數(shù)據(jù)),以確保做到高識別精度。當然為了解決“Ground Truth”問題,部署一些穩(wěn)定&高精度的智能硬件還是必須的,這對技術迭代優(yōu)化和評估都非常有幫助。

總結(jié)

美團外賣日訂單量超過2400萬單,已經(jīng)占有了相對領先的市場份額。美團配送也構建了全球領先的即時配送網(wǎng)絡,以及行業(yè)領先的美團智能配送系統(tǒng),智能調(diào)度系統(tǒng)每小時路徑計算可達29億次。如何讓配送網(wǎng)絡運行效率更高,用戶體驗更好,是一項非常困難的挑戰(zhàn),我們需要解決大量復雜的機器學習和運籌優(yōu)化等問題,包括ETA預測,智能調(diào)度、地圖優(yōu)化、動態(tài)定價、情景感知、智能運營等多個領域。過去三年來,美團配送AI團隊研發(fā)效果顯著,配送時長從一小時陸續(xù)縮短到30分鐘,并且還在不斷提升,我們也希望通過AI技術,幫大家吃得更好,生活更好。

招聘信息

目前,即時配送業(yè)務正處于快速發(fā)展期,新的場景、新的技術問題不斷涌現(xiàn),團隊正在迅速擴大中,急需機器學習資深專家、運籌優(yōu)化技術專家、LBS算法工程師、NLP算法工程師,我們期待你的加入。掃碼可查看職位詳情,或者發(fā)送簡歷至 yewei05@meituan.com

文章版權歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/19863.html

相關文章

  • 【人物志】美團首席科學家夏華夏:不斷突破邊界程序人生

    摘要:本文由美團技術學院基于夏華夏的訪談記錄整理而成。夏華夏加入美團已有年的時間,也是一名地地道道的美團老人了。所以夏華夏的第一個程序,其實是一個失敗項目。 成長沒有什么秘笈,就是堅持不斷地一點點突破自己的邊界就好。 這是美團首席科學家、無人配送部總經(jīng)理夏華夏在剛剛過去的1024 程序員節(jié)時送給技術同行的一句話。 這也是夏華夏自己的人生寫照:從沒摸過計算機的山東高考狀元到清華計算機系的學霸,...

    laznrbfe 評論0 收藏0
  • 深度學習美團點評

    摘要:基于深度學習的語義匹配語義匹配技術,在信息檢索搜索引擎中有著重要的地位,在結(jié)果召回精準排序等環(huán)節(jié)發(fā)揮著重要作用。在美團點評業(yè)務中主要起著兩方面作用。 寫在前面美團點評這兩年在深度學習方面進行了一些探索,其中在自然語言處理領域,我們將深度學習技術應用于文本分析、語義匹配、搜索引擎的排序模型等;在計算機視覺領域,我們將其應用于文字識別、目標檢測、圖像分類、圖像質(zhì)量排序等。下面我們就以語義匹配、圖...

    DirtyMind 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<