接地氣的AI技術(shù)

wpw 發(fā)布于2019-06-26 18:18 / 3035人閱讀

摘要：今天主要介紹接地氣的應(yīng)用搜索和推薦。按照目前的技術(shù)進(jìn)展，搜索和推薦切實(shí)幫助企業(yè)建立了強(qiáng)競(jìng)爭(zhēng)力的商業(yè)化模式。然而淘寶上千萬的商品，用戶是沒有耐心也沒有時(shí)間逛完的，個(gè)性化在這個(gè)過程中起到至關(guān)重要的作用。

AlphaGo 的出現(xiàn)沸騰了整個(gè)技術(shù)圈，媒體的熱情和投資的熱衷讓“人工智能”也就是 AI (Artificial Intelligence) 成了大眾追捧的新名詞。

"人工智能"是計(jì)算機(jī)科學(xué)的一個(gè)分支，目的是模擬人的一部分智能。AlphaGo 距離商業(yè)化應(yīng)用還需要一些時(shí)間，不過不久前谷歌PR對(duì)外宣傳已經(jīng)在數(shù)據(jù)中心做一些資源調(diào)控，從而節(jié)省電力資源。今天主要介紹接地氣的AI應(yīng)用: 搜索和推薦。按照目前的技術(shù)進(jìn)展，搜索和推薦切實(shí)幫助企業(yè)建立了強(qiáng)競(jìng)爭(zhēng)力的商業(yè)化模式。

說到推薦，就不得不提 Amazon，它是首先提出了“通過商品推薦商品”(即Item to Item)的技術(shù)方法和產(chǎn)品落地。其實(shí)早在 Amazon 之前，美國沃爾瑪在線下實(shí)體也應(yīng)用了這樣的相關(guān)性的分析，最著名的就是"啤酒和尿布"，在美國家庭中，一般是母親在家中照看嬰兒，年輕的父親回去超市購買尿布。而父親在購買尿布的同時(shí)，往往會(huì)順便為自己購買啤酒。超市的售貨員通過分析數(shù)據(jù)，發(fā)現(xiàn)了這個(gè)意料之外的模式，啤酒和尿布這兩個(gè)看似不相干的商品便出現(xiàn)在同一個(gè)購物架上。Amazon 為什么有它更大的優(yōu)勢(shì)，首先數(shù)據(jù)是龐大的互聯(lián)網(wǎng)用戶行為數(shù)據(jù)，再者商品量級(jí)遠(yuǎn)程沃爾瑪，其次數(shù)據(jù)可以實(shí)時(shí)的挖掘，因此推薦在電商行業(yè)獲得成功，也是和實(shí)體競(jìng)爭(zhēng)的重磅籌碼。說到 Amazon，就不得不提國內(nèi)的淘寶，逛淘寶已經(jīng)是國內(nèi)用戶的日常行為，什么叫"逛"，就是閑游，和逛街一般，逛淘寶就是尋找感興趣的東西。然而淘寶上千萬的商品，用戶是沒有耐心也沒有時(shí)間逛完的，個(gè)性化在這個(gè)過程中起到至關(guān)重要的作用。在淘寶有一個(gè)模塊叫猜你喜歡，會(huì)根據(jù)你歷史的購買和加購行為進(jìn)行推薦你可能感興趣的東西。就是通過統(tǒng)計(jì)的方法去挖掘像和你類似的人群，協(xié)同互聯(lián)網(wǎng)的力量去共同發(fā)現(xiàn)大家感興趣的商品。舉個(gè)例子，張三和李四互不認(rèn)識(shí)，都有在淘寶購物的習(xí)慣，張三和李四都買過同一款鍵盤，那么張三和李四很有可能是同一群人--程序員，同時(shí)李四在買了某款顯示屏，張三可能隨后在 "猜你喜歡" 上看到這款顯示屏。工業(yè)界的個(gè)性化推薦并不是這么簡(jiǎn)單的算法就可以幫助，它有億萬的商品，億萬的用戶，龐大的行為日志，如何在時(shí)效性，相關(guān)性，準(zhǔn)確性上滿足用戶需求，這里需要工程和算法的配合。

接下來，介紹下另一個(gè)通用的場(chǎng)景，搜索。Google 和百度是搜索技術(shù)業(yè)界領(lǐng)先的公司。搜索涉及到相關(guān)性和排序，相關(guān)性需要計(jì)算用戶輸入的 query 和網(wǎng)頁內(nèi)容的語義相關(guān)，排序則根據(jù)用戶行為和相關(guān)性高低綜合考慮。搜索的相關(guān)性最基礎(chǔ)最廣為認(rèn)知的便是通過 TFIDF 建立向量空間模型，通過計(jì)算query 和網(wǎng)頁內(nèi)容的余弦相似度得到語義上的相似，具體的做法可以參考《數(shù)據(jù)之美》。得到相關(guān)性之后還需要排序，如何判斷網(wǎng)頁的重要程度，Google 最廣為流傳便是當(dāng)時(shí)的 Pagerank, 基本思想便是越多網(wǎng)頁指向某個(gè)網(wǎng)頁，那么這個(gè)網(wǎng)頁會(huì)比較重要。具體也可以參考《數(shù)據(jù)之美》。

當(dāng)前的推薦和搜索技術(shù)已經(jīng)應(yīng)用深度學(xué)習(xí)來提升用戶體驗(yàn)，深度學(xué)習(xí)可能對(duì)特征工程的要求較少，但是對(duì)業(yè)務(wù)數(shù)據(jù)的了解還是必不可少的，機(jī)器學(xué)習(xí)的基礎(chǔ)還是需要扎實(shí)起來。如何扎實(shí)，如何進(jìn)入人工智能這個(gè)行業(yè)，聽下回分析。