国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

手把手,教你用MaxCompute+OpenSearch搭建分布式搜索引擎

Keven / 2023人閱讀

摘要:實驗準(zhǔn)備工作注冊阿里云用戶,實名認證并綁定支付寶開通數(shù)加服務(wù)開通后付費服務(wù)。開通大數(shù)據(jù)開發(fā)套件服務(wù)開通阿里云實名認證賬號訪問,開通,選擇按量付費進行購買。

摘要: 最近,經(jīng)常有客戶咨詢?nèi)绾蔚统杀敬罱ǜ咝阅艿暮A繑?shù)據(jù)搜索引擎,比如實現(xiàn)公眾號檢索、影訊檢索等等。由于客戶的數(shù)據(jù)在阿里云上,所以希望找到云上解決方案。筆者開始調(diào)研一些云上產(chǎn)品,很多人向我推薦了OpenSearch,所以花了點時間好好研究了下,用過之后發(fā)現(xiàn)效果不錯,自帶分詞、云數(shù)據(jù)庫同步功能,在研究過程中也發(fā)現(xiàn)了一些問題,分享給大家。

背景

最近,經(jīng)常有客戶咨詢?nèi)绾蔚统杀敬罱ǜ咝阅艿暮A繑?shù)據(jù)搜索引擎,比如實現(xiàn)公眾號檢索、影訊檢索等等。由于客戶的數(shù)據(jù)在阿里云上,所以希望找到云上解決方案。筆者開始調(diào)研一些云上產(chǎn)品,很多人向我推薦了OpenSearch,所以花了點時間好好研究了下,用過之后發(fā)現(xiàn)效果不錯,自帶分詞、云數(shù)據(jù)庫同步功能,在研究過程中也發(fā)現(xiàn)了一些問題,分享給大家。

接下來,我們開始用阿里云MaxCompute(原名ODPS)和OpenSearch來搭建一個影訊檢索的搜索引擎Demo,我有大約10GB數(shù)據(jù),服務(wù)搭建只用了15分鐘,數(shù)據(jù)同步建索引大概用1個小時。因為選擇彈性計費,實驗費用大概花了幾十元。

先曬一下搜索效果,支持一些常用分詞語法,而且OpenSearch自帶了豐富的SDK和API,可以很方便的集成到線上業(yè)務(wù)。

實驗架構(gòu)圖

搜索引擎架構(gòu)在OpenSearch之上,是一個典型的分布式在線實時交互查詢架構(gòu),無單點故障,高伸縮、高可用,免運維,低成本。對大量信息的索引與搜索都可以在近乎實時的情況下完成,能夠快速實時搜索數(shù)十億的文件以及PB級的數(shù)據(jù)。

分布式數(shù)據(jù)庫架構(gòu)在MaxCompute之上,是一種快速、完全托管的TB/PB級數(shù)據(jù)倉庫解決方案。MaxCompute向用戶提供了完善的數(shù)據(jù)導(dǎo)入方案以及多種經(jīng)典的分布式計算模型,能夠更快速的解決用戶海量數(shù)據(jù)計算問題,有效降低企業(yè)成本,并保障數(shù)據(jù)安全。

實驗準(zhǔn)備工作

1、注冊阿里云用戶,實名認證并綁定支付寶;
2、開通數(shù)加服務(wù);
3、開通MaxCompute、OpenSearch 后付費服務(wù)。

實驗任務(wù)

1、用MaxCompute導(dǎo)入公開數(shù)據(jù)集;
2、用OpenSearch 創(chuàng)建應(yīng)用,配置數(shù)據(jù)/索引結(jié)構(gòu)、分詞;
3、全量導(dǎo)入數(shù)據(jù),構(gòu)建索引;
4、搜索效果測試。

第一步:購買并開通OpenSearch、MaxCompute、大數(shù)據(jù)開發(fā)套件服務(wù)

1.1 開通Opensearch服務(wù)

訪問https://www.aliyun.com/produc...,點擊立即開通,選擇后付費(按量付費)。

1.2 開通MaxCompute&大數(shù)據(jù)開發(fā)套件服務(wù)

1.2.1 開通 MaxCompute

阿里云實名認證賬號訪問https://www.aliyun.com/produc... ,開通 MaxCompute,選擇按量付費進行購買。

1.2.2 創(chuàng)建 MaxCompute project

進入數(shù)加管理控制臺,前面開通 MaxCompute 成功頁面,點擊管理控制臺,或者導(dǎo)航產(chǎn)品->大數(shù)據(jù)(數(shù)加)->MaxCompute 點擊管理控制臺。

創(chuàng)建項目

進入控制臺頁面后導(dǎo)航至“大數(shù)據(jù)開發(fā)套件->項目列表“,點擊”創(chuàng)建項目”,如圖所示:

在彈出框中選擇 I/O 后付費的付費方式,輸入項目名稱:

創(chuàng)建 MaxCompute 表

進入大數(shù)據(jù)開發(fā)套件的數(shù)據(jù)開發(fā)頁面,以開發(fā)者身份進入阿里云數(shù)加平臺>大數(shù)據(jù)開發(fā)套件>管理控制臺,點擊項目列表下對應(yīng)項目操作欄中的進入工作區(qū)。

注意:如果首次使用數(shù)加平臺,需要先注冊數(shù)加開通AK。

第二步:通過大數(shù)據(jù)開發(fā)套件導(dǎo)入數(shù)據(jù)集到MaxCompute

進入大數(shù)據(jù)開發(fā)套件工作區(qū)后,我們先導(dǎo)入一份測試數(shù)據(jù)。

數(shù)據(jù)說明:筆者這里引用了一份MaxCompute公開數(shù)據(jù)集(正在公測),地址:https://yq.aliyun.com/article...,目前MaxCompute開放的數(shù)據(jù)類別包括:股票價格數(shù)據(jù),房產(chǎn)信息,影視及其票房數(shù)據(jù)。所有的數(shù)據(jù)均被存儲在 MaxCompute 產(chǎn)品中的 public_data 項目中。

接下來,我們引用一份影視票房數(shù)據(jù)。

使用非常簡單,前提條件是開通MaxCompute&大數(shù)據(jù)開發(fā)套件;

在大數(shù)據(jù)開發(fā)套件中,新建腳本,命名opensearch_demo,在窗口執(zhí)行如下語句。

add user ALIYUN$everyone;

執(zhí)行完成后用戶項目空間下的所有成員均可讀取各公開數(shù)據(jù)集合。

驗證一下:

select * from public_data.dwd_product_movie_basic_info  where movie_name like "%生化危機%" limit 10; 

拷貝一份數(shù)據(jù)到自己的Project項目下,注意:OpenSearch里有主鍵概念,所以我們需要在MaxCompute中建主鍵,這里通過UUID函數(shù)實現(xiàn)。

在窗口執(zhí)行如下語句:

create table alian.demo_opensearch_case2 as
 
select uuid() as id,* from public_data.dwd_product_movie_basic_info ;

執(zhí)行成功后,驗證一下數(shù)據(jù);

select count(1) from alian.demo_opensearch_case2;

可以看到數(shù)據(jù)集已經(jīng)創(chuàng)建好;

第三步:創(chuàng)建開放搜索應(yīng)用

3.1 進入OpenSearch控制臺,點擊“創(chuàng)建應(yīng)用”

3.2 選擇產(chǎn)品版本,筆者開通的是標(biāo)準(zhǔn)版。如果需要多表關(guān)聯(lián)搜索,請開通高級版,如果是單表查詢,標(biāo)準(zhǔn)版就可以。

3.3 輸入應(yīng)用名稱MaxCompute_OpenSearch_Demo,地域選華東1(杭州),因為MaxCompute目前只有華東,否則數(shù)據(jù)鏈路不通,點擊下一步。

3.4 選擇“通過數(shù)據(jù)源方式創(chuàng)建應(yīng)用結(jié)構(gòu)”。可以快速由源表結(jié)構(gòu)創(chuàng)建出初始的應(yīng)用結(jié)構(gòu),節(jié)省手動構(gòu)造的工作量,降低出錯概率。

3.5 選擇ODPS,剛才創(chuàng)建的表。

選擇剛才創(chuàng)建的ODPS項目及表demo_opensearch_case2

【注意】對于ODPS表中的STRING類型需要轉(zhuǎn)換為LITERAL后建主鍵。

3.6 配置索引、分詞及搜索展示內(nèi)容

選擇movie_name、 director、scriptwriter、area、actors、type、movile_date、movie_language字段做索引,設(shè)置默認中文分詞方式。

添加展示字段,設(shè)置搜索結(jié)果內(nèi)容。

3.7 創(chuàng)建完成

第四步:同步數(shù)據(jù)并創(chuàng)建索引

4.1 激活應(yīng)用

選擇配額及QPS,我們用的數(shù)據(jù)集大概8G,所以開通的是10G配額,QPS采用默認項。

注意:MaxCompute(原ODPS)的數(shù)據(jù)是壓縮過的,我們用的數(shù)據(jù)SIZE壓縮后2GB,但實際是8GB,筆者之前購買了3GB的OpenSearch配額,結(jié)果導(dǎo)入失敗。

4.2開始構(gòu)建索引

這里主要就是等等,筆者等了一個小時。

可以查看索引構(gòu)建進度

第五步:搜索測試

打開應(yīng)用管理->搜索測試,輸入任意影片,比如最近剛上映的摔跤 爸爸,然后自動匹配出相應(yīng)的影訊信息,完成實驗。

MaxCompute提供的數(shù)據(jù)集很贊,數(shù)據(jù)量多、新鮮度很高。

總結(jié):到這里,我們就完成了整個實驗,OpenSearch+MaxCompute筆者認為還是很方便,非常適合數(shù)據(jù)規(guī)模在100GB以上并且不希望高昂的運維成本和IT成本的企業(yè)。

原文鏈接

閱讀更多干貨好文,請關(guān)注掃描以下二維碼:

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/11865.html

相關(guān)文章

  • 把手你用MaxCompute+OpenSearch搭建布式搜索引擎

    摘要:實驗準(zhǔn)備工作注冊阿里云用戶,實名認證并綁定支付寶開通數(shù)加服務(wù)開通后付費服務(wù)。開通大數(shù)據(jù)開發(fā)套件服務(wù)開通阿里云實名認證賬號訪問,開通,選擇按量付費進行購買。 摘要: 最近,經(jīng)常有客戶咨詢?nèi)绾蔚统杀敬罱ǜ咝阅艿暮A繑?shù)據(jù)搜索引擎,比如實現(xiàn)公眾號檢索、影訊檢索等等。由于客戶的數(shù)據(jù)在阿里云上,所以希望找到云上解決方案。筆者開始調(diào)研一些云上產(chǎn)品,很多人向我推薦了OpenSearch,所以花了點時間...

    Bamboy 評論0 收藏0
  • 基于TableStore的數(shù)據(jù)采集分析系統(tǒng)介紹

    摘要:今天我們來介紹一下基于阿里云表格存儲,以及相關(guān)的大數(shù)據(jù)產(chǎn)品來采集與分析數(shù)據(jù)的方案。我們嘗試一種基于和阿里云其他大數(shù)據(jù)產(chǎn)品的新方案,我們先看架構(gòu)圖圖中關(guān)鍵路徑分析頁等客戶端先通過埋點系統(tǒng)收集數(shù)據(jù),然后通過表格存儲的將數(shù)據(jù)寫入的原始數(shù)據(jù)表。 摘要: 摘要 在互聯(lián)網(wǎng)高度發(fā)達的今天,ipad、手機等智能終端設(shè)備隨處可見,運行在其中的APP、網(wǎng)站也非常多,如何采集終端數(shù)據(jù)進行分析,提升軟件的品質(zhì)...

    niuxiaowei111 評論0 收藏0
  • 把手你用es6+vue2+webpack2+vue-router2搭建個人blog

    摘要:更新日志更新完成靜態(tài)頁面原型修復(fù)使用的正確姿勢更新添加靜態(tài)頁面更新添加使用方法請戳我主要作用就是在你開發(fā)環(huán)節(jié)在后端同學(xué)還未開發(fā)完成的情況下,提供一個。 底下評論說是標(biāo)題黨,或者是光扔個github地址上來的同學(xué)我就不說什么了。你們有看看倉庫的提交記錄么?我還沒有吃撐到開個倉庫去騙star.我的出發(fā)點就是每天更新一部分代碼,教大家用我所提到的技術(shù)棧搭建一個blog,我的出發(fā)點就是這么簡單...

    weapon 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<