大快搜索數據爬蟲技術實例安裝教學篇

PingCAP 發布于2019-08-16 13:36 / 2402人閱讀

摘要：大快搜索數據爬蟲技術實例安裝教學篇爬蟲安裝前準備工作大快大數據平臺安裝完成等組件安裝啟動成功。

大快搜索數據爬蟲技術實例安裝教學篇

爬蟲安裝前準備工作：大快大數據平臺安裝完成、zookeeper、redis、elasticsearch、mysql等組件安裝啟動成功。

1、修改爬蟲安裝配置文件(最好在線下修改好后再上傳平臺)

2、修改crawlerdkcrwjdbc.properties配置文件(只修改圖片里的內容其他內容默認即可)

Hbase.zookeeper.quorum所填地址應在DKM監控平臺查看：

Redis相關配置看如下界面：

3、把已修改的crawlerdkcrw下的jdbc.properties配置文件替換到crawlerdkcrw-tomcat-7.0.56webappsROOTWEB-INFclasses下(這下面有一個沒有改好的直接替換)

修改好后把修改好的爬蟲文件打壓成壓縮文件
4、上傳平臺主節點并解壓(這里就不介紹怎么上傳了的了,本次例子是上傳到root目錄下,安裝包上傳到任何目錄下都可以推選root目錄)

unzip 解壓命令,解壓唱功后會多了一個 cuawler 的文件夾

使用cd crawler 命令進入 crawler 文件夾下

使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql數據庫

5、分發爬蟲文件

每個節點都需要有dkcrw文件, dkcrw-tomcat-7.0.56文件只能放在一個節點上,不能放在主節點上(推選放在從節點)
命令:
scp -r {要分發的文件名可填寫多個,如果不在要分發文件的目錄下請添加路徑} {分發到的服務器ip或名稱:分發到的路徑}
例如:
cd /opt/dkh
scp -r dkcrw dk2:/opt/dkh/
scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/

6、在分發了dkcrw-tomcat-7.0.56文件的節點上給文件添加權限
命令:
chmod -R 755 {需要給權限的文件等}
例如:
cd /opt/dkh
chmod -R 755 dkcrw dkcrw-tomcat-7.0.56/

7、啟動爬蟲界面
命令:
cd /opt/dkh/dkcrw-tomcat-7.0.56/bin/
./startup.sh

啟動界面之后再瀏覽器中輸入啟動界面節點的IP,來打開爬蟲界面看是否啟動成功(賬號密碼是默認的)

8、啟動每個節點的dkcrw.jar
命令:
主節點運行
cd /opt/dkh/dkcrw/
nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 &

從節點運行
cd /opt/dkh/dkcrw/
nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &

注意：可以先使用前臺啟動爬蟲，確定爬蟲沒錯誤。
前臺啟動命令java -jar dkcrw.jar master/slave

云服務器 GPU云服務器大快大數據平臺爬蟲教學數據爬蟲技術大數據爬蟲技術

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/72015.html

大快搜索數據爬蟲技術實例安裝教學

摘要：作為搭建大數據處理平臺的重要基石，關于它的分析和講解的文章已經有很多了。并且由于是開源軟件，其安裝過程相對比較復雜。針對每個組建都要配置的這種情況，提供了自動化安裝應用來部署。這就大大縮短了的安裝時間，同時也簡化了安裝的過程。 Hadoop作為搭建大數據處理平臺的重要基石，關于它的分析和講解的文章已經有很多了。Hadoop本身是一分布式的系統，因此在安裝的時候，需要多每一個節點進行組建...

20171112 2019-08-16 13:36 評論0 收藏0
hadoop需要哪些技術支持

摘要：是在端的，是提前的，需要自己設置。如果在開源大數據框架上部署大快的開發框架，需要平臺的組件支持如下數據源與引擎數據采集數據處理模塊機器學習和模塊上傳服務器端包，直接支持搜索引擎模塊不獨立發布 hadoop是一個開源軟件框架，可安裝在一個商用機器集群中，使機器可彼此通信并協同工作，以高度分布式的方式共同存儲和處理大量數據。最初，Hadoop 包含以下兩個主要組件：Hadoop Distr...

MartinHan 2019-08-16 13:41 評論0 收藏0
什么是自然語言處理技術

摘要：自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現自然語言通信的計算機系統，特別是其中的軟件系統。自然語言處理無可避免地成為信息科學技術中長期發展的一個新的戰略制高點。自然語言處理（NLP）是計算機科學，人工智能，語言學關注計算機和人類（自然）語言之間的相互作用的領域。自然語言處理是計算機科學領域與人工智能領域中的...

邱勇 2019-08-16 13:41 評論0 收藏0
Python爬蟲教學(寫給入門的新手) 一

摘要：在不懂和等協議的情況下，我直接打個比方來解釋一下什么是請求，以瀏覽器為例，人在瀏覽器輸入，然后敲擊鍵，直到頁面出現，整個過程，我們可以抽象為我們向百度服務器發起的一次請求。更專業，更詳細的解釋，自己去百度學習吧。前言 ??剛學完python基礎，想學習爬蟲的新手，這里有你想要的東西。??本文著重點在于教新手如何學習爬蟲，并且會以外行人的思維進行形象地講解。最近我一兄弟想學，我就想寫個...

zone 2019-07-31 10:15 評論0 收藏0
Hadoop新手篇：hadoop入門基礎教程

摘要：新手篇入門基礎教程關于的分享此前一直都是零零散散的想到什么就寫什么，整體寫的比較亂吧。上兩周寫的五篇內容，匯總到一起就算是新手入門的一個基礎性教程吧持續更新中。應該在改版完成后就可以正常申請下載了。 Hadoop新手篇：hadoop入門基礎教程關于hadoop的分享此前一直都是零零散散的想到什么就寫什么，整體寫的比較亂吧。最近可能還算好的吧，畢竟花了兩周的時間詳細的寫完的了hadoop...

levinit 2019-08-16 13:33 評論0 收藏0