国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

學(xué)會了這項技能，你就能獲得任何想要的信息！

chenatu / 2763人閱讀

摘要：環(huán)境準(zhǔn)備任務(wù)時間前置環(huán)境部署在開始部署前，我們需要做一些前置準(zhǔn)備。此時輸入并回車，應(yīng)該可以看到類似下面這樣的輸出，說明一切正常。完成后，可以通過快捷鍵或命令行鍵入來退出，進(jìn)入下一步。

歡迎大家前往騰訊云+社區(qū)，獲取更多騰訊海量技術(shù)實踐干貨哦~

本文由騰訊云實驗室發(fā)表于云+社區(qū)專欄

騰訊云提供了開發(fā)者實驗室教你搭建 PySpider 爬蟲服務(wù)，教程內(nèi)容如下，用戶可以點擊開發(fā)者實驗室快速上機(jī)完成實驗。

環(huán)境準(zhǔn)備 
任務(wù)時間：5min ~ 10min
前置環(huán)境部署

在開始部署前，我們需要做一些前置準(zhǔn)備。

yum 更新

yum update -y

安裝開發(fā)編譯工具

yum install gcc gcc-c++ -y

安裝依賴庫

yum install python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel -y

升級pip

pip install --upgrade pip
該步驟可選，但為了部署的穩(wěn)定性，推薦執(zhí)行
該步驟耗時可能較長（5~10min），請耐心等待
部署 mariadb 
任務(wù)時間：10min ~ 20min

由于 CentOS 7 中 MySQL 數(shù)據(jù)庫已從默認(rèn)的程序列表中移除，我們使用 mariadb 代替。

安裝 mariadb 
yum install mariadb-server mariadb -y
啟動 mariadb 服務(wù) 
systemctl start mariadb
設(shè)置 root 密碼

默認(rèn)的root用戶密碼為空，你可以使用以下命令來創(chuàng)建 root 用戶的密碼：

（該步驟也可以跳過，password 后的 Password 可以改為任何你希望設(shè)置的密碼）

mysqladmin -u root password "Password"
檢查是否安裝成功

現(xiàn)在你可以嘗試通過以下命令來連接到 Mysql 服務(wù)器

mysql -u root -p

然后輸入您剛才設(shè)置的密碼 （ 默認(rèn)：Password ），如果一切正常，您應(yīng)該可以在命令行看到以 MariaDB [(none)]> 或 mysql> 開頭的提示了，說明連接成功。

此時輸入 SHOW DATABASES; 并回車，應(yīng)該可以看到類似下面這樣的輸出，說明一切正常。

mysql> SHOW DATABASES;
+----------+
| Database |
+----------+
| mysql    |
| test     |
+----------+
2 rows in set (0.13 sec)

完成后，可以通過快捷鍵 Ctrl+C 或命令行鍵入 exit 來退出，進(jìn)入下一步。

如果您未設(shè)置密碼，直接使用 mysql 即可
部署 redis 
任務(wù)時間：10min ~ 20min
下載、解壓安裝包 下載安裝包 
wget http://download.redis.io/redis-stable.tar.gz
解壓安裝包 
tar -xzvf redis-stable.tar.gz
移動解壓包到 /usr/local 內(nèi) 
mv redis-stable /usr/local/redis
編譯安裝 
cd /usr/local/redis
make
make install
設(shè)置 redis 配置 設(shè)置配置文件路徑 
mkdir -p /etc/redis
cp /usr/local/redis/redis.conf /etc/redis/redis.conf

修改 /etc/redis/redis.conf 文件的 daemonize 配置項為如下：

daemonize yes
啟動 redis 服務(wù) 
/usr/local/bin/redis-server /etc/redis/redis.conf
部署 pyspider 
任務(wù)時間：10min ~ 20min
安裝依賴 
pip install --upgrade chardet
easy_install mysql-connector==2.1.3
easy_install redis
安裝 pyspider 
pip install pyspider
配置 pyspider

首先創(chuàng)建配置目錄

mkdir /etc/pyspider

然后 /etc/pyspider 目錄下創(chuàng)建 pyspider.conf.json，參考下面的內(nèi)容。

具體配置的說明文檔請參考 官方文檔

示例代碼：/etc/pyspider/pyspider.conf.json
{
  "taskdb": "mysql+taskdb://root:Password@127.0.0.1:3306/taskdb",
  "projectdb": "mysql+projectdb://root:Password@127.0.0.1:3306/projectdb",
  "resultdb": "mysql+resultdb://root:Password@127.0.0.1:3306/resultdb",
  "message_queue": "redis://127.0.0.1:6379/db",
  "webui": {
    "username": "root",
    "password": "Password",
    "need-auth": true
  }
}

其中 mysql 配置中的 root 為您 mysql 的用戶名， root: 后面的 Password 為您剛設(shè)置的密碼。

webui 配置中的 username 及 password 為您訪問 WebUI 時候需要的用戶名，你也可以不設(shè)置用戶名密碼，直接將 need-auth 設(shè)為 false 即可。

啟動服務(wù) 
pyspider -c /etc/pyspider/pyspider.conf.json

如果一切正常，現(xiàn)在訪問 http://<您的 CVM IP 地址>:5000，您應(yīng)該可以看到 pyspider dashboard 的首頁了。

服務(wù)能夠正常啟動后，我們需要讓它能夠在后臺運(yùn)行，您可以通過以下命令讓服務(wù)在后臺運(yùn)行

nohup pyspider -c /etc/pyspider/pyspider.conf.json &

也可以使用官方推薦的 Supervisor 來啟動，這里就不詳細(xì)介紹了，具體用法可以參考 Supervisor 的文檔

部署完成 
任務(wù)時間：1min ~ 2min
訪問服務(wù)

此時您可以訪問 http://<您的 CVM IP 地址>:5000 使用您的爬蟲來搜集數(shù)據(jù)了，具體 pyspider 爬蟲腳本的編寫及使用教程可以參考 網(wǎng)上資料。

問答
BeautifulSoup和Scrapy爬蟲之間的區(qū)別？
相關(guān)閱讀
騰訊云數(shù)據(jù)庫回檔解決方案
大數(shù)據(jù)在教育行業(yè)的研究與應(yīng)用
看看上下文映射的清晰視圖 
云學(xué)院 · 課程推薦 | 知乎KOL，與你分享機(jī)器學(xué)習(xí)中如何做選擇

此文已由作者授權(quán)騰訊云+社區(qū)發(fā)布，原文鏈接：https://cloud.tencent.com/dev...

歡迎大家前往騰訊云+社區(qū)或關(guān)注云加社區(qū)微信公眾號（QcloudCommunity），第一時間獲取更多海量技術(shù)實踐干貨哦~

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/42299.html

相關(guān)文章

  • 如何在 2 分鐘內(nèi)入睡（二戰(zhàn)時期美國飛行員訓(xùn)練法）

    摘要：簡評睡不著一點點看著天亮，怎么辦看看二戰(zhàn)時期，美國為飛行員研發(fā)的入睡訓(xùn)練。第二次世界大戰(zhàn)期間，美國為海軍飛行員開發(fā)了這項技術(shù)。 簡評：睡不著一點點看著天亮，怎么辦？看看二戰(zhàn)時期，美國為飛行員研發(fā)的入睡訓(xùn)練。 你有過這種經(jīng)歷嗎？ 工作時間偷偷打盹，一旦休息時間，在椅子上或者在某個角落想要入睡，但一直是昏昏欲睡卻醒著的狀態(tài)。 盡管你很累，但就是睡不著，很快，休息時間過了。說起來很讓人沮喪，...

    Alliot 評論0 收藏0

  • 阿里45K高級Java崗，必備技能清單

    摘要：聽說年后離職的老同事，金三剛拿下高薪，年薪直奔萬了。互聯(lián)網(wǎng)公司主流技術(shù)選型進(jìn)階高級架構(gòu)師必學(xué)大主要技能，包括數(shù)據(jù)結(jié)構(gòu)和算法高級特性核心數(shù)據(jù)庫框架與必備工具系統(tǒng)架構(gòu)設(shè)計等，希望能真正幫助到想要從程序員進(jìn)階為高級架構(gòu)師之路的朋友。 相信你可能經(jīng)歷過這些： 已經(jīng)工作兩三年了，每個項目都會加班加點全力以赴去完成，薪資增長幅度卻不如人意。聽說年后離職的老同事，金三剛拿下高薪offer，年薪直奔5...

    LuDongWei 評論0 收藏0

  • 35歲，一個團(tuán)隊leader，從工作滿8年的公司離職，選擇重新嘗試新機(jī)會，或許35歲才是起點。

    摘要：面試從開始準(zhǔn)備到一直到年月份，面試現(xiàn)在這家公司，大概經(jīng)歷了年半的時間。后邊也證明自己選擇是對的。，，，，等也是測試必備的工具技能，這些雖然不是很難，但也是常用必備的技能。 ...

    SoapEye 評論0 收藏0

  • 程序員如何預(yù)估自己的項目開發(fā)時間？

    摘要：預(yù)估時間本身就很難。每個程序員的估計都會跟真正需要的時間有些差距。當(dāng)你把交付時間的開銷也考慮進(jìn)去，你就能看到自己的時間估算和項目的實際發(fā)布時間要匹配得多。 項目時間的估算對項目的成敗至關(guān)重要。項目時間管理包括了項目按時完成所需的各個過程。但是，在實際項目中，經(jīng)常出現(xiàn)項目延期，估算嚴(yán)重不準(zhǔn)確的現(xiàn)象。 預(yù)估時間本身就很難。每個程序員的估計都會跟真正需要的時間有些差距。估計時間短了說明有些事...

    Chaz 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<