資訊專欄INFORMATION COLUMN
摘要：最近閑著，把之前寫的小爬蟲分享一下，才疏學(xué)淺，僅當(dāng)參考。項目地址爬蟲實戰(zhàn)
最近閑著，把之前寫的小爬蟲分享一下，才疏學(xué)淺，僅當(dāng)參考。
[介紹文檔] python版本：python3.6
scrapy: 1.5.0
需要安裝pymysql包支持訪問mysql數(shù)據(jù)庫
可以使用pip安裝： pip install pymysql
重要提示
*或者按照下述方法執(zhí)行一鍵安裝依賴：pip install -r requirements.txt *重要事情說三遍：請確保你安裝了mysql數(shù)據(jù)庫！ 請確保你安裝了mysql數(shù)據(jù)庫！ 請確保你安裝了mysql數(shù)據(jù)庫！ *所有平臺的Mysql下載地址為： https://dev.mysql.com/downloads/挑選你需要的 MySQL Community Server 版本及對應(yīng)的平臺。爬蟲工作配置
第一步：下載github項目文件
git clone git@github.com:caffreycc/jb51.com_crawler.git 或者直接到https://github.com/caffreycc/jb51.com_crawler.git 下載zip文件
* 第二步：安裝依賴:
pip install -r requirements.txt
第三步：修改配置Config.py:
Config.py 為項目配置文件
host = "127.0.0.1" #改成你的數(shù)據(jù)庫地址，如果需要保存在線服務(wù)器請?zhí)顚憯?shù)據(jù)庫IP
dbname = "your database naem" # 數(shù)據(jù)庫名字，請修改
user = "your databse user" # 數(shù)據(jù)庫賬號，請修改
psw = "your password" # 數(shù)據(jù)庫密碼，請修改
port = 3306 # 數(shù)據(jù)庫端口，在dbhelper中使用,一般無需修改
第四步：運行小爬蟲
命令行cd到你的項目文件夾，運行以下命令：
或者直接在你的爬蟲文件夾內(nèi)shift + 右鍵 打開命令提示符或者powershell，運行以下命令
scrapy crawl Common_crawler
爬取的內(nèi)容會自動保存到 config.py 中配置的mysql數(shù)據(jù)庫中
問題反饋
有任何關(guān)于項目的問題歡迎提issues
貢獻(xiàn)代碼本項目基于PythonCrawler-Scrapy-Mysql-File-Template開發(fā)，感謝作者@lawlite19（https://github.com/lawlite19）的開源分享精神。
項目地址： python3.6+scrapy+mysql 爬蟲實戰(zhàn)
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://specialneedsforspecialkids.com/yun/41730.html
摘要：時間永遠(yuǎn)都過得那么快，一晃從年注冊，到現(xiàn)在已經(jīng)過去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...
摘要：所以如果對爬蟲有一定基礎(chǔ)，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲框架的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...
摘要：爬蟲是我接觸計算機編程的入門。練練練本文推薦的資源就是以項目練習(xí)帶動爬蟲學(xué)習(xí)，囊括了大部分爬蟲工程師要求的知識點。拓展閱讀一文了解爬蟲與反爬蟲最后，請注意，爬蟲的工作機會相對較少。 爬蟲是我接觸計算機編程的入門。哥當(dāng)年寫第一行代碼的時候別提有多痛苦。 本文旨在用一篇文章說透爬蟲如何自學(xué)可以達(dá)到找工作的要求。 爬蟲的學(xué)習(xí)就是跟著實際項目去學(xué)，每個項目會涉及到不同的知識點，項目做多了，自然...
閱讀 1174·2021-09-27 13:34
閱讀 981·2021-09-13 10:25
閱讀 511·2019-08-30 15:52
閱讀 3450·2019-08-30 13:48
閱讀 648·2019-08-30 11:07
閱讀 2167·2019-08-29 16:23
閱讀 1993·2019-08-29 13:51
閱讀 2328·2019-08-26 17:42
