<fieldset id="ickwa"></fieldset>

<del id="ickwa"></del>

分分鐘教你爬數據

VincentFF 發布于2019-07-24 17:37 / 3246人閱讀

得到 html

import requests
html=requests.get("http://sc.hkex.com.hk/TuniS/www.hkex.com.hk/chi/market/sec_tradinfo/stockcode/eisdeqty_c.htm").content

解析數據

from pyquery import PyQuery as Q
q=Q(html)
tr = q("tr.tr_normal")

導入 db

db=zpool["mysql+mysqldb://root:pwd@dbhost:3306/glhdb"]
sqls = ["INSERT INTO `stocks_code` (`name`, `code`) VALUES ("{0}","{1}")".format(Q(i)("td")[0].text.encode("utf8","ignore"), ((Q(Q(i)("td")[1])("a") and Q(Q(i)("td")[1])("a")[0].text) or u"").encode("utf8","ignore").strip(")").strip(""").replace(""",""")) for i in tr[0:-3]]
[db.execute(text(i)) for i in sqls]

GPU云服務器云服務器大數據解讀一分鐘 js 兩個日期相差分鐘數據教你用教你選擇

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/37348.html

【Python爬蟲】手把手帶你爬下肯德基官網（ajax的post請求）

摘要：準備工作查看肯德基官網的請求方法請求。判斷得肯德基官網是請求通過這兩個準備步驟，明確本次爬蟲目標的請求肯德基官網獲取上海肯德基地點前頁。構造不難發現，肯德基官網的的一個共同點，我們把它保存為。 ...

WelliJhon 2021-10-13 09:40 評論0 收藏0
【蟲術】資深爬蟲師帶你爬取代理IP

摘要：返回結果如下，接下來我們便開始爬取西刺代理，首先我們打開瀏覽器查看網頁，并找到和端口元素的信息。爬取代理地址，代理的是西刺代理去掉可能重復的等待秒將要爬取頁數的爬取好后存入數組，然后再對其中的逐一測試。有時候在網站看小說，會莫名跳出來一個疑似機器惡意爬取，暫時無法訪問這樣類似的網站提示，需要刷新一下或者輸入一個驗證碼才能重新進入，這樣的情況偶有發生，相信大家都有遇到過。出現這個現象的...

learning 2019-06-26 17:52 評論0 收藏0
【蟲術】資深爬蟲師帶你爬取代理IP

摘要：返回結果如下，接下來我們便開始爬取西刺代理，首先我們打開瀏覽器查看網頁，并找到和端口元素的信息。爬取代理地址，代理的是西刺代理去掉可能重復的等待秒將要爬取頁數的爬取好后存入數組，然后再對其中的逐一測試。有時候在網站看小說，會莫名跳出來一個疑似機器惡意爬取，暫時無法訪問這樣類似的網站提示，需要刷新一下或者輸入一個驗證碼才能重新進入，這樣的情況偶有發生，相信大家都有遇到過。出現這個現象的...

PiscesYE 2019-07-31 11:15 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0