摘要:爬蟲大戰京東商城引言上一篇已經講過怎樣獲取鏈接,怎樣獲得參數了,詳情請看爬取京東商城普通篇代碼詳解首先應該構造請求,這里使用這個方法默認調用的是構造請求,如果要改變默認的請求,那么必須重載該方法,這個方法的返回值必須是一個可迭代的對象,一般
SCrapy爬蟲大戰京東商城 引言
代碼詳解上一篇已經講過怎樣獲取鏈接,怎樣獲得參數了,詳情請看python爬取京東商城普通篇
首先應該構造請求,這里使用scrapy.Request,這個方法默認調用的是start_urls構造請求,如果要改變默認的請求,那么必須重載該方法,這個方法的返回值必須是一個可迭代的對象,一般是用yield返回,代碼如下:
def start_requests(self): for i in range(1,101): page=i*2-1 #這里是構造請求url的page,表示奇數 url=self.start_url+str(page) yield scrapy.Request(url,meta={"search_page":page+1},callback=self.parse_url) #這里使用meta想回調函數傳入數據,回調函數使用response.meta["search-page"]接受數據
下面就是解析網頁了,從上面看出這里的解析回調函數是parse_url,因此在此函數中解析網頁。這里還是和上面說的一樣,這個url得到的僅僅是前一半的信息,如果想要得到后一半的信息還有再次請求,這里還有注意的就是一個技巧:一般先解析出一個數據的數組,不急著取出第一個數,先要用if語句判斷,因為如果得到的是[],那么直接取出[0]是會報錯的,這只是一個避免報錯的方法吧,代碼如下:
def parse_url(self,response): if response.status==200: #判斷是否請求成功 # print response.url pids = set() #這個集合用于過濾和保存得到的id,用于作為后面的ajax請求的url構成 try: all_goods = response.xpath("http://div[@id="J_goodsList"]/ul/li") #首先得到所有衣服的整個框架,然后從中抽取每一個框架 for goods in all_goods: #從中解析每一個 # scrapy.shell.inspect_response(response,self) #這是一個調試的方法,這里會直接打開調試模式 items = JdSpiderItem() #定義要抓取的數據 img_url_src = goods.xpath("div/div[1]/a/img/@src").extract() # 如果不存在就是一個空數組[],因此不能在這里取[0] img_url_delay = goods.xpath( "div/div[1]/a/img/@data-lazy-img").extract() # 這個是沒有加載出來的圖片,這里不能寫上數組取第一個[0] price = goods.xpath("div/div[3]/strong/i/text()").extract() #價格 cloths_name = goods.xpath("div/div[4]/a/em/text()").extract() shop_id = goods.xpath("div/div[7]/@ data-shopid").extract() cloths_url = goods.xpath("div/div[1]/a/@href").extract() person_number = goods.xpath("div/div[5]/strong/a/text()").extract() pid = goods.xpath("@data-pid").extract() # product_id=goods.xpath("@data-sku").extract() if pid: pids.add(pid[0]) if img_url_src: # 如果img_url_src存在 print img_url_src[0] items["img_url"] = img_url_src[0] if img_url_delay: # 如果到了沒有加載完成的圖片,就取這個url print img_url_delay[0] items["img_url"] = img_url_delay[0] # 這里如果數組不是空的,就能寫了 if price: items["price"] = price[0] if cloths_name: items["cloths_name"] = cloths_name[0] if shop_id: items["shop_id"] = shop_id[0] shop_url = "https://mall.jd.com/index-" + str(shop_id[0]) + ".html" items["shop_url"] = shop_url if cloths_url: items["cloths_url"] = cloths_url[0] if person_number: items["person_number"] = person_number[0] # if product_id: # print "************************************csdjkvjfskvnk***********************" # print self.comments_url.format(str(product_id[0]),str(self.count)) # yield scrapy.Request(url=self.comments_url.format(str(product_id[0]),str(self.count)),callback=self.comments) #yield scrapy.Request寫在這里就是每解析一個鍵褲子就會調用回調函數一次 yield items except Exception: print "********************************************ERROR**********************************************************************" yield scrapy.Request(url=self.search_url.format(str(response.meta["search_page"]),",".join(pids)),callback=self.next_half_parse) #再次請求,這里是請求ajax加載的數據,必須放在這里,因為只有等到得到所有的pid才能構成這個請求,回調函數用于下面的解析
從上面代碼的最后可以看出最后就是解析ajax加載的網頁了,這里調用的next_half_parse函數,和解析前面一個網頁一樣,這里需要的注意的是,如果前面定義的數據沒有搜索完畢是不能使用yield items的,必須將items通過meta傳入下一個回調函數繼續完善后才能yield items,這里就不需要了,代碼如下:
#分析異步加載的網頁 def next_half_parse(self,response): if response.status==200: print response.url items=JdSpiderItem() #scrapy.shell.inspect_response(response,self) #y用來調試的 try: lis=response.xpath("http://li[@class="gl-item"]") for li in lis: cloths_url=li.xpath("div/div[1]/a/@href").extract() img_url_1=li.xpath("div/div[1]/a/img/@src").extract() img_url_2=li.xpath("div/div[1]/a/img/@data-lazy-img").extract() cloths_name=li.xpath("div/div[4]/a/em/text()").extract() price=li.xpath("div/div[3]/strong/i/text()").extract() shop_id=li.xpath("div/div[7]/@data-shopid").extract() person_number=li.xpath("div/div[5]/strong/a/text()").extract() if cloths_url: print cloths_url[0] items["cloths_url"]=cloths_url[0] if img_url_1: print img_url_1[0] items["img_url"]=img_url_1 if img_url_2: print img_url_2[0] items["img_url"]=img_url_2[0] if cloths_name: items["cloths_name"]=cloths_name[0] if price: items["price"]=price[0] if shop_id: items["shop_id"]=shop_id[0] items["shop_url"]="https://mall.jd.com/index-" + str(shop_id[0]) + ".html" if person_number: items["person_number"]=person_number[0] yield items #又一次的生成,這里是完整的數據,因此可以yield items except Exception: print "**************************************************"
小技巧當然這里還用到了設置請求池,mysql存儲,沒有使用到ip代理,這個在我前面的博客中又講到,這里就不再贅述了,想看源代碼的朋友請點擊這里
更多文章請看本人博客人們會抱怨為什么自己的爬蟲在中途斷開就要重頭開始爬,為什么不能從斷開那里開始爬呢,這里提供一個方法:在配置文件settings.py中加入JOBDIR=file_name,這里的file_name是一個文件的名字
設置下載延遲防止被ban:DOWNLOAD_DELAY = 2:設置每一次的間隔時間 RANDOMIZE_DOWNLOAD_DELAY = True:這個是隨機設置延遲時間 在設置的時間的0.5-1.5倍之間,這樣可以更有效的防止被ban,一般是配套使用的
ROBOTSTXT_OBEY = False :這里是表示不遵循robots.txt文件,默認是True表示遵循,這里將之改成False
CONCURRENT_REQUESTS :設置最大請求數,這里默認的時16,我們可以根據自己電腦的配置改的大一點來加快請求的速度
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/38602.html
摘要:時間永遠都過得那么快,一晃從年注冊,到現在已經過去了年那些被我藏在收藏夾吃灰的文章,已經太多了,是時候把他們整理一下了。那是因為收藏夾太亂,橡皮擦給設置私密了,不收拾不好看呀。 ...
摘要:坦克大戰上簡介上的坦克大戰相信大家都玩過有逃學玩坦克的可以自己默默的扣一個了我們現在長大了,學習游戲開發了。 寫在前面 上一篇(https://www.tech1024.cn/origi... )說了如何創建項目,并爬去網站內容,下面我們說一下如何保存爬去到的數據 開始爬取 創建Spider,上一篇我們已經創建了ImoocSpider,我們做一下修改,可以連續下一頁爬取。scrapyD...
摘要:今天為大家整理了個爬蟲項目。地址新浪微博爬蟲主要爬取新浪微博用戶的個人信息微博信息粉絲和關注。代碼獲取新浪微博進行登錄,可通過多賬號登錄來防止新浪的反扒。涵蓋鏈家爬蟲一文的全部代碼,包括鏈家模擬登錄代碼。支持微博知乎豆瓣。 showImg(https://segmentfault.com/img/remote/1460000018452185?w=1000&h=667); 今天為大家整...
摘要:開發環境目前最新開發框架目前最新目標爬取線報網站并把內容保存到里頁面分析根據上圖我們可以發現內容都在類為這個里下面放出的代碼月日月日淘金幣淘里程領取京東簽到月日淘金幣淘里程領取京東簽到已結束發布日期分類虛擬幣瀏覽淘金幣一 開發環境:Pycharm 2017.1(目前最新)開發框架: Scrapy 1.3.3(目前最新) 目標 爬取線報網站,并把內容保存到items.json里 頁面分析...
摘要:,實驗用的文件我們使用爬蟲實戰爬取京東商品列表一文的結果文件,爬蟲爬取的結果保存在京東手機列表文件中。,相關文檔,即時網絡爬蟲項目內容提取器的定義,爬蟲實戰爬取京東商品列表,集搜客開源代碼下載源,開源網絡爬蟲源,文檔修改歷史,首次發布 showImg(https://segmentfault.com/img/bVyf6R); 1,引言 GooSeeker早在9年前就開始了Semanti...
閱讀 3574·2019-08-30 15:55
閱讀 1373·2019-08-29 16:20
閱讀 3656·2019-08-29 12:42
閱讀 2661·2019-08-26 10:35
閱讀 1010·2019-08-26 10:23
閱讀 3405·2019-08-23 18:32
閱讀 897·2019-08-23 18:32
閱讀 2892·2019-08-23 14:55