爬蟲實例：當當網書籍介紹

dendoink 發布于2019-07-30 18:40 / 1106人閱讀

import json
import re
import requests
from requests import RequestException


def get_one_page(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            # print("2sas")
            print(response.text)
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    #  加上re.S后, .將會匹配換行符
    pattern = re.compile(".*?list_num.*?>(.*?)

.*?pic.*?src="(.*?)".*?/>.*?name">.*?tuijian">(.*?).*?publisher_info.*?title="(.*?)".*?biaosheng.*?(.*?).*?",re.S) items = re.findall(pattern,html) for item in items: yield { "index":item[0], "iamge":item[1], "title":item[2], "tuijian":item[3], "author":item[4], "times":item[5], } def write_content_to_file(content): with open("book.txt", "a", encoding="UTF-8") as f: f.write(json.dumps(content, ensure_ascii=False) + " ") f.close() def main(page): url = "http://bang.dangdang.com/" "books/fivestars/01.00.00.00.00.00-recent30-0-0-1-" + str(page) html = get_one_page(url) parse_one_page(html) for item in parse_one_page(html): print(item) write_content_to_file(item) if __name__ == "__main__": for i in range(1,2): main(i)

GPU云服務器云服務器 java介紹相關書籍介紹asp的書籍介紹云服務器的書籍爬蟲書籍

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42835.html

Python貓薦書系列之七：Python入門書籍有哪些？

摘要：正好，最近又有幾位不同身份的初學者來咨詢，要我推薦幾本入門書籍，而我們薦書系列已經停更了兩個多月，所以，本期薦書就來推薦一些入門書籍吧。為了準備這期薦書，我專門搜集了本入門書籍，現在全部加入到了一份豆瓣豆列里，方便大家查看。 showImg(https://segmentfault.com/img/remote/1460000019299066?w=4790&h=3193); 本文原創...

Joyven 2019-07-31 10:29 評論0 收藏0
Python

摘要：最近看前端都展開了幾場而我大知乎最熱語言還沒有相關。有關書籍的介紹，大部分截取自是官方介紹。但從開始，標準庫為我們提供了模塊，它提供了和兩個類，實現了對和的進一步抽象，對編寫線程池進程池提供了直接的支持。《流暢的python》閱讀筆記《流暢的python》是一本適合python進階的書, 里面介紹的基本都是高級的python用法. 對于初學python的人來說, 基礎大概也就夠用了...

dailybird 2019-07-30 15:13 評論0 收藏0