<ul id="ws0i0"></ul>

<tfoot id="ws0i0"></tfoot>

python爬蟲-requests與bs4獲得所有爐石傳說卡背

Eirunye 發布于2019-07-30 18:42 / 943人閱讀

摘要：太簡單了就當做個記錄，直接貼代碼了發送請求設置編碼防止亂碼解析頁面和保存數據程序用時

太簡單了就當做個記錄，直接貼代碼了

import os
import requests
from bs4 import BeautifulSoup
import time
# 發送請求
def send():
    r = requests.get(url=base_url)
    # 設置編碼防止亂碼
    r.encoding ="GBK";
    content = r.text
    parseAndSave(content)
# 解析頁面和保存數據
def parseAndSave(html):
    soup = BeautifulSoup(html, "lxml")
    ulList = soup.find_all("ul", attrs={"class": "kzlist"})
    # print(ulList);
    for ul in ulList:
        li = ul.find_all("li");
        for item in li:
            name  = item.find("img").next_sibling
            obtain_method  = item.find("a").find("p").text
            rootDir = os.getcwd()
            if not os.path.exists(name):
                os.mkdir(name);
                os.chdir(name);
                src = item.find("a").find("img")["src"]
                pic = requests.get(src)
                with open("pic.jpg", "wb") as fw:
                      fw.write(pic.content)
                with open("info.txt", "a+") as fw:
                      fw.write(name+"
")
                      fw.write(obtain_method)
                os.chdir(rootDir);
def main():
    start_time = time.time()
    send()
    end_time = time.time()
    print("程序用時：",(end_time - start_time))
if __name__ == "__main__":
    base_url = "http://news.4399.com/gonglue/lscs/kabei/"
    cardList = []
    main()

GPU云服務器云服務器爬蟲與python js獲得所有的文檔 python的requests安裝爐石 linux

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/42905.html

一步一步教你如何搭建自己的視頻聚合站

摘要：不過因為各個平臺互相挖人的關系，導致關注的一些主播分散到了各個直播平臺，來回切換有點麻煩，所以萌生了做一個視頻聚合站的想法。后續我們會對這三個部分的功能做逐一展開說明。正則處理要求比較高，但是幾乎能應對所有的情況，屬于大殺器。前言作為一個爐石傳說玩家，經常有事沒事開著直播網站看看大神們的精彩表演。不過因為各個平臺互相挖人的關系，導致關注的一些主播分散到了各個直播平臺，來回切換有點麻...

justjavac 2019-07-30 14:20 評論0 收藏0
爬蟲問題總結

摘要：編碼我們發現，中有時候存在中文，這是就需要對進行編碼。可以先將中文轉換成編碼，然后使用方法對參數進行編碼后傳遞。本文檔對日常學習中用 python 做數據爬取時所遇到的一些問題做簡要記錄，以便日后查閱，部分問題可能因為認識不到位會存在一些誤解，敬請告知，萬分感謝，共同進步。估算網站規模該小節主要針對于整站爬取的情況。爬取整站之前，肯定是要先對一個網站的規模進行估計。這是可以使用g...

nanfeiyan 2019-07-30 16:34 評論0 收藏0
Python3爬蟲下載pdf（二）

摘要：爬蟲下載二最近在學習的爬蟲，并且玩的不亦說乎，因此寫個博客，記錄并分享一下。需下載下載以下模塊模塊模塊一源碼設置命令行參數功能下載目標最大的線程數。方法的作用與內置函數類似，不過函數會在多個線程中并發調用方法返回一個生成器。 Python3爬蟲下載pdf（二）最近在學習python的爬蟲，并且玩的不亦說乎，因此寫個博客，記錄并分享一下。需下載下載以下模塊 bs4模塊 reques...

LancerComet 2019-07-30 14:32 評論0 收藏0
Python3爬蟲下載pdf（一）

摘要：爬蟲下載一最近在學習的爬蟲，并且玩的不亦說乎，因此寫個博客，記錄并分享一下。 Python3爬蟲下載pdf（一）最近在學習python的爬蟲，并且玩的不亦說乎，因此寫個博客，記錄并分享一下。需下載以下模塊 bs4 模塊 requests 模塊一、源碼功能：下載指定url內的所有的pdf 語法：將含有pdf的url放到腳本后面執行就可以了 from bs4 import...

instein 2019-07-30 14:32 評論0 收藏0
Python3 爬蟲 requests+BeautifulSoup4(BS4) 爬取小說網站數據

摘要：剛學爬蟲不久，迫不及待的找了一個網站練手，新筆趣閣一個小說網站。繼續學習，有改進方案的歡迎提出來，一起交流。剛學Python爬蟲不久，迫不及待的找了一個網站練手，新筆趣閣：一個小說網站。前提準備安裝Python以及必要的模塊（requests，bs4），不了解requests和bs4的同學可以去官網看個大概之后再回來看教程爬蟲思路剛開始寫爬蟲的小白都有一個疑問，進行到什么時候...

taoszu 2019-07-30 18:36 評論0 收藏0