Python爬蟲入門

xbynet 發布于2019-07-30 16:47 / 1942人閱讀

摘要：什么是爬蟲一段自動抓取互聯網信息的程序，從互聯網上抓取對于我們有價值的信息四種基本數據結構列表列表中的每個元素都是可變的列表的元素都是有序的，也就是說每個元素都有對應的位置列表可以容納所有的對象波波超哥小明波波超哥小明如果為切片返回的也是列

什么是爬蟲？

一段自動抓取互聯網信息的程序，從互聯網上抓取對于我們有價值的信息

Python四種基本數據結構

列表

**列表中的每個元素都是可變的;
列表的元素都是有序的，也就是說每個元素都有對應的位置;
列表可以容納所有的對象;**

list = ["波波", "90", "超哥", "小明"]
print(list[0])
print(list(2:))
# result
波波
["超哥", "小明"] # 如果為切片返回的也是列表的數據結構

字典

user_info = {
  "name": "小明",
  "age": "23",
  "sex": "male"
}

元組

**在爬蟲中元組和集合很少用到，這里只做簡單的介紹;
元組: 類似于列表，但是元組的元素是不能修改只能查看的**

# 元組
tuple = (1,2,3)

集合

集合：類似數學中的集合，每個集合中的元素是無序的，不可以有重復的對象，因此可以通過集合把重復的數據去除!

# 集合
list = [1,1,2,2,3,4,5] 
set = set(list)
# result {1,2,3,4,5}

Python文件操作

# 打開文件
open(name,[, mode[,buffering]])

f = open("/Users/GreetingText/PycharmProjects/demo/hello.txt")

# 讀寫文件

f = open("/Users/GreetingText/PycharmProjects/demo/hello.txt", "w")
f.write("Hello World")

f = open("/Users/GreetingText/PycharmProjects/demo/hello.txt", "r")
content = f.read()
print(content)
# result Hello World

# 關閉文件
f.close()

爬蟲原理

多頁面爬蟲流程

如何安裝Python環境？

Mac 系統自帶Python 2.7，安裝新版本請前往官網下載，安裝成功之后，在命令行輸入python3 如圖：

工欲善其事，必先利其器

推薦PyCharm

PyCharm破解方法拿走不謝！

推薦兩個第三方庫

Beautiful Soup 中文文檔

Scrapy 中文文檔

QuickDemo

安裝Scrapy并創建項目

pip install scrapy
scrapy startproject QuickDemo
cd QuickDemo

在spiders目錄下創建test_spilder.py文件

具體代碼(需要事先安裝BeautifulSoup庫)

# -*- coding:utf-8 -*-
import scrapy
from bs4 import BeautifulSoup


class tsSpride(scrapy.Spider):
    name = "test" # 爬蟲的唯一名字，在項目中爬蟲名字一定不能重復

    # start_requests() 必須返回一個迭代的Request
    def start_requests(self):
        # 待爬取的URL列表
        urls = ["http://www.jianshu.com/",]
        # 模擬瀏覽器
        headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
        for url in urls:
            yield scrapy.Request(url=url, headers=headers, callback=self.parse)

    # 處理每個請求的下載響應
    def parse(self, response):
        soup = BeautifulSoup(response.body, "html.parser")
        titles = soup.find_all("a", "title")
        for title in titles:
            print(title.string)

        try:
            file = open(r"/Users/GreetingText/QuickDemo/jianshu.txt", "w")
            # 將爬取到的文章題目寫入txt中
            for title in titles:
                file.write(title.string + "
")
        finally:
            if file:
                # 關閉文件（很重要）
                file.close()

在命令行輸入

scrapy crawl test

爬取數據成功如圖：

而且項目里面也生成了一個jianshu.txt文件

打開jianshu.txt如圖:

以下是參考鏈接

本文參考文章

BeautifulSoup官網

Scrapy官網

windows安裝Python3

Mac安裝Python3

GPU云服務器云服務器 python入門爬蟲 python爬蟲入門 python網絡爬蟲入門 python爬蟲教程入門

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/41829.html

零基礎如何學爬蟲技術

摘要：楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，。本文來源知乎作者路人甲鏈接楚江數據提供網站數據采集和爬蟲軟件定制開發服務，服務范圍涵蓋社交網絡電子商務分類信息學術研究等。楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，http://www.chujiangdata.com。第一：Python爬蟲學習系列教程（來源于某博主：htt...

KunMinX 2019-07-25 11:29 評論0 收藏0
Python爬蟲學習路線

摘要：以下這些項目，你拿來學習學習練練手。當你每個步驟都能做到很優秀的時候，你應該考慮如何組合這四個步驟，使你的爬蟲達到效率最高，也就是所謂的爬蟲策略問題，爬蟲策略學習不是一朝一夕的事情，建議多看看一些比較優秀的爬蟲的設計方案，比如說。（一）如何學習Python 學習Python大致可以分為以下幾個階段： 1.剛上手的時候肯定是先過一遍Python最基本的知識，比如說：變量、數據結構、語法...

liaoyg8023 2019-07-31 10:27 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
python爬蟲入門（一）

摘要：想辦法區分爬蟲程序和正常的用戶。爬蟲是工具性程序，對速度和效率要求較高。生態圈完善，是最大對手。最要命的是爬蟲需要經常修改部分代碼。爬蟲分類通用爬蟲也就是百度搜狐等搜索引擎。原本是為測試來測試網站的，后來成了爬蟲工程師最喜愛的工具。一、爬蟲的基本知識： 1. 什么是爬蟲爬蟲的英文翻譯為spider或者crawder,意為蜘蛛或者爬行者，從字面意思我們可以體會到：爬蟲就是把自己當做蜘...

lentrue 2019-07-30 17:06 評論0 收藏0
基于 Python 的 Scrapy 爬蟲入門：頁面提取

摘要：目錄基于的爬蟲入門環境搭建基于的爬蟲入門頁面提取基于的爬蟲入門圖片處理下面創建一個爬蟲項目，以圖蟲網為例抓取圖片。目錄基于 Python 的 Scrapy 爬蟲入門：環境搭建基于 Python 的 Scrapy 爬蟲入門：頁面提取基于 Python 的 Scrapy 爬蟲入門：圖片處理下面創建一個爬蟲項目，以圖蟲網為例抓取圖片。一、內容分析打開圖蟲網，頂部菜單發現...

willin 2019-07-31 11:01 評論0 收藏0
scrapy入門

摘要：快速入門首先，初步要做的就是快速構建一個爬蟲。然后把結果加入到一個隊列中。既然是入門，我們肯定是先關心我們需要的。因為公司項目需求，需要做一個爬蟲。所以我一個python小白就被拉去做了爬蟲。花了兩周時間，拼拼湊湊總算趕出來了。所以寫個blog做個記錄。快速入門首先，初步要做的就是快速構建一個爬蟲。配置環境 Mac下安裝 1) 直接從官網下載 python下載官網 2) 是通過...

CrazyCodes 2019-07-30 17:33 評論0 收藏0