簡單爬蟲腳本：178上data2比分扳

AnthonyHan 發布于2019-07-25 11:48 / 2378人閱讀

摘要：基輔特錦賽正在進行，上班時候又不能看比賽，打開游戲網站吧，也不太好，寫了個小腳本抓取上的比分扳，看下比賽結果，也是極好的吧。。。

Dota2基輔特錦賽正在進行，上班時候又不能看比賽，打開游戲網站吧，也不太好，寫了個小腳本抓取178上的比分扳，看下比賽結果，也是極好的吧。。。

比分扳的數據是js生成的，那就直接傳入參數，獲取內容

仔細一看這參數還挺多，Headers中參數標簽

再窗口中直接打開連接：

使用正則查找數據吧

from bs4 import BeautifulSoup
import re
import requests

data={
    "endpoint":"three",
    "ids":"100000282,100000930,100000924,100000918,100000843",
    "callback":"jQuery112408214716044557848_1493194419017",
    "_":"1493194419018"
      }

web_data = requests.get("http://wxapi.178.com/vpgame_proxy.php",params=data)
soup = BeautifulSoup(web_data.text,"lxml")
event_list = str(soup).split("}]}}")[:-1]


def get_events(strings):
    events_name = re.findall(r""tournamentName":"(.*?)"",strings)
    events_date = re.findall(r"(d{4}-d{2}-d{2})",strings)
    events_status = re.findall(r""status":"(w+)"",strings)
    l_teams = re.findall(r""leftTeam":"(.*?)"",strings)
    r_teams = re.findall(r""rightTeam":"(.*?)"",strings)
    l_scores = re.findall(r""leftTeamScore":"(d+)"",strings)
    r_scores = re.findall(r""rightTeamScore":"(d+)"",strings)
    print("|{0!s: ^37s}|{1!s: ^20s}|".format(events_name[0], events_date[0]))
    print("{:-^60}".format("-"))
    
    for events_statu,l_team,l_score,r_score,r_team in zip(events_status,l_teams,l_scores,r_scores,r_teams):
        print("|{0!s: ^8s}|{1!s: ^20}| {2!s: ^1s} - {3!s: ^1s} |{4!s: ^20s}|".format(events_statu,l_team,l_score,r_score, r_team))

for i in event_list:
    get_events(i)
    print("{:-^60}".format("-"))

執行結果

寫的比較粗糙，也沒有進行排序，湊合用吧

GPU云服務器云服務器簡單的shell腳本爬蟲腳本簡單爬蟲爬蟲簡單

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/38618.html

[No.003-1]爬蟲網易賠率數據并導入到mysql數據庫

摘要：獲取場次以及分數合集比如比分對應代碼表對應對應勝其他對應平其他對應負其他因此場次和比分結合為，場次信息比分標題勝其他平其他負其他場次比分之后遍歷得到結果集如場次為位數字，第一個為主場比分，中間為冒號，最后一個為客場比分平其他 #encoding:utf-8 import urllib2 from bs4 import BeautifulSoup website = http://ca...

Warren 2019-07-24 17:39 評論0 收藏0
極簡爬蟲攻防戰紀要

摘要：極簡爬蟲攻防戰紀要爬蟲是構建搜索引擎的基礎負責抓取網頁信息并對網頁識別分類及過濾。爬蟲方終于鎖定了第一場戰役的勝局由于斷崖式技術的出現，反爬方在瀏覽器識別戰役上望風披靡。經過反爬方的精心運作，逐漸有效削弱了敵方的攻勢。極簡爬蟲攻防戰紀要 ? ??爬蟲是構建搜索引擎的基礎, 負責抓取網頁信息并對網頁識別、分類及過濾。我們熟識的電商、搜索、新聞及各大門戶網站都有強大的爬蟲集群在每...

elliott_hu 2019-08-26 14:06 評論0 收藏0
[No.003-0]爬蟲網易賠率數據并導入到mysql數據庫

摘要：所以我不得不做的就是把每天的賠率數據導入到我自己的數據庫，根據一定的運算法則，將可能性篩選出來，然后我再做進一步的判斷。首先，我擁有這個導入賠率的需求，并且，我需要的是所有的數據賠率，我需要把某些臟賠率(極有可能不會出現的賠率，誤導彩迷的賠率)刪除，并且我需要知道這些賠率的比分，刪除這些賠率，可以逆推正確比分以及賠率的區間。所以我不得不做的就是把每天的賠率數據導入到...

cikenerd 2019-07-24 17:37 評論0 收藏0
8、web爬蟲講解2—urllib庫爬蟲—ip代理—用戶代理和ip代理結合應用

摘要：百度云搜索搜網盤淘寶券使用代理格式化，第一個參數，請求目標可能是或者對應設置初始化將代理設置成全局當使用請求時自動使用代理引入隨機模塊文件格式化注意第一個參數可能是或者，對應設置初始化將代理設置成全局當使用請求時自動使用代理請求【百度云搜索:http://bdy.lqkweb.com】【搜網盤:http://www.swpan.cn】【淘寶券:http://www.tbquan....

mrcode 2019-07-31 10:35 評論0 收藏0