[No.003-1]爬蟲網易賠率數據并導入到mysql數據庫

Warren 發布于2019-07-24 17:39 / 882人閱讀

摘要：獲取場次以及分數合集比如比分對應代碼表對應對應勝其他對應平其他對應負其他因此場次和比分結合為，場次信息比分標題勝其他平其他負其他場次比分之后遍歷得到結果集如場次為位數字，第一個為主場比分，中間為冒號，最后一個為客場比分平其他

#encoding:utf-8
import urllib2
from bs4 import BeautifulSoup

website = "http://caipiao.163.com/order/jczq-hunhe/#from=leftnav"
page = urllib2.urlopen(website)
soup = BeautifulSoup(page)


"""
獲取場次以及分數合集比如
比分對應代碼表：
11對應：1:1
70對應：勝其他
77對應：平其他
07對應：負其他
因此場次和比分結合為，017-10,017-20,017-21
"""
#場次信息 screening
i = 1
screening = []
for item in soup.findAll("span",{"class":"co1"}):
    screening.append(item.i.string+"
")
    i+=1

sc = open("sc.txt","w")
sc.writelines(screening)
sc.close()

#比分標題 bifen
bifen=["1:0","2:0","2:1","3:0","3:1","3:2","4:0","4:1","4:2","5:0","5:1","5:2","勝其他","0:0","1:1","2:2","3:3","平其他","0:1","0:2","1:2","0:3","1:3","2:3","0:4","1:4","2:4","0:5","1:5","2:5","負其他"]

#場次+比分：ccbf
ccbf = []
for item_jtip in screening:
    for item_bifen in bifen:
        ccbf.append(item_jtip+item_bifen)

#之后遍歷ccbf
for item in ccbf:
    print item

#得到結果集如(場次為3位數字，第一個為主場比分，中間為冒號，最后一個為客場比分)：
0281:1
0282:2
0283:3
028平其他
0280:1
0280:2
0281:2
0280：3
0281:3
0282:3
0280:4
0281:4
0282:4
0280:5
0281:5

#----------------
"""
這里因為使用的是python2，所以需要將str->Unicode
具體參考：
http://blog.csdn.net/mindmb/article/details/7898528
"""

#建立比分賠率字典bfpl
#獲取比分賠率
bfpl = []
for item in soup.findAll("td",{"gametype":"bf"}):
    bfpl.append(item.find("div").string+"
")

#寫入到文件bf.txt
bf = open("bf.txt","w")
bf.writelines(bfpl)
bf.close()

#組合
bfdata = {}
bf = dict(zip(ccbf,bfpl))
#--------------------
#出現錯誤！！！
#bfpl獲取的數量和ccbf數量不一致，重新使用一個隊列，同時獲取場次和比分的賠率數據放置在一個隊列中

GPU云服務器云服務器用java訪問oracle數據庫取得記錄并輸出到界面大量數據導入到rds dat文件導入到數據庫 csv文件導入到數據庫

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/37374.html

[No.003-0]爬蟲網易賠率數據并導入到mysql數據庫

摘要：所以我不得不做的就是把每天的賠率數據導入到我自己的數據庫，根據一定的運算法則，將可能性篩選出來，然后我再做進一步的判斷。首先，我擁有這個導入賠率的需求，并且，我需要的是所有的數據賠率，我需要把某些臟賠率(極有可能不會出現的賠率，誤導彩迷的賠率)刪除，并且我需要知道這些賠率的比分，刪除這些賠率，可以逆推正確比分以及賠率的區間。所以我不得不做的就是把每天的賠率數據導入到...

cikenerd 2019-07-24 17:37 評論0 收藏0
[No.003-5]爬蟲網易賠率數據并導入到mysql數據庫

摘要：創建比賽結果數據庫導入結果到導入到數據庫中更新勝負數據插入更新勝場勝其他更新負場負其他更新平局平其他查看更新結果創建比賽結果數據庫 CREATE TABLE `results` ( `id` char(14) NOT NULL, `scr` char(3) NULL , `lea` char(100) NULL , `gmd` date NULL , `hos` char...

ybak 2019-07-24 17:38 評論0 收藏0
[No.003-3]爬蟲網易賠率數據并導入到mysql數據庫--MySQL篇

摘要：創建數據庫以及表，并導入數據創建數據庫創建表勝分數比分平負導入數據導入到數據庫中創建數據庫以及表，并導入數據 --創建數據庫 CREATE DATABASE `data` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; --創建表 --win w 勝 0 分數 1 比分 --draw d 平 --lose l 負 C...

ztyzz 2019-07-24 17:39 評論0 收藏0
[No.003-4]爬蟲網易賠率數據并導入到mysql數據庫

摘要：收集比賽結果場次先獲得包含和其他信息的隊列賽事類型比賽日期刪除無效的前個數據主隊，客隊勝平負賠率刪除首尾兩個無效數據比分結果以及比分結果賠率形成場次日期唯一裝配結果集更新數據庫內容更新勝平負勝其他平其他負其他更新總進球勝其收集比賽結果 #encoding:utf-8 import sys import urllib2 import re from bs4 import Beauti...

BlackHole1 2019-07-24 17:39 評論0 收藏0