摘要:我發現抖音上很多小姐姐就拍個跳舞的視頻就火了,大家是沖著舞蹈水平去的嗎,都是沖著顏值身材去的,能刷到這篇文章的都是了,我就跟大家不一樣了,一個個刷太麻煩了,我直接爬下來看個夠,先隨意展示兩個。
我發現抖音上很多小姐姐就拍個跳舞的視頻就火了,大家是沖著舞蹈水平去的嗎,都是沖著顏值身材去的,能刷到這篇文章的都是lsp了,我就跟大家不一樣了,一個個刷太麻煩了,我直接爬下來看個夠,先隨意展示兩個。
爬取目標:女神世界
使用環境:Python3.7 工具:pycharm 第三方庫:requests, re, pyquery
使用快捷鍵 F12 進入開發者控制臺:
先不急, 找到 視頻地址 去搜索他 看看在哪里有包含:
定位他 發現是靜態頁面返回的數據:
def Tools(url):# 封裝一個工具函數 用來做請求的 headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52" } response = requests.get(url, headers=headers) return responseurl = "https://www.520mmtv.com/9614.html"response = Tools(url).textvideo_url = re.findall(r"url: "(.*?)",", response)[0] # 正則表達式提取 視頻地址video_content = Tools(video_url).content# 視頻地址存儲 需要在代碼同路徑 手動創建 短視頻文件夾with open("./短視頻/123.mp4", "ab") as f: f.write(video_content)?# 下載了一個
def main(): url = "https://www.520mmtv.com/hd/rewu.html" response = Tools(url).text doc = pq(response) # 創建pyquery對象 注意根據css的 class 類選擇 和id選擇器進行數據提取 i_list = doc(".i_list.list_n2.cxudy-list-formatvideo a").items() # .類選擇器 中間有空格的 記得替換成. meta_title = doc(".meta-title").items() # 標題 for i, t in zip(i_list, meta_title): href = i.attr("href") Play(t.text(), href)
import requestsimport refrom pyquery import PyQuery as pqdef Tools(url): headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36 Edg/93.0.961.52" } response = requests.get(url, headers=headers) return responsedef Play(title, url): # url = "https://www.520mmtv.com/9614.html" response = Tools(url).text video_url = re.findall(r"url: "(.*?)",", response)[0] video_content = Tools(video_url).content with open("./短視頻/{}.mp4".format(title), "ab") as f: f.write(video_content) print("{}下載完成....".format(title))def main(): url = "https://www.520mmtv.com/hd/rewu.html" response = Tools(url).text doc = pq(response) # 創建pyquery對象 注意根據css的 class 類選擇 和id選擇器進行數據提取 i_list = doc(".meta-title").items() # .類選擇器 中間有空格的 記得替換成. meta_title = doc(".meta-title").items() # 標題 for i, t in zip(i_list, meta_title): href = i.attr("href") Play(t.text(), href)if __name__ == "__main__": main()
下載比較慢網絡不好,你網快的話 ,就下載快。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/123091.html
摘要:愛美之心人皆有之,正所謂窈窕淑女君子好逑,美好敲代碼的一天從好看的桌面壁紙開始,好看的桌面壁紙從美女壁紙開始。 大家好,我是辣條,這是我爬蟲系列的第26篇。 愛美之心人皆有之,正所謂窈窕淑女君子好逑,美好敲代碼的一天從好看的桌面壁紙開始,好看的桌面壁紙從美女壁紙開始。今天給大家帶來福利啦,爬...
摘要:時間永遠都過得那么快,一晃從年注冊,到現在已經過去了年那些被我藏在收藏夾吃灰的文章,已經太多了,是時候把他們整理一下了。那是因為收藏夾太亂,橡皮擦給設置私密了,不收拾不好看呀。 ...
摘要:大家好我是辣條。今天給大家帶來爬蟲實戰例之篇爬蟲之路永無止境。 大家好,我是辣條。 今天給大家帶來【爬蟲實戰100例】之41篇,爬蟲之路永無止境。 爬取目標 網址:尺度有點大,遭不住... 效果展示 工具準備 開發工具ÿ...
摘要:成功爬取了拉鉤網上多個招聘崗位的具體信息后,數據可視化并得出分析結果如下從整體看,北上廣深杭這五個城市前端工程師招聘崗位,北京是遙遙領先,是深圳的兩倍,是廣州的三倍,其次到上海,深圳,杭州,廣州居末。 前前言 本文首發于 github blog 不想看爬蟲過程只想看職位錢途數據分析請看這里:前端招聘崗位分析C++招聘崗位分析JAVA招聘崗位分析PHP招聘崗位分析Python招聘崗位分析...
閱讀 2181·2021-11-19 09:55
閱讀 2637·2021-11-11 16:55
閱讀 3174·2021-09-28 09:36
閱讀 1945·2021-09-22 16:05
閱讀 3269·2019-08-30 15:53
閱讀 1805·2019-08-30 15:44
閱讀 2898·2019-08-29 13:10
閱讀 1338·2019-08-29 12:30