摘要:并且,這個程序是多線程下載的,所以下載速度應該會比較快,我自己測試的速度,大約是秒左右下載個圖片,當然這也與你的網速和圖片大小有關。
很多時候,我們的網站上傳圖片時并沒有根據內容進行文件夾分類,甚至會直接存儲到阿里云的OSS或是七牛云等云存儲上。這樣,當我們需要打包圖片時,就需要從數據庫找尋分類圖片,通過CURL進行下載。我最近剛剛完成了一個這樣的任務,覺得會比較常用,就把程序放到了github上分享給大家,希望大家能夠喜歡。
download_images_by_csv
這個程序只有一個文件,對環境沒有太大苛求,windows和linux都能用,是不是線程安全無所謂,也沒有什么特別的擴展需要安裝。
使用的步驟是這樣的:
首先,把你數據庫的圖片字段導出成csv文件
然后,命令窗口執行代碼:
php run.php -f yourcsv.csv
如果你的字段里沒有網址信息,比如http://yoursite.com/images/20... 在字段里只記錄為20180101/14904.jpg,那么應該執行:
php run.php -f yourcsv.csv -p http://yoursite.com/images
這樣就可以了,你的電腦上會多一個文件夾名叫dir_yourcsv.csv,里面會按字段分文件保存下載的圖片。
并且,這個程序是多線程下載的,所以下載速度應該會比較快,我自己測試的速度,大約是10秒左右下載100個圖片,當然這也與你的網速和圖片大小有關。
就這么簡單,沒啥好說的了。有啥需要改的,可以在這篇文章下留言,也可以直接去github上提。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/29244.html
摘要:爬蟲分析首先,我們已經爬取到了多的用戶個人主頁,我通過鏈接拼接獲取到了在這個頁面中,咱們要找幾個核心的關鍵點,發現平面拍攝點擊進入的是圖片列表頁面。 簡介 上一篇寫的時間有點長了,接下來繼續把美空網的爬蟲寫完,這套教程中編寫的爬蟲在實際的工作中可能并不能給你增加多少有價值的技術點,因為它只是一套入門的教程,老鳥你自動繞過就可以了,或者帶帶我也行。 爬蟲分析 首先,我們已經爬取到了N多的...
摘要:爬蟲分析首先,我們已經爬取到了多的用戶個人主頁,我通過鏈接拼接獲取到了在這個頁面中,咱們要找幾個核心的關鍵點,發現平面拍攝點擊進入的是圖片列表頁面。 簡介 上一篇寫的時間有點長了,接下來繼續把美空網的爬蟲寫完,這套教程中編寫的爬蟲在實際的工作中可能并不能給你增加多少有價值的技術點,因為它只是一套入門的教程,老鳥你自動繞過就可以了,或者帶帶我也行。 爬蟲分析 首先,我們已經爬取到了N多的...
摘要:爬蟲分析首先,我們已經爬取到了多的用戶個人主頁,我通過鏈接拼接獲取到了在這個頁面中,咱們要找幾個核心的關鍵點,發現平面拍攝點擊進入的是圖片列表頁面。 簡介 上一篇寫的時間有點長了,接下來繼續把美空網的爬蟲寫完,這套教程中編寫的爬蟲在實際的工作中可能并不能給你增加多少有價值的技術點,因為它只是一套入門的教程,老鳥你自動繞過就可以了,或者帶帶我也行。 爬蟲分析 首先,我們已經爬取到了N多的...
閱讀 1228·2021-09-26 09:46
閱讀 1581·2021-09-06 15:00
閱讀 713·2019-08-30 15:52
閱讀 1115·2019-08-29 13:10
閱讀 1276·2019-08-26 13:47
閱讀 1478·2019-08-26 13:35
閱讀 2027·2019-08-23 18:38
閱讀 721·2019-08-23 17:59