国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

從CSV文件中讀取jpg圖片的URL地址并多線程批量下載

tabalt / 3288人閱讀

摘要:并且,這個程序是多線程下載的,所以下載速度應該會比較快,我自己測試的速度,大約是秒左右下載個圖片,當然這也與你的網速和圖片大小有關。

很多時候,我們的網站上傳圖片時并沒有根據內容進行文件夾分類,甚至會直接存儲到阿里云的OSS或是七牛云等云存儲上。這樣,當我們需要打包圖片時,就需要從數據庫找尋分類圖片,通過CURL進行下載。我最近剛剛完成了一個這樣的任務,覺得會比較常用,就把程序放到了github上分享給大家,希望大家能夠喜歡。

download_images_by_csv

這個程序只有一個文件,對環境沒有太大苛求,windows和linux都能用,是不是線程安全無所謂,也沒有什么特別的擴展需要安裝。
使用的步驟是這樣的:

首先,把你數據庫的圖片字段導出成csv文件

然后,命令窗口執行代碼:

php run.php -f yourcsv.csv

如果你的字段里沒有網址信息,比如http://yoursite.com/images/20... 在字段里只記錄為20180101/14904.jpg,那么應該執行:

php run.php -f yourcsv.csv -p http://yoursite.com/images

這樣就可以了,你的電腦上會多一個文件夾名叫dir_yourcsv.csv,里面會按字段分文件保存下載的圖片。
并且,這個程序是多線程下載的,所以下載速度應該會比較快,我自己測試的速度,大約是10秒左右下載100個圖片,當然這也與你的網速和圖片大小有關。
就這么簡單,沒啥好說的了。有啥需要改的,可以在這篇文章下留言,也可以直接去github上提。

文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。

轉載請注明本文地址:http://specialneedsforspecialkids.com/yun/29244.html

相關文章

  • Python爬蟲入門教程 4-100 美空網未登錄圖片爬取

    摘要:爬蟲分析首先,我們已經爬取到了多的用戶個人主頁,我通過鏈接拼接獲取到了在這個頁面中,咱們要找幾個核心的關鍵點,發現平面拍攝點擊進入的是圖片列表頁面。 簡介 上一篇寫的時間有點長了,接下來繼續把美空網的爬蟲寫完,這套教程中編寫的爬蟲在實際的工作中可能并不能給你增加多少有價值的技術點,因為它只是一套入門的教程,老鳥你自動繞過就可以了,或者帶帶我也行。 爬蟲分析 首先,我們已經爬取到了N多的...

    netmou 評論0 收藏0
  • Python爬蟲入門教程 4-100 美空網未登錄圖片爬取

    摘要:爬蟲分析首先,我們已經爬取到了多的用戶個人主頁,我通過鏈接拼接獲取到了在這個頁面中,咱們要找幾個核心的關鍵點,發現平面拍攝點擊進入的是圖片列表頁面。 簡介 上一篇寫的時間有點長了,接下來繼續把美空網的爬蟲寫完,這套教程中編寫的爬蟲在實際的工作中可能并不能給你增加多少有價值的技術點,因為它只是一套入門的教程,老鳥你自動繞過就可以了,或者帶帶我也行。 爬蟲分析 首先,我們已經爬取到了N多的...

    JowayYoung 評論0 收藏0
  • Python爬蟲入門教程 4-100 美空網未登錄圖片爬取

    摘要:爬蟲分析首先,我們已經爬取到了多的用戶個人主頁,我通過鏈接拼接獲取到了在這個頁面中,咱們要找幾個核心的關鍵點,發現平面拍攝點擊進入的是圖片列表頁面。 簡介 上一篇寫的時間有點長了,接下來繼續把美空網的爬蟲寫完,這套教程中編寫的爬蟲在實際的工作中可能并不能給你增加多少有價值的技術點,因為它只是一套入門的教程,老鳥你自動繞過就可以了,或者帶帶我也行。 爬蟲分析 首先,我們已經爬取到了N多的...

    Kross 評論0 收藏0
  • 接口測試常見問題

    摘要:同時我們也可以使用控件來實現小型的接口自動化來提高接口測試效率。接口測試的流程首先我們要了解需求,熟悉業務場景然后根據需求文檔,接口文檔以及業務場景來編寫測試用例。 ...

    edgardeng 評論0 收藏0

發表評論

0條評論

tabalt

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<