【爬蟲工具】下載博客轉成Markdown的形式

JasinYip 發布于2019-07-30 15:31 / 2990人閱讀

摘要：簡單的爬蟲工具下載博客，并轉成的形式為什么要寫這個工具主要是為了收集好的網上資源，每次看到一篇好的文章就像保存下來，但是保存網頁的可讀性太差了，如果轉換成的形式就很舒服。

簡單的爬蟲工具

下載博客，并轉成Markdown的形式

為什么要寫這個工具

主要是為了收集好的網上資源，每次看到一篇好的文章就像保存下來，但是保存網頁的可讀性太差了，如果轉換成Markdown的形式就很舒服。但是網頁中會有許多無聊的標簽干擾，于是寫個簡單的工具

使用的python庫

beautifulsoup4

requests

html2text

csdn.py csdn博客爬蟲

jianshu.py 簡書博客爬蟲

juejin.py 掘金文章爬蟲

segmentfault.py segmentfault文章爬蟲

使用方法舉例

import html2md

url_list = [
        "http://blog.csdn.net/qq_37482544/article/details/63720726", # csdn
        "https://www.jianshu.com/p/b6220e99df2d", # jianshu
        "https://juejin.im/post/5a68437b6fb9a01ca47aabc6", # juejin
        "https://segmentfault.com/a/1190000011929414", # segmentfault
        "http://www.voidcn.com/article/p-giqfrkhb-bbr.html", # 其他
        "https://www.cnblogs.com/zxqstrong/p/4789105.html"
    ]
for url in url_list:
    checkSite(url)

項目地址

https://github.com/No-96/Feng...

云服務器 GPU云服務器支持markdown的博客 markdown博客爬蟲工具下載網頁爬蟲工具下載

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/41303.html

我是如何將博客轉成PDF的

摘要：但發現導出來的沒有高亮語法沒有語法高亮咋看啊，所以到這里我就放棄了，將就用一下博客園生成的吧爬蟲學習上面提供的接口是一個生成一個文件，我是不可能一個一個將鏈接和標題放上去生成的因為博客園上發的也將近篇了。前言只有光頭才能變強之前有讀者問過我：3y你的博客有沒有電子版的呀？我想要份電子版的。我說：沒有啊，我沒有弄過電子版的，我這邊有個文章導航頁面，你可以去文章導航去找來看呀..然后...

mindwind 2019-08-16 13:58 評論0 收藏0
scrapy 實戰練習

摘要：爬取百思不得姐首先一步一步來，我們先從爬最簡單的文本開始。將百思不得姐段子保存到中別忘了將管道加到配置文件中。雖然我只是簡單的爬了百思不得姐，不過這些方法可以應用到其他方面，爬取更多更有用的數據。前一篇文章介紹了很多關于scrapy的進階知識，不過說歸說，只有在實際應用中才能真正用到這些知識。所以這篇文章就來嘗試利用scrapy爬取各種網站的數據。爬取百思不得姐首先一步一步來，我...

betacat 2019-07-30 15:05 評論0 收藏0
博客圖片失效？使用npm包20行代碼一次下載/替換所有失效的外鏈圖片

摘要：前言大約一個月前，微博的圖片外鏈失效了，以及掘金因為盜鏈問題也于決定開啟防盜鏈，造成的影響是個人博客網站的引用了這些圖片外鏈都不能顯示。比如前段時間我的博客上引用的微博圖片都不能顯示了。用新的圖片鏈接替換文件中某個域名的圖片鏈接。 showImg(https://segmentfault.com/img/remote/1460000019393704); 前言大約一個月前，微博的圖片...

snowell 2019-08-23 17:57 評論0 收藏0
讀?VuePress（四）插件機制的設計

前言從 9 月份開始，vuepress 源碼進行了重新設計和拆分。先是開了個 next 分支，后來又合并到 master 分支，為即將發布的 1.x 版本做準備。最主要的變化是：大部分的全局功能都被拆分成了插件的形式，以可插拔的方式來支撐 vuepress 的運作，這一點很像 webpack。具體架構如下： showImg(https://user-gold-cdn.xitu.io/2019...

April 2019-05-22 16:41 評論0 收藏0