摘要：注意網站中用的所有技術可以交流學習不要以線上環境運行，因為源碼中沒有包含相關文件中的，授權登陸需要自己配置賬號密碼只有讀取權限交流群

線上環境小包總

服務器： node、koa2

客戶端： vue、vuex、vue-router、Element-UI

數據庫： redis、mongodb

打包： webpack

爬蟲模塊：用于爬取一些我看的上的文章，主要采用request，cheerio模塊對數據的爬取和處理，

同時需要注意處理爬取圖片的處理

文章模塊：展示爬取的文章數據，并進行分類處理和展示

登錄注冊模塊： 支持用戶的登錄注冊，接入第三方登錄接口，注冊采用nodemailer模塊進行郵箱驗證

留言模塊： 讓用戶在本網站留下自己的足記

統計模塊： 統計網站訪問量等數據

segmentfault的文章不用登錄就能查看，所有可用訪問url就能取到文章的內容，唯一需要的注意的是請求的圖片鏈接要做特殊的處理，最開始本來我是用的盜鏈的形式，后面過了一段時間segmentfault不允許盜鏈了，沒辦法只能從自己網站加載了。

在segmentfault中圖片的src中帶有?,&符號這中特殊的符號(應該是圖片服務器的原因)，并且也沒有圖片的后綴

、所以我在爬取圖片的時候就需要處理特殊符號，和加后綴

let imgError = false, imgPath = (imgSavePath + src).replace(/?|&/g, "_");
//替換特殊符號
let writeFile = fs.createWriteStream(imgPath), extname;
    request(_src || (addr + src), {timeout: 60000}).on("response", function(response){
        if(response.statusCode.toString().indexOf("4") == 0){
            self.remove();
            imgError = true;
            resolve2();
            return;
        }
        extname = path.extname(response.request.path);
        //在響應頭中獲取文件后綴                                
        if(!extname && response.headers["content-type"].indexOf("image") != -1){
            extname = "." + response.headers["content-type"].split("/")[1];
            if(extname.indexOf("svg") != -1){
                extname = ".svg";
            }
        }
        let imgSrc = _src ?  src : src + extname;
        self.attr("src", imgSrc);
    }).on("error", function(err){
        writeLog("請求圖片失?。?"+ (_src||src)+ " 來至url： "+ url, true);
        self.remove();
        imgError = true;
        reject2();
    }).pipe(writeFile);
    writeFile.on("finish", function(){
        if(imgError){
            return ;
        }    
        if(extname){
            let imgPath = (imgSavePath + src).replace(/?|&/g, "_");
            //添加后綴
            if(fs.existsSync(imgPath)){
                try{
                    if(src.indexOf(".") != -1){
                        resolve2("自帶后綴： "+ src);
                        return;
                    }
                    fs.renameSync(imgPath, imgPath + extname);
                    writeLog("修改圖片： " + imgPath + extname);                            
                }catch(e){
                    writeLog("修圖圖片失敗原因： ."+ src + extname + "
" + e, true);
                }
                resolve2(imgPath + extname);
            }else {
                writeLog("圖片不存在： ."+ src+ " 來至url： "+ url, true);
                reject2(url);
            }
        }
    });

文章中的代碼樣式，需要自己用highlight模塊去添加。
然后就是把文章的關鍵信息，如文件的url，時間，作者，保存到數據庫，把文章的真正的html保存為一個文件，然后根據url去加載本地的html。

網站中用的所有技術可以交流學習

不要以線上環境運行，因為源碼中沒有包含https相關文件

config.js中的github，qq授權登陸需要自己配置

mongodb賬號密碼只有讀取權限

133240225、 193572405