如何避免Puppeteer被前端JS檢測

keelii 發布于2019-08-23 18:14 / 2166人閱讀

摘要：工具和資料群高級爬蟲作者自建群，歡迎加入中國商標網加密接口僅作演示作者收集的爬蟲相關工具和資料前言這兩天開始看，發現居然也能被某數的前端檢測出來的區找了找，原來啟動的里面，是有屬性的，搞什么搞么，老外真是做那啥還要立牌坊方案區里

工具和資料

QQ群 - Javascript高級爬蟲 - 作者自建群，歡迎加入！

中國商標網加密接口 - 僅作演示

awesome-java-crawler - 作者收集的爬蟲相關工具和資料

前言

這兩天開始看puppeteer，發現居然也能被某數的前端js檢測出來！？
github的issue區找了找，原來puppeteer啟動的chrome里面，是有navigator.webdriver屬性的，搞什么搞么，老外真是做那啥還要立牌坊……

方案1

issue區里看到的解決方案：

await this.page.evaluateOnNewDocument(() => {
         Object.defineProperty(navigator, "webdriver", {
         get: () => undefined,
    });
 }

但是說實話這個還是有點問題的，因為用"webdriver" in navigator還是能檢測出來。

方案2

想找找到底哪個環節把"webdriver"屬性加上的，但是文本搜索發現puppeteer源碼中并沒有……
后來chrome中用chrome:version看了下命令行啟動參數，結果發現了這個："--enable-automation"……
一看就有問題，為了確認特意搜了一下這個命令行參數的說明：

--enable-automation: Inform users that their browser is being controlled by an automated test.

媽蛋純粹是立牌坊用的，其它毛用沒有……

確認了就可以干掉它了，啟動chrome時加個忽略默認參數即可：

const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});

云服務器 GPU云服務器 amazon如何避免被關聯亞馬遜如何避免被關聯云主機怎么避免被攻擊避免云服務器被攻擊

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/104878.html

如何避免Puppeteer被前端JS檢測

摘要：工具和資料群高級爬蟲作者自建群，歡迎加入中國商標網加密接口僅作演示作者收集的爬蟲相關工具和資料前言這兩天開始看，發現居然也能被某數的前端檢測出來的區找了找，原來啟動的里面，是有屬性的，搞什么搞么，老外真是做那啥還要立牌坊方案區里 showImg(https://segmentfault.com/img/remote/1460000018765904); 工具和資料 QQ群 - Ja...

isaced 2019-07-31 10:36 評論0 收藏0
Puppeteer前端自動化測試實踐

摘要：本篇內容將記錄并介紹使用進行自動化網頁測試，并依靠約定來避免反復修改測試用例的方案。總結根據以上的功能劃分，我們很好的將一整個應用拆分成各個測試單元進行單元測試。本篇內容將記錄并介紹使用Puppeteer進行自動化網頁測試，并依靠約定來避免反復修改測試用例的方案。主要解決頁面眾多時，修改代碼導致的牽連錯誤無法被發現的運行時問題。文章首發于個人博客。對前端感興趣希望一起討論的可以加我v...

Jensen 2019-08-23 15:20 評論0 收藏0
前端清單第 27 期：React Patent License 回復，Shopify WebVR 購

摘要：新聞熱點國內國外，前端最新動態就開源許可證風波進行回復數周前，基金會決定禁止旗下項目使用，因為其在標準的許可證之外添加了專利聲明此舉引發了社區的廣泛討論，希望能夠更新其開源許可證。 showImg(https://segmentfault.com/img/remote/1460000010777089); 前端每周清單第 27 期：React Patent License 回復，Sho...

jeffrey_up 2019-08-21 12:03 評論0 收藏0
小程序測試方案初探

摘要：前言年月號微信小程序正式上線，小程序不需要安裝就能使用，依托微信強大的生態環境，能做到很多所不能做的事情。當然更希望的是小程序官方能給出相應的單元測試方案吧。前言 2017年1月9號微信小程序正式上線，小程序不需要安裝就能使用，依托微信強大的生態環境，能做到很多H5所不能做的事情。從微信小程序發布這段時間，陸陸續續開發了不少小程序相關的項目，總結了一些通用性的組件，但是對于小程序如何...

church 2019-05-29 17:01 評論0 收藏0
1.前端自動化測試之視覺測試

摘要：視覺感知測試視覺回歸測試為了解決上面提到的各種問題，視覺感知測試孕育而生。第三種方式，無法進行視覺感知測試結果只能進行視覺回歸測試和上一版的繼續比較差異。前端自動化測試之視覺測試 showImg(https://segmentfault.com/img/remote/1460000014720180); 前端測試分類 showImg(https://segmentfault.co...

VioletJack 2019-08-26 11:53 評論0 收藏0