Go 的 fake-useragent 了解一下

woshicixide 發布于2019-07-01 12:28 / 1706人閱讀

摘要：先前我也遇到了這個問題，因此有了這個項目，用來解決你我的痛點項目地址支持安裝用法推薦使用定制你可以調整抓取數據源的最大頁數時間間隔以及最大超時時間。如果不填寫，則為默認值。希望你能夠喜歡這個項目，根本目的還是為了解決痛點，歡迎

Go 的 fake-useragent 了解一下

有的網站會根據 User-Agent 的不同，跳轉到不同（PC、M）的站點，也有根據版本的不同給出不一樣的提示等等，而 User-Agent 的變化更是爬蟲里的基礎姿勢

使用 Go 編寫網絡爬蟲或需要模擬瀏覽器頭（User-Agent）的時候，你是否會覺得很麻煩，獲取請求頭（Request Headers）的 User-Agent 還得找來找去，挺繁瑣。先前我也遇到了這個問題，因此有了這個項目 fake-useragent，用來解決你我的痛點

項目地址：https://github.com/EDDYCJY/fa...

支持

All User-Agent Random

Chrome

InternetExplorer (IE)

Firefox

Safari

Android

MacOSX

IOS

Linux

IPhone

IPad

Computer

Mobile

安裝

$ go get github.com/EDDYCJY/fake-useragent

用法

package main

import (
    "log"

    "github.com/EDDYCJY/fake-useragent"
)

func main() {
    // 推薦使用
    random := browser.Random()
    log.Printf("Random: %s", random)

    chrome := browser.Chrome()
    log.Printf("Chrome: %s", chrome)

    internetExplorer := browser.InternetExplorer()
    log.Printf("IE: %s", internetExplorer)

    firefox := browser.Firefox()
    log.Printf("Firefox: %s", firefox)

    safari := browser.Safari()
    log.Printf("Safari: %s", safari)

    android := browser.Android()
    log.Printf("Android: %s", android)

    macOSX := browser.MacOSX()
    log.Printf("MacOSX: %s", macOSX)

    ios := browser.IOS()
    log.Printf("IOS: %s", ios)

    linux := browser.Linux()
    log.Printf("Linux: %s", linux)

    iphone := browser.IPhone()
    log.Printf("IPhone: %s", iphone)

    ipad := browser.IPad()
    log.Printf("IPad: %s", ipad)

    computer := browser.Computer()
    log.Printf("Computer: %s", computer)

    mobile := browser.Mobile()
    log.Printf("Mobile: %s", mobile)
}

定制

你可以調整抓取數據源的最大頁數、時間間隔以及最大超時時間。如果不填寫，則為默認值。

client := browser.Client{
    MaxPage: 3,
    Delay: 200 * time.Millisecond,
    Timeout: 10 * time.Second,
}
cache := browser.Cache{}
b := browser.NewBrowser(client, cache)

random := b.Random()

更新瀏覽器頭的臨時文件緩存

client := browser.Client{}
cache := browser.Cache{
    UpdateFile: true,
}
b := browser.NewBrowser(client, cache)

最后，建議常規用法就好，默認參數能夠滿足日常需求

輸出

Random: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36

Chrome: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36

IE: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)

Firefox: Mozilla/5.0 (Windows NT 6.3; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0

Safari: Mozilla/5.0 (iPhone; CPU iPhone OS 11_2_5 like Mac OS X) AppleWebKit/604.5.6 (KHTML, like Gecko) Version/11.0 Mobile/15D60 Safari/604.1

Android: Mozilla/5.0 (Linux; Android 6.0; MYA-L22 Build/HUAWEIMYA-L22) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.84 Mobile Safari/537.36

MacOSX: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/602.2.14 (KHTML, like Gecko) Version/10.0.1 Safari/602.2.14

IOS: Mozilla/5.0 (iPhone; CPU iPhone OS 10_1 like Mac OS X) AppleWebKit/602.2.14 (KHTML, like Gecko) Version/10.0 Mobile/14B72 Safari/602.1

Linux: Mozilla/5.0 (X11; Linux x86_64; rv:42.0) Gecko/20100101 Firefox/42.0

IPhone: Mozilla/5.0 (iPhone; CPU iPhone OS 10_2 like Mac OS X) AppleWebKit/602.3.12 (KHTML, like Gecko) Version/10.0 Mobile/14C92 Safari/602.1

IPad: Mozilla/5.0 (iPad; CPU OS 5_0_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A405 Safari/7534.48.3

Computer: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0

Mobile: Mozilla/5.0 (Linux; Android 7.0; Redmi Note 4 Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Mobile Safari/537.36

注意

如果第一次使用，fake-useragent 將收集數據并在臨時目錄中創建一個文件作為文件緩存，請耐心等待幾秒鐘

最后

如果在項目中發現了什么問題，歡迎提交 PR 或者 issue。希望你能夠喜歡這個項目，根本目的還是為了解決痛點，歡迎 Star！

云服務器 GPU云服務器推薦一下便宜的云服務器深度學習的了解對大數據的了解盤點一下目前免費的云服務器

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/30794.html

Go 的 fake-useragent 了解一下

摘要：先前我也遇到了這個問題，因此有了這個項目，用來解決你我的痛點項目地址支持安裝用法推薦使用定制你可以調整抓取數據源的最大頁數時間間隔以及最大超時時間。如果不填寫，則為默認值。希望你能夠喜歡這個項目，根本目的還是為了解決痛點，歡迎 Go 的 fake-useragent 了解一下有的網站會根據 User-Agent 的不同，跳轉到不同（PC、M）的站點，也有根據版本的不同給出不一樣的提示...

geekzhou 2019-08-22 17:26 評論0 收藏0
Go 的 fake-useragent 了解一下

摘要：先前我也遇到了這個問題，因此有了這個項目，用來解決你我的痛點項目地址支持安裝用法推薦使用定制你可以調整抓取數據源的最大頁數時間間隔以及最大超時時間。如果不填寫，則為默認值。希望你能夠喜歡這個項目，根本目的還是為了解決痛點，歡迎 Go 的 fake-useragent 了解一下有的網站會根據 User-Agent 的不同，跳轉到不同（PC、M）的站點，也有根據版本的不同給出不一樣的提示...

hzc 2019-07-30 16:35 評論0 收藏0
爬蟲帶你了解一下Golang的市場行情

摘要：原文地址了解一下的市場行情項目地址如果對你有所幫助，歡迎，給文章來波贊，這樣可以讓更多的人看見目標在工作中已是一份子，想讓大家了解一下的市場行情，也想讓更多的人熟悉它。原文地址：了解一下Golang的市場行情項目地址：https://github.com/go-crawler... 如果對你有所幫助，歡迎 Star，給文章來波贊，這樣可以讓更多的人看見 :) 目標在工作中 Gol...

chinafgj 2019-08-15 15:45 評論0 收藏0
爬蟲帶你了解一下Golang的市場行情

摘要：原文地址了解一下的市場行情項目地址如果對你有所幫助，歡迎，給文章來波贊，這樣可以讓更多的人看見目標在工作中已是一份子，想讓大家了解一下的市場行情，也想讓更多的人熟悉它。原文地址：了解一下Golang的市場行情項目地址：https://github.com/go-crawler... 如果對你有所幫助，歡迎 Star，給文章來波贊，這樣可以讓更多的人看見 :) 目標在工作中 Gol...

loostudy 2019-07-30 16:23 評論0 收藏0
爬蟲帶你了解一下Golang的市場行情

摘要：了解一下的市場行情項目地址如果對你有所幫助，歡迎，給文章來波贊，這樣可以讓更多的人看見目標在工作中已是一份子，想讓大家了解一下的市場行情，也想讓更多的人熟悉它。了解一下Golang的市場行情項目地址：https://github.com/go-crawler... 如果對你有所幫助，歡迎 Star，給文章來波贊，這樣可以讓更多的人看見 :) 目標在工作中 Golang 已是一份...

Amio 2019-06-28 18:49 評論0 收藏0