摘要:使用的方式來做采集,擁有豐富的插件。下面來演示使用搜索引擎插件輕松實現(xiàn)站內(nèi)搜索。
QueryList使用jQuery的方式來做采集,擁有豐富的插件。
下面來演示QueryList使用Baidu搜索引擎插件輕松實現(xiàn)站內(nèi)搜索。
安裝使用Composer安裝:
安裝QueryList
composer require jaeger/querylist
GitHub: https://github.com/jae-jae/Qu...
安裝Baidu搜索引擎插件
composer require jaeger/querylist-rule-baidu
插件APIGitHub: https://github.com/jae-jae/Qu...
Baidu baidu($pageNumber = 10):獲取百度搜索引擎
class Baidu:
Baidu search($keyword):設(shè)置搜索關(guān)鍵詞
Baidu setHttpOpt(array $httpOpt = []):設(shè)置HTTP選項,查看: GuzzleHttp options
int getCount():獲取搜索結(jié)果總條數(shù)
int getCountPage():獲取搜索結(jié)果總頁數(shù)
Collection page($page = 1,$realURL = false):獲取搜索結(jié)果
使用實現(xiàn)一個百度網(wǎng)盤資源搜索引擎:
baidu()->search("site:pan.baidu.com 百度"); // 獲取第一頁數(shù)據(jù),并獲取真實URL連接地址 $data = $searcher->page(1,true); print_r($data->all());
抓取結(jié)果:
Array ( [0] => Array ( [title] => 百度網(wǎng)盤_享你所想 [link] => http://pan.baidu.com/ ) [1] => Array ( [title] => 百度網(wǎng)盤 客戶端下載 [link] => https://pan.baidu.com/download ) [2] => Array ( [title] => 百度網(wǎng)盤-開放平臺 [link] => https://pan.baidu.com/platform/read ) // .... )
更多用法
$baidu = $ql->baidu(15); // 設(shè)置每頁搜索15條結(jié)果 $searcher = $baidu->search("QueryList"); $count = $searcher->getCount(); // 獲取搜索結(jié)果總條數(shù) $data = $searcher->page(1); $data = $searcher->page(2); $searcher = $baidu->search("php"); $countPage = $searcher->getCountPage(); // 獲取搜索結(jié)果總頁數(shù) for ($page = 1; $page <= $countPage; $page++) { $data = $searcher->page($page); } $data = $searcher->setHttpOpt([ // 設(shè)置http代理 "proxy" => "http://222.141.11.17:8118", // Set the timeout time in seconds "timeout" => 30, ])->page(1);Google搜索引擎插件
當(dāng)然除了Baidu搜索引擎插件,QueryList也有Google搜索引擎插件,也可以實現(xiàn)同樣的功能。
文檔: https://doc.querylist.cc/site...
GitHub: https://github.com/jae-jae/Qu...
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://specialneedsforspecialkids.com/yun/25942.html
QueryList 簡介 QueryList是一套簡潔、優(yōu)雅、可擴展的PHP采集工具(爬蟲),基于phpQuery。 特性 擁有與jQuery完全相同的CSS3 DOM選擇器 擁有與jQuery完全相同的DOM操作API 擁有通用的列表采集方案 擁有強大的HTTP請求套件,輕松實現(xiàn)如:模擬登陸、偽造瀏覽器、HTTP代理等意復(fù)雜的網(wǎng)絡(luò)請求 擁有亂碼解決方案 擁有強大的內(nèi)容過濾功能,可使用jQue...
摘要:使用的方式來做采集,擁有豐富的插件。下面來演示使用插件抓取動態(tài)創(chuàng)建的頁面內(nèi)容。插件使用瀏覽器打開連接使用以采集今日頭條手機版為例,今日頭條手機版基于框架,內(nèi)容是純動態(tài)渲染出來的。 QueryList使用jQuery的方式來做采集,擁有豐富的插件。 下面來演示QueryList使用PhantomJS插件抓取JS動態(tài)創(chuàng)建的頁面內(nèi)容。 安裝 使用Composer安裝: 安裝QueryList...
摘要:查找保存下載用搭建自己的緩存?zhèn)}庫權(quán)限管理的好選擇基于封裝的后臺管理系統(tǒng),支持手機和端訪問支付寶風(fēng)格的驗證器后臺系統(tǒng)微信接口的部署腳本開發(fā)的博客系統(tǒng)百度推送自動記錄用戶行為擴展一個項目管理系統(tǒng)根據(jù)生成對應(yīng)導(dǎo)航的狀態(tài) 1.debug https://github.com/barryvdh/l... showImg(https://segmentfault.com/img/bVmhWL); ...
摘要:分享一些超好用插件,打造一個不一樣的瀏覽器編輯器。一谷歌瀏覽器插件谷歌訪問助手強烈推薦一鍵安裝,無需其他配置,即可訪問谷歌。谷歌瀏覽器是很耗內(nèi)存的,該插件會自動掛起長時間未使用的網(wǎng)頁,來釋放系統(tǒng)資源。 showImg(https://segmentfault.com/img/remote/1460000014011338); 分享一些超好用插件,打造一個不一樣的 GitHub、瀏覽器、...
閱讀 2122·2021-11-22 15:24
閱讀 2410·2021-09-09 11:53
閱讀 3037·2021-09-04 16:40
閱讀 1636·2019-08-30 15:52
閱讀 3355·2019-08-29 13:47
閱讀 2735·2019-08-26 17:40
閱讀 1541·2019-08-26 13:24
閱讀 2245·2019-08-26 12:01