[后端Jquery] - 輕量級無依賴 composer 超小巧的頁面抓取分析類

mikyou 發布于2019-08-01 16:42 / 681人閱讀

摘要：有時候我們需要抓取一個頁面的一些信息來完成接口，用完得到后想獲取某個標簽的時候。

有時候我們需要抓取一個頁面的一些信息來完成接口，用完curl得到body后想獲取某個標簽的時候。一看到正則委屈么，委屈么

php 的 DOM 模塊

PHP自帶擴展 http://php.net/dom


 * @CreateTime    2017-04-17T19:25:59+0800
 */

$doc = new DOMDocument();

$html = <<Sunyanzi"s Test

  Hello World
  Hey Welcome

HTML_SECTION;

$doc->loadHTML( $html );

$h1Elements = $doc->getElementsByTagName( "h1" );
foreach( $h1Elements as $h1Node ){
    echo $h1Node->nodeValue;
} 
echo $doc->getElementById( "onlylink" )->getAttribute( "href" );

$xpath = new DOMXPath( $doc );
// also prints "http://segmentfault.com/" ... locate via h1 ... 

echo $xpath->evaluate("string(//h1[text()="Hello World"]/following-sibling::a/@href)");

基本上，等到你熟練掌握 XPath 之后，你會發現 DOM 比正則要靈活得多 ...

PhpQuery

使用PhpQuery 完全可以省略curl抓取頁面的那一步，寫法完全參照Jquery

https://github.com/TobiaszCud...

/**
 * @author         Shaowei Pu <542684913@qq.cn>
 * @CreateTime    2017-04-17T19:25:59+0800
 */
      phpQuery::newDocumentFile("https://v.qq.com/x/cover/o5neekjf0pl6e0r.html");  
         libxml_use_internal_errors(true);
        // 騰訊視頻的真實URL 
        $url = pq("link[rel="canonical"]")[0]->attr("href");

總結

web 采集多樣性，如果不是抱著學習正則表達式的態度，應當靈活使用類庫

偷懶萬歲！

GPU云服務器云服務器類數據抓取小巧好用的linux 頁面抓取小巧的php建站源碼

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://specialneedsforspecialkids.com/yun/50697.html

[后端Jquery] - 輕量級無依賴 composer 超小巧的頁面抓取分析類

摘要：有時候我們需要抓取一個頁面的一些信息來完成接口，用完得到后想獲取某個標簽的時候。有時候我們需要抓取一個頁面的一些信息來完成接口，用完curl得到body后想獲取某個標簽的時候。一看到正則委屈么，委屈么 php 的 DOM 模塊 PHP自帶擴展 http://php.net/dom

andong777 2019-06-27 16:16 評論0 收藏0
[后端Jquery] - 輕量級無依賴 composer 超小巧的頁面抓取分析類

摘要：有時候我們需要抓取一個頁面的一些信息來完成接口，用完得到后想獲取某個標簽的時候。有時候我們需要抓取一個頁面的一些信息來完成接口，用完curl得到body后想獲取某個標簽的時候。一看到正則委屈么，委屈么 php 的 DOM 模塊 PHP自帶擴展 http://php.net/dom

junnplus 2019-07-25 13:54 評論0 收藏0
javascript功能插件大集合前端常用插件 js常用插件

摘要：轉載來源包管理器管理著庫，并提供讀取和打包它們的工具。能構建更好應用的客戶端包管理器。一個整合和的最佳思想，使開發者能快速方便地組織和編寫前端代碼的下一代包管理器。很棒的組件集合。隱秘地使用和用戶數據。轉載來源：https://github.com/jobbole/aw... 包管理器管理著 javascript 庫，并提供讀取和打包它們的工具。?npm – npm 是 javasc...

netmou 2019-08-23 12:28 評論0 收藏0