国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發 > PHP > 正文

怎么利用PHP抓取百度閱讀

2024-05-04 21:50:02
字體:
來源:轉載
供稿:網友

抓取方法如下:首先在瀏覽器里打開閱讀頁面,查看源代碼后發現小說的內容并不是直接寫在頁面里的,也就是說小說的內容是通過異步加載而來的。

于是將chrome的開發者工具切到network一欄,刷新閱讀頁面,主要關注的是XHR和script兩個分類下。

經過排查,發現在script分類下有個jsonp請求比較像是小說內容,請求的地址是

http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7

返回的是一個jsonp字符串,然后我發現,如果把地址里面的callback=wenku7去掉,返回的就是一個json字符串,這樣解析起來就方便不少,可以直接在php里面轉換成數組。

再來分析一下返回數據的結構,返回的json字符串之后是一個樹狀的結構,每個節點都有一個t屬性和c屬性,t屬性用來指明這個節點的標簽,比如h2 div等等,c屬性就是內容了,但也有兩種可能,一個是字符串,另一個是數組,數組的每個元素都是一個節點。

這種結構最好解析了,用一個遞歸就搞定,最終代碼如下:

  1. <?php 
  2.  
  3. classBaiduYuedu { 
  4.  
  5.  protected$bookId
  6.  
  7.  protected$bookToken
  8.  
  9.  protected$cookie
  10.  
  11.  protected$result
  12.  
  13.  publicfunction__construct($bookId,$bookToken,$cookie){ 
  14.  
  15.   $this->bookId =$bookId
  16.  
  17.   $this->bookToken =$bookToken
  18.  
  19.   $this->cookie =$cookie
  20.  
  21.  } 
  22.  
  23.  publicstaticfunctionparseNode($node){ 
  24.  
  25.   $str='' 
  26.  
  27.   if(is_string($node['c'])){ 
  28.  
  29.    $str.=$node['c']; 
  30.  
  31.   }elseif(is_array($node['c'])){ 
  32.  
  33.    foreach($node['c']as$d){ 
  34.  
  35.     $str.= self::parseNode($d); 
  36.  
  37.    } 
  38.  
  39.   } 
  40.  
  41.   switch($node['t']){ 
  42.  
  43.    case'h2'
  44.  
  45.     $str.="/n/n"
  46.  
  47.     break
  48.  
  49.    case'br'
  50.  
  51.    case'div'
  52.  
  53.    case'p'
  54.  
  55.     $str.="/n"
  56.  
  57.     break
  58.  
  59.    case'img'
  60.  
  61.    case'span'
  62.  
  63.     break
  64.  
  65.    case'obj'
  66.  
  67.     $tmp='('. self::parseNode($node['data'][0]) .')' 
  68.  
  69.     $str.=str_replace("/n",'',$tmp); 
  70.  
  71.     break
  72.  
  73.    default
  74.  
  75.     trigger_error('Unkown type:'.$node['t'], E_USER_WARNING); 
  76.  
  77.     break
  78.  
  79.   } 
  80.  
  81.   return$str
  82.  
  83.  } 
  84.  
  85.  publicfunctionget($page= 1){ 
  86.  
  87.   echo"getting page {$page}.../n"
  88.  
  89.   $ch= curl_init(); 
  90.  
  91.   $url= sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d',$this->bookId,$this->token,$page); 
  92.  
  93.   curl_setopt_array($ch,array
  94.  
  95.    CURLOPT_URL   =>$url
  96.  
  97.    CURLOPT_RETURNTRANSFER => 1, 
  98.  
  99.    CURLOPT_HEADER   => 0, 
  100.  
  101.    CURLOPT_HTTPHEADER  =>array('Cookie: '.$this->cookie) 
  102.  
  103.   )); 
  104.  
  105.   $ret= json_decode(curl_exec($ch), true); 
  106.  
  107.   curl_close($ch); 
  108.  
  109.   $str='' 
  110.  
  111.   if(!emptyempty($ret)){ 
  112.  
  113.    $str.= self::parseNode($ret); 
  114.  
  115.    $str.=$this->get($page+ 1); 
  116.  
  117.   } 
  118.  
  119.   return$str
  120.  
  121.  } 
  122.  
  123.  publicfunctionstart(){ 
  124.  
  125.   $this->result =$this->get(); 
  126.  
  127.  } 
  128.  
  129.  publicfunctiongetResult(){ 
  130.  
  131.   return$this->result; 
  132.  
  133.  } 
  134.  
  135.  publicfunctionsaveTo($path){ 
  136.  
  137.   if(emptyempty($this->result)){ 
  138.  
  139.    trigger_error('Result is empty', E_USER_ERROR); 
  140.  
  141.    return
  142.  
  143.   } 
  144.  
  145.   file_put_contents($path,$this->result); 
  146.  
  147.   echo"save to {$path}/n"
  148.  
  149.  } 
  150.  
  151. //Vevb.com 
  152. //使用示例 
  153.  
  154. $yuedu=newBaiduYuedu(?a3769eae009581becba',?ed1dedb240b11bf0731336eff95093f','你的百度域cookie'); 
  155.  
  156. $yuedu->start(); 
  157.  
  158. $yuedu->saveTo('result.txt'); 

這個類前兩個參數可以從小說的介紹頁面獲得,第一個參數bookId就是url里ebook后面跟著的字符串,第二個參數bookToken在頁面源代碼搜索bdjsonUrl,m參數后面的那個字符串就是。

注:如果不傳入百度cookie或者百度cookie無效,則只能抓取免費閱讀部分,要抓完整的內容必須保證cookie可以正常使用。

總結:以上就是這篇文章的全部內容了,希望本文的內容對大家學習或者使用PHP能有一定的幫助,如果有疑問大家可以留言交流。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 承德县| 壤塘县| 兴国县| 三穗县| 左云县| 永年县| 商河县| 岫岩| 夏邑县| 子长县| 临朐县| 通海县| 成安县| 福泉市| 奇台县| 全南县| 富民县| 营口市| 龙南县| 邻水| 三门县| 浦北县| 肇源县| 滨州市| 长阳| 屯门区| 吉木萨尔县| 平江县| 广元市| 浦县| 乌审旗| 稻城县| 威信县| 莱西市| 西丰县| 庆云县| 临猗县| 胶州市| 灵山县| 吕梁市| 巴青县|