一個PHP實現的輕量級簡單爬蟲

2024-05-04 23:37:25

字體：大中小

來源：轉載

供稿：網友

這篇文章主要介紹了一個PHP實現的輕量級簡單爬蟲,本文總結了爬蟲的一些知識如爬蟲的結構、正則表達式、其他問題等,然后給出了爬蟲實現代碼,需要的朋友可以參考下

最近需要收集資料，在瀏覽器上用另存為的方式實在是很麻煩，而且不利于存儲和檢索。所以自己寫了一個小爬蟲，在網上爬東西，迄今為止，已經爬了近百萬張網頁。現在正在想辦法著手處理這些數據。

爬蟲的結構：
爬蟲的原理其實很簡單，就是分析下載的頁面，找出其中的連接，然后再下載這些鏈接，再分析再下載，周而復始。在數據存儲方面，數據庫是首選，便于檢索，而開發語言，只要支持正則表達式就可以了，數據庫我選擇了mysql，所以，開發腳本我選擇了php。它支持perl兼容正則表達式，連接mysql很方便，支持http下載，而且windows系統和linux系統都可以部署。

正則表達式:
正則表達式是處理文字的基本工具，要取出html中的鏈接和圖片，使用的正則表達式如下。

復制代碼代碼如下:

		
		   "#<a[^>]+href=(['/"])(.+)//1#isU"   處理鏈接
		    "#<img[^>]+src=(['/"])(.+)//1#isU" 處理圖片

其他問題:
寫爬蟲還需要注意的一個問題是，對于已經下載過的url，不能重復進行下載，而有些網頁的鏈接會形成環路，所以需要處理這個問題，我的處理方法是計算已經處理的url的MD5 值，并存入數據庫，這樣就可以檢驗是否已經下載過。當然還有更好的算法，有興趣的話，可以在網上找一下。

相關協議:
爬蟲也有自己的協議，有個robots.txt文件定義了那些是網站允許遍歷的，但是由于我的時間有限，沒有實現這個功能。

其他說明:
php支持類編程,我寫的爬蟲主要的類.
1.url處理web_site_info，主要用處理url，分析域名等。
2.數據庫操作mysql_insert.php,處理和數據庫相關的操作。
3.歷史記錄處理，記錄已經處理的url。
4.爬蟲類。

存在的問題和不足

這個爬蟲在小數據量的情況下，運行良好，但是在大數據量的情況下，歷史記錄處理類的效率就不是很高，通過在數據庫結構中，對相關字段進行了索引，速度有了提高，但是需要不斷得讀取數據，可能和php本身的array實現有關系，如果一次加載10萬條歷史記錄，速度非常慢。
不支持多線程，每次只能處理一個url。
php運行本身有內存使用量限制，有一次在抓取深度為20的頁面的時候，內存用盡程序被殺。

下面的url是源碼下載。

使用的時候，先在mysql中創建net_spider數據庫，然后用db.sql創建相關表。再在config.php中設置mysql 的用戶名口令。
最后

復制代碼代碼如下:

php -f spider.php 深度(數值) url

就可以開始工作。如

復制代碼代碼如下:

php -f spider.php 20 http://news.sina.com.cn

現在感覺下來，其實做個爬蟲沒那么復雜，難的是數據的存儲和檢索。我現在的數據庫，最大一個數據表已經15G，正在想辦處理這些數據，mysql進行查詢已經感覺有點力不從心了。這點上還真佩服google

<?php

#加載頁面

function curl_get($url){

    $ch=curl_init();

    curl_setopt($ch,CURLOPT_URL,$url);

    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

    curl_setopt($ch,CURLOPT_HEADER,1);

    $result=curl_exec($ch);

    $code=curl_getinfo($ch,CURLINFO_HTTP_CODE);

    if($code!='404' && $result){

     return $result;

    }

    curl_close($ch);

}

#獲取頁面url鏈接

function get_page_urls($spider_page_result,$base_url){

  $get_url_result=preg_match_all("/<[a|A].*?href=[/'/"]{0,1}([^>/'/"/]*).*?>/",$spider_page_result,$out);

  if($get_url_result){

    return $out[1];

  }else{

    return;

  }

}

#相對路徑轉絕對路徑

function xdtojd($base_url,$url_list){

if(is_array($url_list)){

  foreach($url_list as $url_item){

    if(preg_match("/^(http:////|https:////|javascript:)/",$url_item)){

      $result_url_list[]=$url_item;

    }else {

     if(preg_match("/^///",$url_item)){

      $real_url = $base_url.$url_item;

     }else{

      $real_url = $base_url."/".$url_item;

     }

     #$real_url = 'http://www.sumpay.cn/'.$url_item;

     $result_url_list[] = $real_url;

    }

  }

   return $result_url_list;

}else{

   return;

}

}

#刪除其他站點url

function other_site_url_del($jd_url_list,$url_base){

if(is_array($jd_url_list)){

  foreach($jd_url_list as $all_url){

    echo $all_url;

    if(strpos($all_url,$url_base)===0){

     $all_url_list[]=$all_url;

    }

  }

  return $all_url_list;

}else{

  return;

}

}

#刪除相同URL

function url_same_del($array_url){

   if(is_array($array_url)){

     $insert_url=array();

     $pizza=file_get_contents("/tmp/url.txt");

     if($pizza){

        $pizza=explode("/r/n",$pizza);

        foreach($array_url as $array_value_url){

         if(!in_array($array_value_url,$pizza)){

          $insert_url[]=$array_value_url;

         }

        }

        if($insert_url){

           foreach($insert_url as $key => $insert_url_value){

             #這里只做了參數相同去重處理

             $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);

             foreach($pizza as $pizza_value){

                $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value);

                if($update_insert_url==$update_pizza_value){

                   unset($insert_url[$key]);

                   continue;

                }

             }

           }

        }

     }else{

        $insert_url=array();

        $insert_new_url=array();

        $insert_url=$array_url;

        foreach($insert_url as $insert_url_value){

         $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);

         $insert_new_url[]=$update_insert_url;

        }

        $insert_new_url=array_unique($insert_new_url);

        foreach($insert_new_url as $key => $insert_new_url_val){

          $insert_url_bf[]=$insert_url[$key];

        }

        $insert_url=$insert_url_bf;

     }

     return $insert_url;

   }else{

    return;

   }

}



$current_url=$argv[1];

$fp_puts = fopen("/tmp/url.txt","ab");//記錄url列表

$fp_gets = fopen("/tmp/url.txt","r");//保存url列表

$url_base_url=parse_url($current_url);

if($url_base_url['scheme']==""){

  $url_base="http://".$url_base_url['host'];

}else{

  $url_base=$url_base_url['scheme']."://".$url_base_url['host'];

}

do{

  $spider_page_result=curl_get($current_url);

  #var_dump($spider_page_result);

  $url_list=get_page_urls($spider_page_result,$url_base);

  #var_dump($url_list);

  if(!$url_list){

   continue;

  }

  $jd_url_list=xdtojd($url_base,$url_list);

  #var_dump($jd_url_list);

  $result_url_arr=other_site_url_del($jd_url_list,$url_base);

  var_dump($result_url_arr);

  $result_url_arr=url_same_del($result_url_arr);

  #var_dump($result_url_arr);

  if(is_array($result_url_arr)){

    $result_url_arr=array_unique($result_url_arr);

       foreach($result_url_arr as $new_url) {

         fputs($fp_puts,$new_url."/r/n");

       }

  }

}while ($current_url = fgets($fp_gets,1024));//不斷獲得url

preg_match_all("/<a[^>]+href=[/"']([^/"']+)[/"'][^>]+>/",$spider_page_result,$out);

# echo a href

#var_dump($out[1]);

?>