小偷程序其實就是利用了php中的一特定函數實現采集別人網站的內容,然后通過正則分析把我們想要的內容保存到自己本地數據庫,下面我來介紹php小偷程序的實現方法,有需要的朋友可參考.
在下面采集數據過程中file_get_contents函數是關鍵了,下面我們來看看file_get_contents函數語法.
string file_get_contents ( string $filename [, bool $use_include_path = false [, resource $context [, int $offset = -1 [, int $maxlen ]]]] )
和 file() 一樣,只除了 file_get_contents() 把文件讀入一個字符串,將在參數 offset 所指定的位置開始讀取長度為 maxlen 的內容,如果失敗,file_get_contents() 將返回 FALSE.
file_get_contents() 函數是用來將文件的內容讀入到一個字符串中的首選方法,如果操作系統支持還會使用內存映射技術來增強性能.
例,代碼如下:
- <?php
- $homepage = file_get_contents('http://m.survivalescaperooms.com/');
- echo $homepage;
- ?>
這樣$homepage就是我們采集網的內容給保存下來了,好了說了這么多我們開始吧.
例,代碼如下:
- <?php
- function fetch_urlpage_contents($url){
- $c=file_get_contents($url);
- return $c;
- }
- //獲取匹配內容
- function fetch_match_contents($begin,$end,$c)
- {
- $begin=change_match_string($begin);
- $end=change_match_string($end);
- $p = "{$begin}(.*){$end}";
- if(eregi($p,$c,$rs))
- {
- return $rs[1];}
- else { return "";}
- }//轉義正則表達式字符串
- function change_match_string($str){
- //注意,以下只是簡單轉義
- //$old=array("/","$");
- //$new=array("/","$");
- $str=str_replace($old,$new,$str);
- return $str;
- }
- //采集網頁
- function pick($url,$ft,$th)
- {
- $c=fetch_urlpage_contents($url);
- foreach($ft as $key => $value)
- {
- $rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c);
- if(is_array($th[$key]))
- { foreach($th[$key] as $old => $new)
- {
- $rs[$key]=str_replace($old,$new,$rs[$key]);
- }
- }
- }
- return $rs;
- }
- $url="http://m.survivalescaperooms.com"; //要采集的地址
- $ft["title"]["begin"]="<title>"; //截取的開始點
- $ft["title"]["end"]="</title>"; //截取的結束點
- $th["title"]["中山"]="廣東"; //截取部分的替換
- $ft["body"]["begin"]="<body>"; //截取的開始點
- $ft["body"]["end"]="</body>"; //截取的結束點
- $th["body"]["中山"]="廣東"; //截取部分的替換
- $rs=pick($url,$ft,$th); //開始采集
- echo $rs["title"];
- echo $rs["body"]; //輸出
- ?>
以下代碼從上一面修改而來,專門用于提取網頁所有超鏈接,郵箱或其他特定內容,代碼如下:
- <?php
- function fetch_urlpage_contents($url){
- $c=file_get_contents($url);
- return $c;
- }
- //獲取匹配內容
- function fetch_match_contents($begin,$end,$c)
- {
- $begin=change_match_string($begin);
- $end=change_match_string($end);
- $p = "#{$begin}(.*){$end}#iU";//i表示忽略大小寫,U禁止貪婪匹配
- if(preg_match_all($p,$c,$rs))
- {
- return $rs;}
- else { return "";}
- }//轉義正則表達式字符串
- function change_match_string($str){
- //注意,以下只是簡單轉義
- $old=array("/","$",'?');
- $new=array("/","$",'?');
- $str=str_replace($old,$new,$str);
- return $str;
- }
- //采集網頁
- function pick($url,$ft,$th)
- {
- $c=fetch_urlpage_contents($url);
- foreach($ft as $key => $value)
- {
- $rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c);
- if(is_array($th[$key]))
- { foreach($th[$key] as $old => $new)
- {
- $rs[$key]=str_replace($old,$new,$rs[$key]);
- }
- }
- }
- return $rs;
- }
- $url="http://m.survivalescaperooms.com"; //要采集的地址
- $ft["a"]["begin"]='<a'; //截取的開始點<br />
- $ft["a"]["end"]='>'; //截取的結束點
- $rs=pick($url,$ft,$th); //開始采集
- print_r($rs["a"]);
- ?>
小提示file_get_contents很是容易被防采集了,我們可以使用curl來模仿用戶對網站進行訪問,這算比上面要高級不少,file_get_contents()效率稍低些,常用失敗的情況、curl()效率挺高的,支持多線程,不過需要開啟下curl擴展,下面是curl擴展開啟的步驟:
1、將PHP文件夾下的三個文件php_curl.dll,libeay32.dll,ssleay32.dll復制到system32下;
2、將php.ini(c:WINDOWS目錄下)中的;extension=php_curl.dll中的分號去掉;
3、重啟apache或者IIS.
簡單的抓取頁面函數,附帶偽造 Referer 和 User_Agent 功能,代碼如下:
- <?php
- function GetSources($Url,$User_Agent='',$Referer_Url='') //抓取某個指定的頁面
- {
- //$Url 需要抓取的頁面地址
- //$User_Agent 需要返回的user_agent信息 如“baiduspider”或“googlebot”
- $ch = curl_init();
- curl_setopt ($ch, CURLOPT_URL, $Url);
- curl_setopt ($ch, CURLOPT_USERAGENT, $User_Agent);
- curl_setopt ($ch, CURLOPT_REFERER, $Referer_Url);
- curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);
- curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
- $MySources = curl_exec ($ch);
- curl_close($ch);
- return $MySources;
- }
- $Url = "http://m.survivalescaperooms.com"; //要獲取內容的也沒
- $User_Agent = "baiduspider+(+http://www.baidu.com/search/spider.htm)";
- $Referer_Url = 'http://m.survivalescaperooms.com/';
- echo GetSources($Url,$User_Agent,$Referer_Url);
- ?>
新聞熱點
疑難解答