php curl網(wǎng)站采集的實(shí)現(xiàn)程序

2024-05-04 21:49:46

字體：大中小

供稿：網(wǎng)友

網(wǎng)站采集功能現(xiàn)在多半會(huì)使用火車頭這些軟件來(lái)實(shí)現(xiàn)了,但是對(duì)于一些定時(shí)或小的采集我們可以使用程序來(lái)實(shí)現(xiàn),在php中curl是當(dāng)選的一個(gè)函數(shù)了,下面一起來(lái)看看curl網(wǎng)站采集的實(shí)現(xiàn)程序吧.

選擇curl的理由

關(guān)于curl與file_get_contents,摘抄一段通俗易懂的對(duì)比:

file_get_contents其實(shí)是一堆內(nèi)置的文件操作函數(shù)的合并版本,比如file_exists,fopen,fread,fclose,專門提供給懶人用的,而且它主要是用來(lái)對(duì)付本地文件的,但又是因?yàn)閼腥说脑?同時(shí)加入了對(duì)網(wǎng)絡(luò)文件的支持.

curl是專門用來(lái)進(jìn)行網(wǎng)絡(luò)交互的庫(kù)m提供了一堆自定義選項(xiàng)m用來(lái)應(yīng)對(duì)不同的環(huán)境m穩(wěn)定性自然要大于file_get_contents,

使用方法

1、開(kāi)啟curl支持

由于php環(huán)境安裝后默認(rèn)是沒(méi)有打開(kāi)curl支持的,需修改php.ini文件,找到;extension=php_curl.dll,把前面的冒號(hào)去掉,重啟服務(wù)即可.

2、使用curl進(jìn)行數(shù)據(jù)抓取

// 初始化一個(gè) cURL 對(duì)象

$curl = curl_init();

// 設(shè)置你需要抓取的URL

curl_setopt($curl, CURLOPT_URL, 'http://m.survivalescaperooms.com');

// 設(shè)置header

curl_setopt($curl, CURLOPT_HEADER, 1);

// 設(shè)置cURL 參數(shù)，要求結(jié)果保存到字符串中還是輸出到屏幕上。

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

// 運(yùn)行cURL，請(qǐng)求網(wǎng)頁(yè)

$data = curl_exec($curl);

// 關(guān)閉URL請(qǐng)求

curl_close($curl);

3、通過(guò)正則匹配找到關(guān)鍵數(shù)據(jù).

//$data是curl_exec返回的的值，即采集的目標(biāo)內(nèi)容

preg_match_all("/<li class=＼"item＼">(.*?)<＼/li>/",$data, $out, PREG_SET_ORDER);

foreach($out as $key => $value){

    //此處$value是數(shù)組，同時(shí)記錄找到帶匹配字符的整句和單獨(dú)匹配的字符

    echo '匹配到的整句：'.$value[0].'

';

    echo '單獨(dú)匹配到的：'.$value[1].'

';

}

技巧

1、超時(shí)的相關(guān)設(shè)置

通過(guò)curl_setopt($ch,opt)可以設(shè)置一些超時(shí)的設(shè)置,主要包括:

CURLOPT_TIMEOUT 設(shè)置cURL允許執(zhí)行的最長(zhǎng)秒數(shù)。

CURLOPT_TIMEOUT_MS 設(shè)置cURL允許執(zhí)行的最長(zhǎng)毫秒數(shù).(在cURL 7.16.2中被加入,從PHP 5.2.3起可使用)

CURLOPT_CONNECTTIMEOUT 在發(fā)起連接前等待的時(shí)間,如果設(shè)置為0,則無(wú)限等待.

CURLOPT_CONNECTTIMEOUT_MS 嘗試連接等待的時(shí)間,以毫秒為單位,如果設(shè)置為0,則無(wú)限等待,在cURL 7.16.2中被加入,從PHP 5.2.3開(kāi)始可用.

CURLOPT_DNS_CACHE_TIMEOUT 設(shè)置在內(nèi)存中保存DNS信息的時(shí)間,默認(rèn)為120秒.

curl_setopt($ch, CURLOPT_TIMEOUT, 60);   //只需要設(shè)置一個(gè)秒的數(shù)量就可以

curl_setopt($ch, CURLOPT_NOSIGNAL, 1);    //注意，毫秒超時(shí)一定要設(shè)置這個(gè)

curl_setopt($ch, CURLOPT_TIMEOUT_MS, 200);  //超時(shí)毫秒，cURL 7.16.2中被加入。從PHP 5.2.3起可使用

2、通過(guò)post提交數(shù)據(jù),保留cookie

//以下摘抄一個(gè)例子過(guò)來(lái)，用于學(xué)習(xí)借鑒:

//Curl 模擬登錄 discuz 程序,適合DZ7.0

!extension_loaded('curl') && die('The curl extension is not loaded.');



$discuz_url = 'http://m.survivalescaperooms.com';//論壇地址

$login_url = $discuz_url .'/logging.php?action=login';//登錄頁(yè)地址

$get_url = $discuz_url .'/my.php?item=threads'; //我的帖子



$post_fields = array();

//以下兩項(xiàng)不需要修改

$post_fields['loginfield'] = 'username';

$post_fields['loginsubmit'] = 'true';

//用戶名和密碼，必須填寫(xiě)

$post_fields['username'] = 'lxvoip';

$post_fields['password'] = '88888888';

//安全提問(wèn)

$post_fields['questionid'] = 0;

$post_fields['answer'] = '';

//@todo驗(yàn)證碼

$post_fields['seccodeverify'] = '';



//獲取表單FORMHASH

$ch = curl_init($login_url);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

$contents = curl_exec($ch);

curl_close($ch);

preg_match('/<input＼s*type="hidden"＼s*name="formhash"＼s*value="(.*?)"＼s*＼/>/i', $contents, $matches);

if(!emptyempty($matches)) {

    $formhash = $matches[1];

} else {

    die('Not found the forumhash.');

}



//POST數(shù)據(jù)，獲取COOKIE

$cookie_file = dirname(__FILE__) . '/cookie.txt';

//$cookie_file = tempnam('/tmp');

$ch = curl_init($login_url);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

curl_setopt($ch, CURLOPT_POST, 1);

curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);

curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);

curl_exec($ch);

curl_close($ch);



//帶著上面得到的COOKIE獲取需要登錄后才能查看的頁(yè)面內(nèi)容

$ch = curl_init($get_url);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);

curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);

$contents = curl_exec($ch);

curl_close($ch);



var_dump($contents);

在使用curl 中有一些心得給各位分享一下.

編碼轉(zhuǎn)換

首先通過(guò)查看源代碼找到采集的網(wǎng)站使用的編碼,通過(guò)mb_convert_encoding函數(shù)進(jìn)行轉(zhuǎn)碼；

具體使用方法:

//源字符是$str

//以下已知原編碼為GBK，轉(zhuǎn)換為utf-8

mb_convert_encoding($str, "UTF-8", "GBK");

//以下未知原編碼，通過(guò)auto自動(dòng)檢測(cè)后，轉(zhuǎn)換編碼為utf-8

mb_convert_encoding($str, "UTF-8", "auto");

3、為更好地避開(kāi)換行符和空格等不定因素的阻礙,有必要先清除采集到的源碼中的換行符、空格符和制表符.

//方法一，使用str_replace進(jìn)行替換

$contents = str_replace("＼r＼n", '', $contents); //清除換行符

$contents = str_replace("＼n", '', $contents); //清除換行符

$contents = str_replace("＼t", '', $contents); //清除制表符

$contents = str_replace(" ", '', $contents); //清除空格符

//方法二，使用正則表達(dá)式進(jìn)行替換

$contents = preg_replace("/([＼r＼n|＼n|＼t| ]+)/",'',$contents);

4、通過(guò)正則表達(dá)式匹配找出需要獲得的代碼段,使用preg_match_all實(shí)現(xiàn)該匹配

函數(shù)解釋:

int preg_match_all ( string pattern, string subject, array matches [, int flags] )

pattern即正規(guī)表達(dá)式

subject即要進(jìn)行查找的原文

matches是用于儲(chǔ)存輸出結(jié)果的數(shù)組

flags是儲(chǔ)存的模式,包括:

PREG_PATTERN_ORDER; //整個(gè)數(shù)組是二維數(shù)組，$arr1[0]是包括邊界所構(gòu)成匹配字符串的數(shù)組，$arr1[1]除去邊界所構(gòu)成的匹配字符串的數(shù)組

PREG_SET_ORDER; //整個(gè)數(shù)組是二維數(shù)組，$arr2[0][0]是第一個(gè)包括邊界所構(gòu)成的匹配的字符串，$arr2[0][1]是第一個(gè)除去邊界所構(gòu)成的匹配的字符串，之后的數(shù)組以此類推

PREG_OFFSET_CAPTURE; //整個(gè)數(shù)組是三維數(shù)組,$arr3[0][0][0]是第一個(gè)包括邊界所構(gòu)成的匹配的字符串,$arr3[0][0][1]是到達(dá)第一個(gè)匹配字符串的邊界的偏移量(邊界不算在內(nèi)),之后以此類推，$arr2[1][0][0]是第一個(gè)包括邊界所構(gòu)成的匹配的字符串，$arr3[1][0][1]是到達(dá)第一個(gè)匹配字符串的邊界的偏移量(邊界算在內(nèi));

//實(shí)際應(yīng)用

preg_match_all('/<pclass=＼"content＼">(.*?)<＼/p>/',$contents, $out, PREG_SET_ORDER);

$out將獲取到所有匹配的元素

$out[0][0]將是包括<pclass=＼"content＼"></p>在內(nèi)的全段字符

$out[0][1]將是僅包括(.*?)括號(hào)內(nèi)所匹配到的字符段

//如此類推，第n個(gè)匹配到的字段可以用以下方法取得

$out[n-1][1]

//若正則表達(dá)式中存大多個(gè)括號(hào)，則取得句中第m個(gè)匹配點(diǎn)的方法是

$out[n-1][m]