国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發(fā) > PHP > 正文

PHP CURL獲取cookies模擬登錄的方法

2024-05-04 23:19:18
字體:
來源:轉載
供稿:網友
要提取google搜索的部分數據,發(fā)現google對于軟件抓取它的數據屏蔽的厲害,以前偽造下 USER-AGENT 就可以抓數據,但是現在卻不行了。利用抓包數據發(fā)現,Google 判斷了 cookies,當你沒有cookies的時候,直接返回 302 跳轉,而且是連續(xù)幾十個302跳轉,根本抓不了數據。
因此,在發(fā)送搜索命令時,需要先提取 cookies 并保存,然后利用保存下來的這個cookies再次發(fā)送搜索命令即可正常抓數據了。這其實和論壇的模擬登錄一個道理,先POST登錄,獲取cookies并保存,然后利用這個cookies訪問就可以了。
PHP 代碼如下:

復制代碼 代碼如下:


<?php
header('Content-Type: text/html; charset=utf-8');

$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");

//先獲取cookies并保存
$url = "http://www.google.com.hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串,而非直接輸出
curl_setopt($ch, CURLOPT_COOKIEJAR,  $cookie_file); //存儲cookies
curl_exec($ch);
curl_close($ch);

//使用上面保存的cookies再次訪問
$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面獲取的cookies
$response = curl_exec($ch);
curl_close($ch);

echo $response;
?>

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 古交市| 乐陵市| 抚顺市| 象州县| 临夏市| 山东| 嘉黎县| 阳山县| 蒙自县| 张掖市| 泸溪县| 江西省| 喀喇| 松潘县| 台安县| 交城县| 那曲县| 兴海县| 察哈| 繁昌县| 文成县| 闽清县| 泰安市| 南宁市| 砚山县| 鱼台县| 新乡县| 庆元县| 青阳县| 获嘉县| 临城县| 南召县| 丘北县| 当涂县| 上犹县| 德保县| 宣武区| 武威市| 开远市| 屏南县| 方正县|