国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發(fā) > PHP > 正文

探討file_get_contents與curl效率及穩(wěn)定性的分析

2024-05-04 23:09:21
字體:
供稿:網(wǎng)友

做過好多抓取別家網(wǎng)站內(nèi)容的產(chǎn)品,習慣了使用方便快捷的file_get_contents函數(shù),但是總是會遇到獲取失敗的問題,盡管按照手冊中的例子設置了超時,可多數(shù)時候不會奏效:

復制代碼 代碼如下:


$config['context'] = stream_context_create(array(‘http' => array(‘method' => “GET”,
'timeout' => 5//這個超時時間不穩(wěn)定,經(jīng)常不奏效
)
));


這時候,看一下服務器的連接池,會發(fā)現(xiàn)一堆類似的錯誤,讓你頭疼萬分:
file_get_contents(***): failed to open stream…
不得已,安裝了curl庫,寫了一個函數(shù)替換:

復制代碼 代碼如下:


<span>function</span> curl_file_get_contents<span>(</span><span>$durl</span><span>)</span><span>{</span>
<span>$ch</span> <span>=</span> <span>curl_init</span><span>(</span><span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_URL<span>,</span> <span>$durl</span><span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_TIMEOUT<span>,</span> <span>5</span><span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_USERAGENT<span>,</span> _USERAGENT_<span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_REFERER<span>,</span>_REFERER_<span>)</span><span>;</span>
<span>curl_setopt</span><span>(</span><span>$ch</span><span>,</span> CURLOPT_RETURNTRANSFER<span>,</span> <span>1</span><span>)</span><span>;</span>
<span>$r</span> <span>=</span> <span>curl_exec</span><span>(</span><span>$ch</span><span>)</span><span>;</span>
<span>curl_close</span><span>(</span><span>$ch</span><span>)</span><span>;</span>
<span>return</span> <span>$r</span><span>;</span>
<span>}</span>


如此,除了真正的網(wǎng)絡問題外,沒再出現(xiàn)任何問題。
這是別人做過的關于curl和file_get_contents的測試:
file_get_contents抓取google.com需用秒數(shù):
2.31319094
2.30374217
2.21512604
3.30553889
2.30124092
curl使用的時間:
0.68719101
0.64675593
0.64326
0.81983113
0.63956594
差距很大吧?呵呵,從我使用的經(jīng)驗來說,這兩個工具不只是速度有差異,穩(wěn)定性也相差很大。建議對網(wǎng)絡數(shù)據(jù)抓取穩(wěn)定性要求比較高的朋友使用上面的curl_file_get_contents函數(shù),不但穩(wěn)定速度快,還能假冒瀏覽器欺騙目標地址哦!

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 湛江市| 嘉定区| 乌拉特中旗| 江口县| 黄石市| 周口市| 涿鹿县| 腾冲县| 高淳县| 阜平县| 闽清县| 灌南县| 都昌县| 巴林右旗| 白水县| 剑河县| 郧西县| 兴海县| 灵川县| 静海县| 扶绥县| 翁牛特旗| 观塘区| 中卫市| 栾城县| 阿坝| 内丘县| 健康| 汉阴县| 桃园市| 白城市| 乌拉特前旗| 梨树县| 盐山县| 十堰市| 洱源县| 会理县| 塔城市| 汉沽区| 玛多县| 石泉县|