nodejs中sleep功能實現(xiàn)暫停幾秒的方法

2019-11-19 16:05:43

字體：大中小

供稿：網(wǎng)友

我在網(wǎng)上了解了一下nodejs中sleep功能,搜索了很多關(guān)于nodejs中sleep功能介紹,下面我來記錄一下,有需要了解的朋友可參考。希望此文章對各位有所幫助。

一背景

在使用nodejs爬蟲的時候,經(jīng)常會遇到別人的網(wǎng)站對頻率的反爬機制,這個時候如果不做處理程序就會掛掉,重新啟動也會繼續(xù)被屏蔽.這個問題怎么解決呢,我的想法就是程序暫停10分鐘或者更長的時間,繼續(xù)爬取.

二方法

其實使用setTimeout就可以實現(xiàn),只是nodejs異步已經(jīng)很金字塔了,再加一層會更恐怖,所以本文使用nodejs的第三方模塊async來實現(xiàn),async的目的就是讓多個異步的程序,按照開發(fā)者想要的順序來執(zhí)行,代碼書寫符合同步風(fēng)格,其實運行還是異步的,也解決了回調(diào)金字塔的問題.

async基礎(chǔ)使用 ://m.survivalescaperooms.com/article/118526.htm

三正常代碼

訪問3個網(wǎng)站,百度,優(yōu)酷,騰訊為例.不暫停的代碼.

var async = require('async'); var http = require('http'); var task = []; task.push(function(callback){  console.time('訪問3個網(wǎng)站時間統(tǒng)計');  http.get('http://www.baidu.com/', function(res) {    console.log("百度訪問結(jié)果: " + res.statusCode);    callback(null);  }).on('error', function(e) {    console.log("百度訪問結(jié)果: " + e.message);   callback(e);  }); })  task.push(function(callback){  http.get('http://www.youku.com/', function(res) {    console.log("優(yōu)酷訪問結(jié)果: " + res.statusCode);   callback(null);  }).on('error', function(e) {   console.log("優(yōu)酷訪問結(jié)果: " + e.message);   callback(e);  }); })  task.push(function(callback){  http.get('http://www.qq.com/', function(res) {    console.log("騰訊訪問結(jié)果: " + res.statusCode);   callback(null);  }).on('error', function(e) {    console.log("騰訊訪問結(jié)果: " + e.message);   callback(e);  }); })  async.waterfall(task, function(err,result){  console.timeEnd('訪問3個網(wǎng)站時間統(tǒng)計');  if(err) return console.log(err);  console.log('全部訪問成功'); })

四測試

執(zhí)行訪問網(wǎng)站需要時間,3個網(wǎng)站訪問時間統(tǒng)計254ms.

五暫停代碼

比如,訪問第一個網(wǎng)站后暫停5秒,訪問第二個網(wǎng)站后暫停10秒.

var async = require('async'); var http = require('http'); var task = []; task.push(function(callback){  console.time('訪問3個網(wǎng)站時間統(tǒng)計');  http.get('http://www.baidu.com/', function(res) {    console.log("百度訪問結(jié)果: " + res.statusCode);   setTimeout(function() {    callback(null);   }, 5000);  }).on('error', function(e) {    console.log("百度訪問結(jié)果: " + e.message);   callback(e);  }); })  task.push(function(callback){  http.get('http://www.youku.com/', function(res) {    console.log("優(yōu)酷訪問結(jié)果: " + res.statusCode);   setTimeout(function() {    callback(null);   }, 10000);  }).on('error', function(e) {   console.log("優(yōu)酷訪問結(jié)果: " + e.message);   callback(e);  }); })  task.push(function(callback){  http.get('http://www.qq.com/', function(res) {    console.log("騰訊訪問結(jié)果: " + res.statusCode);   callback(null);  }).on('error', function(e) {    console.log("騰訊訪問結(jié)果: " + e.message);   callback(e);  }); })  async.waterfall(task, function(err,result){  console.timeEnd('訪問3個網(wǎng)站時間統(tǒng)計');  if(err) return console.log(err);  console.log('全部訪問成功'); })

六測試