之前寫了個現在看來很不完美的小爬蟲，很多地方沒有處理好，比如說在知乎點開一個問題的時候，它的所有回答并不是全部加載好了的，當你拉到回答的尾部時，點擊加載更多，回答才會再加載一部分，所以說如果直接發送一個問題的請求鏈接，取得的頁面是不完整的。還有就是我們通過發送鏈接下載圖片的時候，是一張一張來下的，如果圖片數量太多的話，真的是下到你睡完覺它還在下，而且我們用nodejs寫的爬蟲，卻竟然沒有用到nodejs最牛逼的異步并發的特性，太浪費了啊。
思路
這次的的爬蟲是上次那個的升級版，不過呢，上次那個雖然是簡單，但是很適合新手學習啊。這次的爬蟲代碼在我的github上可以找到=>NodeSpider。
整個爬蟲的思路是這樣的：在一開始我們通過請求問題的鏈接抓取到部分頁面數據，接下來我們在代碼中模擬ajax請求截取剩余頁面的數據，當然在這里也是可以通過異步來實現并發的，對于小規模的異步流程控制，可以用這個模塊=>eventproxy，但這里我就沒有用啦！我們通過分析獲取到的頁面從中截取出所有圖片的鏈接，再通過異步并發來實現對這些圖片的批量下載。
抓取頁面初始的數據很簡單啊，這里就不做多解釋啦
/*獲取首屏所有圖片鏈接*/var getInitUrlList=function(){request.get("https://www.zhihu.com/question/").end(function(err,res){if(err){console.log(err);}else{var $=cheerio.load(res.text);var answerList=$(".zm-item-answer");answerList.map(function(i,answer){var images=$(answer).find('.zm-item-rich-text img');images.map(function(i,image){photos.push($(image).attr("src"));});});console.log("已成功抓取"+photos.length+"張圖片的鏈接");getIAjaxUrlList();}});} 模擬ajax請求獲取完整頁面
接下來就是怎么去模擬點擊加載更多時發出的ajax請求了，去知乎看一下吧！
有了這些信息，就可以來模擬發送相同的請求來獲得這些數據啦。
/*每隔毫秒模擬發送ajax請求，并獲取請求結果中所有的圖片鏈接*/var getIAjaxUrlList=function(offset){request.post("https://www.zhihu.com/node/QuestionAnswerListV").set(config).send("method=next¶ms=%B%url_token%%A%C%pagesize%%A%C%offset%%A" +offset+ "%D&_xsrf=adfdeee").end(function(err,res){if(err){console.log(err);}else{var response=JSON.parse(res.text);/*想用json的話對json序列化即可，提交json的話需要對json進行反序列化*/if(response.msg&&response.msg.length){var $=cheerio.load(response.msg.join(""));/*把所有的數組元素拼接在一起，以空白符分隔，不要這樣join()，它會默認數組元素以逗號分隔*/var answerList=$(".zm-item-answer");answerList.map(function(i,answer){var images=$(answer).find('.zm-item-rich-text img');images.map(function(i,image){photos.push($(image).attr("src"));});});setTimeout(function(){offset+=;console.log("已成功抓取"+photos.length+"張圖片的鏈接");getIAjaxUrlList(offset);},);}else{console.log("圖片鏈接全部獲取完畢，一共有"+photos.length+"條圖片鏈接");// console.log(photos);return downloadImg();}}});} 在代碼中post這條請求https://www.zhihu.com/node/QuestionAnswerListV2，把原請求頭和請求參數復制下來，作為我們的請求頭和請求參數，superagent的set方法可用來設置請求頭，send方法可以用來發送請求參數。我們把請求參數中的offset初始為20，每隔一定時間offset再加20，再重新發送請求，這樣就相當于我們每隔一定時間發送了一條ajax請求，獲取到最新的20條數據，每獲取到了數據，我們再對這些數據進行一定的處理，讓它們變成一整段的html，便于后面的提取鏈接處理。 異步并發控制下載圖片再獲取完了所有的圖片鏈接之后，即判定response.msg為空時，我們就要對這些圖片進行下載了，不可能一條一條下對不對，因為如你所看到的，我們的圖片足足有
沒錯，2萬多張，不過幸好nodejs擁有神奇的單線程異步特性，我們可以同時對這些圖片進行下載。但這個時候問題來了，聽說同時發送請求太多的話會被網站封ip噠！這是真的嗎？我不知道啊，沒試過，因為我也不想去試(￣ー￣〃)，所以這個時候我們就需要對異步并發數量進行一些控制了。
在這里用到了一個神奇的模塊=>async，它不僅能幫我們拜托難以維護的回調金字塔惡魔，還能輕松的幫我們進行異步流程的管理。具體看文檔啦，因為我自己也不怎么會用，這里就只用到了一個強大的async.mapLimit方法。真的很厲害哦。
var requestAndwrite=function(url,callback){request.get(url).end(function(err,res){if(err){console.log(err);console.log("有一張圖片請求失敗啦...");}else{var fileName=path.basename(url);fs.writeFile("./img/"+fileName,res.body,function(err){if(err){console.log(err);console.log("有一張圖片寫入失敗啦...");}else{console.log("圖片下載成功啦");callback(null,"successful !");/*callback貌似必須調用，第二個參數將傳給下一個回調函數的result，result是一個數組*/}});}});}var downloadImg=function(asyncNum){/*有一些圖片鏈接地址不完整沒有“http:”頭部,幫它們拼接完整*/for(var i=;i<photos.length;i++){if(photos[i].indexOf("http")===-){photos[i]="http:"+photos[i];}}console.log("即將異步并發下載圖片，當前并發數為:"+asyncNum);async.mapLimit(photos,asyncNum,function(photo,callback){console.log("已有"+asyncNum+"張圖片進入下載隊列");requestAndwrite(photo,callback);},function(err,result){if(err){console.log(err);}else{// console.log(result);<=會輸出一個有萬多個“successful”字符串的數組console.log("全部已下載完畢！");}});}; 先看這里=>
mapLimit方法的第一個參數photos是所有圖片鏈接的數組，也是我們并發請求的對象，asyncNum是限制并發請求的數量，如果沒有這個參數的話，將會有同時兩萬多條請求發送過去，嗯，你的ip就會被成功的封掉，但當我們有這個參數時，比如它的值是10，則它一次就只會幫我們從數組中取10條鏈接，執行并發的請求，這10條請求都得到響應后，再發送下10條請求。告訴泥萌，并發到同時100條沒有事的，下載速度超級快，再往上就不知道咯，你們來告訴我...
以上所述給大家介紹了Nodejs爬蟲進階教程之異步并發控制的相關知識，希望對大家有所幫助。
