通過實例給大家講解nodejs實現爬取網站圖片功能，以下就是全部內容：
原理：
爬蟲是最明顯的IO密集型應用場景，顯然用node，使得I/O等待開銷小數據挖掘比較方便
借助express模塊來搭建node服務
并使用request模塊獲取目標頁面的html代碼
下載cheerio模塊對html代碼做處理(cheerio類似jQuery的語法，所以好用又方便)
環境配置：
npm install express request cheerio --save
(1)引入各個模塊
var http = require('http');var request = require('request);var cheerio = require('cheerio');var fs = require('fs'); //用來操作文件var url = 'https://movie.douban.com/cinema/nowplaying/beijing/' //定義要爬的頁面(2)發送請求
http.get(function(res){ var html = ''; var titles = []; res.setEncoding('utf-8') //防止中文亂碼 res.on('data',function(chunk){ html += chrunk; //監聽data事件 每次取一塊數據 }) res.on('end',function(){ var $ = cheerio.load(html); //獲取數據完成后，解析html //將獲取的圖片存到images文件夾中 $('.mod-bd img').each(function(index, item){ //獲取圖片屬性 var imgName = $(this).parent().next().text().trimg() var imgfile = imgName + '.jpeg'; var imgSrc = $(this).attr('src') //采用request模塊，向服務器發起請求 獲取圖片資源 request.head(imgSrc, function(error, res,body){ if(error){ console.log('失敗了') } }); //通過管道的方式用fs模塊將圖片寫到本地的images文件下 request(imgSrc).pipe.(fs.createWriteStream('./images/' + imgfile)); }) })})新聞熱點
疑難解答
