前言:最近想學習node.js,突然在網上看到基于node的爬蟲制作教程,所以簡單學習了一下,把這篇文章分享給同樣初學node.js的朋友。
目標:爬取 http://tweixin.yueyishujia.com/webapp/build/html/ 網站的所有門店發型師的基本信息。
思路:訪問上述網站,通過chrome瀏覽器的network對網頁內容分析,找到獲取各個門店發型師的接口,對參數及返回數據進行分析,遍歷所有門店的所有發型師,直到遍歷完畢,同事將信息存儲到本地。
步驟一:安裝node.js
下載并安裝node,此步驟比較簡單就不詳細解釋了,有問題的可以直接問一下度娘。
步驟二:建立工程
1)打開dos命令條,cd進入想要創建項目的路徑(我將此項目直接放在了E盤,以下皆以此路徑為例);
2)mkdir node (創建一個文件夾用來存放項目,我這里取名為node);
3)cd 進入名為node的文件夾,并執行npm init初始化工程(期間會讓填寫一些信息,我是直接回車的);
步驟三:創建爬取到的數據存放的文件夾
1)創建data文件夾用來存放發型師基本信息;
2)創建image文件夾用來存儲發型師頭像圖片;
此時工程下文件如下:

步驟四:安裝第三方依賴包(fs是內置模塊,不需要單獨安裝)
1)npm install cheerio 主站蜘蛛池模板: 太原市| 休宁县| 东方市| 浏阳市| 汝阳县| 德江县| 淮安市| 弋阳县| 合水县| 昌宁县| 施秉县| 宝丰县| 汶上县| 宣威市| 北宁市| 上饶市| 重庆市| 健康| 清河县| 饶河县| 光山县| 泊头市| 无极县| 呼图壁县| 西安市| 阜南县| 叙永县| 清河县| 鄂托克旗| 安化县| 温泉县| 新野县| 博客| 铜山县| 肇东市| 平遥县| 泰安市| 长沙市| 电白县| 巴楚县| 尤溪县|