今天主要是來說一下怎么可視化來監(jiān)控你的爬蟲的狀態(tài)。

相信大家在跑爬蟲的過程中，也會好奇自己養(yǎng)的爬蟲一分鐘可以爬多少頁面，多大的數(shù)據(jù)量，當(dāng)然查詢的方式多種多樣。今天我來講一種可視化的方法。

關(guān)于爬蟲數(shù)據(jù)在mongodb里的版本我寫了一個可以熱更新配置的版本，即添加了新的爬蟲配置以后，不用重啟程序，即可獲取剛剛添加的爬蟲的狀態(tài)數(shù)據(jù)。

1.成品圖

這個是監(jiān)控服務(wù)器網(wǎng)速的最后成果，顯示的是下載與上傳的網(wǎng)速，單位為M。爬蟲的原理都是一樣的，只不過將數(shù)據(jù)存到InfluxDB的方式不一樣而已， 如下圖。

可以實(shí)現(xiàn)對爬蟲數(shù)量，增量，大小，大小增量的實(shí)時監(jiān)控。

2. 環(huán)境

3. 原理

獲取要展示的數(shù)據(jù)，包含當(dāng)前的時間數(shù)據(jù)，存到InfluxDb里面，然后再到Grafana里面進(jìn)行相應(yīng)的配置即可展示；

4. 安裝

4.1 Grafana安裝

官方安裝指導(dǎo)

安裝好以后，打開本地的3000端口，即可進(jìn)入管理界面，用戶名與密碼都是 admin 。

4.2 InfulxDb安裝

這個安裝就網(wǎng)上自己找吧，有很多的配置我都沒有配置，就不在這里誤人子弟了。

5. InfluxDb簡單操作

碰到了數(shù)據(jù)庫，肯定要把增刪改查學(xué)會了啊， 和sql幾乎一樣，只有一絲絲的區(qū)別，具體操作，大家可以參考官方的文檔。

6. 存數(shù)據(jù)

InfluxDb數(shù)據(jù)庫的數(shù)據(jù)有一定的格式，因?yàn)槲叶际抢胮ython庫進(jìn)行相關(guān)操作，所以下面將在python中的格式展示一下：

其中:

可以看到，就是個列表里面，嵌套了一個字典。其中，對于時間字段，有特殊要求，可以參考這里， 下面是python實(shí)現(xiàn)方法：

所以，到這里，如何將爬蟲的相關(guān)屬性存進(jìn)去呢？以MongoDB為例