Python實現一個轉存純真IP數據庫的腳本分享

2020-01-04 17:11:58

字體：大中小

來源：轉載

供稿：網友

前言

之前寫過很多關于掃描腳本的文章，一直都沒寫自己的掃描IP段是哪里搞來的，也會有朋友經常來問一些掃描經驗，說實話我覺得這個工具并沒有實際的技術含量，但是能提高工作效率，就共享出來給大家耍耍～

談到掃描經驗，我個人通常都會針對不同的設備，不同的應用選擇不同類型的段。

比如我現在掃描的目標是一款電信光貓，那自然是選擇電信的IP段，光貓一般是家庭用戶，我們篩選下家庭用戶的活躍IP段，這樣我們就有針對性了。

再比如我現在想掃一款企業路由設備，那么我就可以選擇企業公司多的段。

純真IP真心是個不錯的工具，我通常用來檢索某個地區的IP段，但是這個工具有個非常致命的缺點，就是不能聯合查詢，這就令人非常蛋疼了，而且這玩意每次用都要切換到win下面操作，對于我這種Linux黨來說自然是無法忍，索性寫個把純真IP轉存到mysql數據庫的腳本，這樣不用每次查詢都去win下面，還可以直接部署到遠程，查詢方便了很多，最主要的還是支持多條件查詢。

需求

Python寫這個腳本技術上難度不大，主要還是用到了MySQLdb庫，關于MySQLdb庫的安裝就不多說了，博客之前有寫相關的文章。這里咱們需要先分析下純真IP數據庫的數據文件結構，發現其實每一行的結構都是固定的，那么寫起來就簡單了。

編碼這塊我就不詳細說了，簡單幾個方法就能輕松實現，貼出來代碼

#!/usr/bin/env python# coding=utf-8# kbdancer@92ez.comimport MySQLdbimport sysreload(sys)sys.setdefaultencoding('utf8')def save_data_to_mysql(mysql_object, ip_line): try:  begin = ip_line[0:16].replace(' ', '')  end = ip_line[16:32].replace(' ', '')  try:   location = line[32:].split(' ')[0]  except:   location = ''  try:   isp_type = line[32:].replace(' ', ' ').split(' ')[1].replace('/n', '').replace('/r', '')  except:   isp_type = ''  this_line_value = [begin + "-" + end, location, isp_type]  do_insert(mysql_object, this_line_value) except Exception, e:  print edef do_insert(mysql_object, row_data): try:  insert_sql = """INSERT INTO `ipdb` (`iprange`,`location`, `type`) VALUES ( %s, %s, %s )"""  mysql_object.insert(insert_sql, row_data) except Exception, e:  print row_data  print eclass Database: host = 'localhost' user = 'ipdb' password = '3u9whrpcEUBTnNNn' db = 'ipinfo' charset = 'utf8' def __init__(self):  self.connection = MySQLdb.connect(self.host, self.user, self.password, self.db, charset=self.charset)  self.cursor = self.connection.cursor() def insert(self, query, params):  try:   self.cursor.execute(query, params)   self.connection.commit()  except Exception, e:   print e   self.connection.rollback() def query(self, query, params):  cursor = self.connection.cursor(MySQLdb.cursors.DictCursor)  cursor.execute(query, params)  return cursor.fetchall() def __del__(self):  self.connection.close()if __name__ == '__main__': mysql = Database() ip_file = open(sys.path[0] + "/ip.txt") print 'Start save to mysql ...' for line in ip_file:  save_data_to_mysql(mysql, line) ip_file.close() print 'Save complete.'

注意

這里存在一個性能問題，就是遍歷所有數據的時候需要進行插入數據庫的操作，單行插入的效率是非常低的，建議使用多行插入，比如說寫個緩存數組，當緩存數組達到規定的條數，比如達到100條的時候，一次性把100條存入到數據庫，這個速度比單條存入要快得多。博主我在這里就挖個坑，希望使用腳本的朋友能自己修改，改起來也不難。

由于純真IP數據庫導出的txt文件并不是標準的無BOM UTF8編碼，直接解析肯定是失敗的，建議使用Notepad++先轉碼一下

效果

原始數據

純真ip數據庫,純真ip,python,數據庫腳本