django后臺批量導入數據
在生產環境中，往往數據不是幾條或者幾百條，那么舉個例子，將公司所有員工員工號或者帳號密碼導入進后臺，那就不建議你去后臺一條條記錄去添加了
如何從xml中批量導入svn記錄
第一步：
為數據建立模型
@python_2_unicode_compatibleclass SVNLog(models.Model): vision = models.IntegerField(verbose_name=u"修訂版本", blank=False, null=False,) author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True) date = models.DateTimeField(verbose_name=u"修訂時間",null=True ) msg = models.TextField(verbose_name=u"注釋消息", blank=False, null=False, default=u"") paths = models.TextField(verbose_name=u"影響的文件", blank=False, null=False, default=u"") created_time = models.DateTimeField(verbose_name=u"創建時間", auto_now_add=True, ) update_time = models.DateTimeField(verbose_name=u"修改時間", auto_now=True, ) class Meta: ordering = ['revision'] def __str__(self): return u'r%s' % (self.revision or u"", )
既然建立好了模型，那我們再去建立接受我們xml文件的models
@python_2_unicode_compatibleclass ImportLogFile(models.Model): LogFile = models.FileField(upload_to='LogFile') FileName = models.CharField(max_length=50, verbose_name=u'文件名') class Meta: ordering = ['FileName'] def __str__(self): return self.FileName
ok,以上代碼我們定義好了數據和上傳文件的model
同步數據庫
python manage.py makemigrationspython manage.py migrate
接著我們去修改admin.py 讓我們可以從后臺上傳文件，
class ImportLogAdmin(admin.ModelAdmin): list_display = ('LogFile','FileName',) list_filter = ['FileName',] def save_model(self, request, obj, form, change): re = super(YDImportLogAdmin,self).save_model(request, obj, form, change) update_svn_log(self, request, obj, change) return re 注意上面代碼里的save_model,這里才是關鍵，在這里我重寫了ModelAdmin里的save_model方法
因為我們要把上傳文件，讀取文件，解析文件，操作數據庫合為一步來操作，大家可以打開debug，在上傳文件的時候，返回參數的obj里包括了文件上傳的路徑，這個路徑也是下一步我們操作解析文件的關鍵，好了我們在這個app文件夾下新建一個utils.py 用來操作我們操作文件和數據庫的工具類，為了簡單我寫成了函數如下
先貼一下我們要測試的xml文件
<?xml version="1.0" encoding="UTF-8"?><log><logentry revision="2"><author>qwert</author><date>2016-09-27T07:16:37.396449Z</date><paths><path action="A" prop-mods="false" text-mods="true" kind="file">/aaa/README </path></paths><msg>20160927 151630</msg></logentry><logentry revision="1"><author>VisualSVN Server</author><date>2016-09-20T05:03:12.861315Z</date><paths><path action="A" prop-mods="false" text-mods="false" kind="dir">/branches</path><path action="A" prop-mods="false" text-mods="false" kind="dir">/tags</path><path action="A" prop-mods="false" text-mods="false" kind="dir">/trunk</path></paths><msg>hello word</msg></logentry></log>
輸出結果格式
r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 lineChanged paths: A /xxx/README20160927 151630------------------------------------------------------------------------r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 lineChanged paths: A /branches A /tags A /trunkInitial structure.from .models import SVNLogimport xmltodictdef update_svn_log(self, request, obj, change): headers = ['r','a','d','m','p'] filepath = obj.LogFile.path xmlfile = xmltodict.parse(open(filepath, 'r')) xml_logentry = xml.get('log').get('logentry') info_list = [] pathlist = [] sql_insert_list = [] sql_update_list = [] for j in xml: data_dict = {} # get path paths = j.get('paths').get('path') if isinstance(paths,list): for path in paths: action = path.get('@action') pathtext = path.get('#text') pathtext = action + ' ' + pathtext pathlist.append(pathtext) _filelist = u'/n'.join(pathlist) _paths = u"Changed paths:/n {}".format(_filelist) print _paths else: _filelist = paths.get('@action') + ' ' + paths.get('#text') _paths = u"Changed paths:/n {}".format(_filelist) print _paths # get revision vision = j.get('@vision') # get auth author = j.get('author') #get date date = j.get('date') #get msg msg = j.get('msg') data_dict[headers[0]] = int(vision) data_dict[headers[1]] = author data_dict[headers[2]] = date data_dict[headers[3]] = msg data_dict[headers[4]] = _paths info_list.append(data_dict) _svnlog = SVNLog.objects.filter().order_by('-vision').first() _last_version = _svnlog.vision if _svnlog else 0 for value in info_list: vision = value['r'] author = value['a'] date = value['d'] msg = value['m'] paths = value['p'] print vision,author _svnlog = YDSVNLog.objects.filter().order_by('-revision').first() _last_version = _svnlog.revision if _svnlog else 0 if vision > _last_version: sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths)) else: sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths)) SVNLog.objects.bulk_create(sql_insert_list) SVNLog.objects.bulk_create(sql_update_list) 我們使用的xmltodict這個第三方庫來解析xml，他把內容解析成了高效率的orderdict類型，就是有序列的字典
這個xml中比較復雜的是那個paths里的path，因為這個xml中包含兩個元素，第一個元素的path只含有一個path，第二個元素中的paths包含有三個path，因此我們在解析獲取的時候需要判斷一下
paths = j.get('paths').get('path')if isinstance(paths,list): pass我們判斷這個path是不是一個list類型的，如果是，那我們就按照list的方式來處理，如果不是，那我們就按單個的方式來處理,獲取之后按照輸出結果格式處理下結果然后獲取其他內容
revision = j.get('@vision')# get authauthor = j.get('author')#get datedate = j.get('date')#get msgmsg = j.get('msg') 最后我們將獲取到的元素存在字典里
在循環中判斷當前的版本號和數據庫中的版本號，
如果比原來的小，那么我們執行更新操作，反之執行插入操作
最后使用了bulk_create來操作數據庫，這樣避免了循環中每次都進行數據庫操作造成的資源浪費
新聞熱點
疑難解答
