對python中的six.moves模塊的下載函數urlretrieve詳解

2020-01-04 13:46:33

字體：大中小

來源：轉載

供稿：網友

實驗環境：windows 7，anaconda 3(python 3.5)，tensorflow（gpu/cpu）

函數介紹：所用函數為six.moves下的urllib中的函數，調用如下urllib.request.urlretrieve(url,[filepath,[recall_func,[data]]])。簡單介紹一下，url是必填的指的是下載地址，filepath指的是保存的本地地址，recall_func指的是回調函數，下載過程中會調用可以用來顯示下載進度。

實驗代碼：以下載cifar10的dataset和抓取斗魚首頁為例

下載cifar10的dataset，并解壓

from six.moves import urllibimport osimport sysimport tensorflow as tfimport tarfileFLAGS = tf.app.flags.FLAGS#提取系統參數作用的變量tf.app.flags.DEFINE_string('dir','D:/download_html','directory of html')#將下載目錄保存到變量dir中,通過FLAGS.dir提取directory = FLAGS.dir#從FLAGS中提取dir變量url = 'http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz'filename = url.split('/')[-1]#-1表示分割后的最后一個元素filepath = os.path.join(directory,filename)if not os.path.exists(directory): os.makedirs(directory)if not os.path.exists(filepath): def _recall_func(num,block_size,total_size): sys.stdout.write('/r>> downloading %s %.1f%%' % (filename,float(num*block_size)/float(total_size)*100.0)) sys.stdout.flush() urllib.request.urlretrieve(url,filepath,_recall_func) print() file_info = os.stat(filepath) print('Successfully download',filename,file_info.st_size,'bytes')tar = tarfile.open(filepath,'r:gz')#指定解壓路徑和解壓方式為解壓gziptar.extractall(directory)#全部解壓

python,six.moves,下載函數,urlretrieve

抓取斗魚首頁

from six.moves import urllibimport osimport sysimport tensorflow as tfFLAGS = tf.app.flags.FLAGS#提取系統參數作用的變量tf.app.flags.DEFINE_string('dir','D:/download_html','directory of html')#將下載目錄保存到變量dir中,通過FLAGS.dir提取directory = FLAGS.dir#從FLAGS中提取dir變量url = 'http://www.douyu.com/'filename = 'douyu.html'#保存成你想要的名字，這里保存成douyu.htmlfilepath = os.path.join(directory,filename)if not os.path.exists(directory): os.makedirs(directory)if not os.path.exists(filepath): def _recall_func(num,block_size,total_size): sys.stdout.write('/r>> downloading %s %.1f%%' % (filename,float(num*block_size)/float(total_size)*100.0)) sys.stdout.flush() urllib.request.urlretrieve(url,filepath,_recall_func) print() file_info = os.stat(filepath)#獲取文件信息 print('Successfully download',filename,file_info.st_size,'bytes')#.st_size文件的大小，以字節為單位

python,six.moves,下載函數,urlretrieve