国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > JavaScript > 正文

深入nodejs中流(stream)的理解

2019-11-19 17:01:17
字體:
供稿:網(wǎng)友

nodejs的fs模塊并沒有提供一個(gè)copy的方法,但我們可以很容易的實(shí)現(xiàn)一個(gè),比如:

var source = fs.readFileSync('/path/to/source', {encoding: 'utf8'});fs.writeFileSync('/path/to/dest', source);

這種方式是把文件內(nèi)容全部讀入內(nèi)存,然后再寫入文件,對(duì)于小型的文本文件,這沒有多大問題,比如grunt-file-copy就是這樣實(shí)現(xiàn)的。但是對(duì)于體積較大的二進(jìn)制文件,比如音頻、視頻文件,動(dòng)輒幾個(gè)GB大小,如果使用這種方法,很容易使內(nèi)存“爆倉”。理想的方法應(yīng)該是讀一部分,寫一部分,不管文件有多大,只要時(shí)間允許,總會(huì)處理完成,這里就需要用到流的概念。

如上面高大上的圖片所示,我們把文件比作裝水的桶,而水就是文件里的內(nèi)容,我們用一根管子(pipe)連接兩個(gè)桶使得水從一個(gè)桶流入另一個(gè)桶,這樣就慢慢的實(shí)現(xiàn)了大文件的復(fù)制過程。

Stream在nodejs中是EventEmitter的實(shí)現(xiàn),并且有多種實(shí)現(xiàn)形式,例如:

  • http responses request
  • fs read write streams
  • zlib streams
  • tcp sockets
  • child process stdout and stderr

上面的文件復(fù)制可以簡單實(shí)現(xiàn)一下:

var fs = require('fs');var readStream = fs.createReadStream('/path/to/source');var writeStream = fs.createWriteStream('/path/to/dest');readStream.on('data', function(chunk) { // 當(dāng)有數(shù)據(jù)流出時(shí),寫入數(shù)據(jù)  writeStream.write(chunk);});readStream.on('end', function() { // 當(dāng)沒有數(shù)據(jù)時(shí),關(guān)閉數(shù)據(jù)流  writeStream.end();});

上面的寫法有一些問題,如果寫入的速度跟不上讀取的速度,有可能導(dǎo)致數(shù)據(jù)丟失。正常的情況應(yīng)該是,寫完一段,再讀取下一段,如果沒有寫完的話,就讓讀取流先暫停,等寫完再繼續(xù),于是代碼可以修改為:

var fs = require('fs');var readStream = fs.createReadStream('/path/to/source');var writeStream = fs.createWriteStream('/path/to/dest');readStream.on('data', function(chunk) { // 當(dāng)有數(shù)據(jù)流出時(shí),寫入數(shù)據(jù)  if (writeStream.write(chunk) === false) { // 如果沒有寫完,暫停讀取流    readStream.pause();  }});writeStream.on('drain', function() { // 寫完后,繼續(xù)讀取  readStream.resume();});readStream.on('end', function() { // 當(dāng)沒有數(shù)據(jù)時(shí),關(guān)閉數(shù)據(jù)流  writeStream.end();});

或者使用更直接的pipe

// pipe自動(dòng)調(diào)用了data,end等事件fs.createReadStream('/path/to/source').pipe(fs.createWriteStream('/path/to/dest'));

下面是一個(gè)更加完整的復(fù)制文件的過程

var fs = require('fs'),  path = require('path'),  out = process.stdout;var filePath = '/Users/chen/Movies/Game.of.Thrones.S04E07.1080p.HDTV.x264-BATV.mkv';var readStream = fs.createReadStream(filePath);var writeStream = fs.createWriteStream('file.mkv');var stat = fs.statSync(filePath);var totalSize = stat.size;var passedLength = 0;var lastSize = 0;var startTime = Date.now();readStream.on('data', function(chunk) {  passedLength += chunk.length;  if (writeStream.write(chunk) === false) {    readStream.pause();  }});readStream.on('end', function() {  writeStream.end();});writeStream.on('drain', function() {  readStream.resume();});setTimeout(function show() {  var percent = Math.ceil((passedLength / totalSize) * 100);  var size = Math.ceil(passedLength / 1000000);  var diff = size - lastSize;  lastSize = size;  out.clearLine();  out.cursorTo(0);  out.write('已完成' + size + 'MB, ' + percent + '%, 速度:' + diff * 2 + 'MB/s');  if (passedLength < totalSize) {    setTimeout(show, 500);  } else {    var endTime = Date.now();    console.log();    console.log('共用時(shí):' + (endTime - startTime) / 1000 + '秒。');  }}, 500);

可以把上面的代碼保存為copy.js試驗(yàn)一下

我們添加了一個(gè)遞歸的setTimeout(或者直接使用setInterval)來做一個(gè)旁觀者,每500ms觀察一次完成進(jìn)度,并把已完成的大小、百分比和復(fù)制速度一并寫到控制臺(tái)上,當(dāng)復(fù)制完成時(shí),計(jì)算總的耗費(fèi)時(shí)間,效果如圖:

我們復(fù)制了一集1080p的權(quán)利的游戲第四季第7集,大概3.78G大小,由于使用了SSD,可以看到速度還是非常不錯(cuò)的,哈哈哈~ 復(fù)制完成后,顯示總花費(fèi)時(shí)間

結(jié)合nodejs的readlineprocess.argv等模塊,我們可以添加覆蓋提示、強(qiáng)制覆蓋、動(dòng)態(tài)指定文件路徑等完整的復(fù)制方法,有興趣的可以實(shí)現(xiàn)一下,實(shí)現(xiàn)完成,可以

ln -s /path/to/copy.js /usr/local/bin/mycopy

這樣就可以使用自己寫的mycopy命令替代系統(tǒng)的cp命令

以上就是本文的全部內(nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持武林網(wǎng)。

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 壤塘县| 广昌县| 百色市| 灵石县| 乐安县| 克山县| 南澳县| 龙川县| 安宁市| 陆丰市| 彭泽县| 怀远县| 平和县| 杭锦后旗| 邯郸县| 卓尼县| 江陵县| 曲周县| 长泰县| 富宁县| 延寿县| 大冶市| 茂名市| 西安市| 华阴市| 稻城县| 锦屏县| 丽江市| 千阳县| 辰溪县| 双流县| 富源县| 栖霞市| 静海县| 清流县| 晋州市| 庄河市| 桂东县| 和平县| 大渡口区| 孝义市|