前言

這次編寫Node.js項目的時候用到了日志模塊，其中碰到了一個小問題。

這是一個定時執(zhí)行可配置自動化任務(wù)的項目，所以輸出信息會不斷增加，也就意味著日志文件會隨時間不斷增大。如果對日志文件大小不加以控制，那么服務(wù)器的磁盤遲早會被撐滿。所以限制文件大小是有必要的。

最理想的控制方式就是當(dāng)文件大小超過限制時，清除最先記錄的數(shù)據(jù)。類似一個FIFO的隊列。

# 刪除前面的數(shù)據(jù)- 1 xxx ...... 100 abc# 文件末尾追加數(shù)據(jù)+ 101 xxxx

log4js的file rolling

一提到記錄日志很多Node.js開發(fā)者肯定會找到log4js，先來看看log4js是怎么處理這個問題的。

log4js分為很多appenders（可以理解為記錄日志的媒介），file rolling功能可以通過函數(shù)來進(jìn)行配置。

file rolling功能有兩種方式：日期和文件大小。

要控制文件大小，當(dāng)然選擇后者。

為了測試這個功能是否滿足我們要求，寫一段循環(huán)代碼來寫日志。

const log4js = require('log4js')// 配置log4jslog4js.configure({ appenders: { everything: { type: 'file', filename: 'a.log', maxLogSize: 1000, backups: 0 }, }, categories: { default: { appenders: ['everything'], level: 'debug' } }});const log = log4js.getLogger();for (let i = 0; i < 41; i++) { const str = i.toString().padStart(6, '000000'); log.debug(str);}

執(zhí)行之后生成兩個文件a.log和a.log.1。

其中a.log.1有20行數(shù)據(jù)，實際大小1kb，a.log只有1行數(shù)據(jù)。

雖然確實控制了文件大小，但是會帶來兩個問題：

• 額外產(chǎn)生一個備份文件，總占用磁盤空間會超過文件限制。
• 日志文件內(nèi)容的大小是變動的，查詢?nèi)罩镜臅r候很可能需要聯(lián)合備份文件進(jìn)行查詢（比如上面的情況日志文件只有1行數(shù)據(jù)）。

推測log4js的實現(xiàn)邏輯可能是下面這樣：

• 檢查日志文件是否達(dá)到限制大小，如果達(dá)到則刪除備份文件，否則繼續(xù)寫入日志文件。
• 重命名日志文件為備份文件。

這顯然不能完全滿足需求。

字符串替換？

如果要在內(nèi)存中完成循環(huán)覆寫操作就比較簡單了，使用字符串或Buffer的即可完成。

• 添加字符串/Buffer長度，如果超過大小則截取。
• 寫入并覆蓋日志文件。

但是有一個很大的問題：占用內(nèi)存。

比如限制文件大小為1GB，有10個日志文件同時寫入，那么至少占用10GB內(nèi)存空間！

內(nèi)存可是比磁盤空間更寶貴的，如此明顯的性能問題，顯然也不是最優(yōu)解決方式。

file roll

按照需求可以把實現(xiàn)步驟拆成兩步：

• 追加最新的數(shù)據(jù)到文件末尾。（Node.js的fs模塊有相應(yīng)函數(shù)）
• 刪除文件開頭超出限制部分。（Node.js沒有響應(yīng)函數(shù)）

這兩步不分先后順序，但是Node.js沒有提供API來刪除文件開頭部分，只提供了修改文件指定位置的函數(shù)。

既然無法刪除文件開頭部分內(nèi)容，那么我們就換個思路，只保留文件末尾部分內(nèi)容（不超出大小限制）。

什么？這不是一個意思么？

略有區(qū)別~

刪除是在原有文件上進(jìn)行的操作，而保留內(nèi)容可以借助臨時文件來進(jìn)行操作。

所以思路變成：

1. 創(chuàng)建一個臨時文件，臨時文件的內(nèi)容來自于日志文件。
2. 往臨時文件中增加數(shù)據(jù)。
3. 將臨時文件中符合文件大小限制的內(nèi)容，從后往前（采取偏移量的形式）進(jìn)行讀取并復(fù)制到日志文件進(jìn)行覆蓋。
4. 為了不占用額外的磁盤空間，寫操作完成后刪除臨時文件。

這樣就不會出現(xiàn)像log4js一樣日志文件內(nèi)容不全的現(xiàn)象，也不會保留額外的臨時文件。但是對IO的操作會增加~
對于寫操作可以采取tail命令來實現(xiàn)，最終實現(xiàn)代碼如下：

private write(name: string, buf?: Buffer | string) { // append buf to tmp file const tmpName = name.replace(/(.*//)(.*$)/, '$1_/.$2/.tmp'); if (!existsSync(tmpName)) { copyFileSync(name, tmpName); } buf && appendFileSync(tmpName, buf); // if busy, wait if (this.stream && this.stream.readable) { this.needUpdateLogFile[name] = true; } else { try {  execSync(`tail -c ${limit} ${tmpName} > ${name}`);  try {  if (this.needUpdateLogFile[name]) {   this.needUpdateLogFile[name] = false;   this.write(name);  } else {   existsSync(tmpName) && unlinkSync(tmpName);  }  } catch (e) {  console.error(e);  } } catch (e) {  console.error(e); } }}

總結(jié)

完成這個功能有兩點感悟：

1. 量變引起質(zhì)變。當(dāng)數(shù)據(jù)量變大時，很多簡單的處理方式就不可以用了，比如寫文件，如果直接使用writeFile會占用大量內(nèi)存甚至有可能內(nèi)存都不夠用。所以要通過合適的方式進(jìn)行拆分，拆分過程中又會碰到各種問題，比如本文中截取文件內(nèi)容的要求。
2. 學(xué)會借力。君子性非異也善假于物也~當(dāng)無法在單個點完成操作的時候可以借助外部條件來實現(xiàn)，比如在本文中使用臨時文件來保存數(shù)據(jù)內(nèi)容。

好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對VeVb武林網(wǎng)的支持。