【問(wèn)題】

我們有臺(tái)HP的服務(wù)器，SSD在寫IOPS約5000時(shí)，%util達(dá)到80%以上，那么這塊SSD的性能究竟有沒(méi)有問(wèn)題，為解決這個(gè)問(wèn)題做了下面測(cè)試。

【工具】

blktrace是linux下用來(lái)排查IO性能的工具。它可以記錄IO經(jīng)歷的各個(gè)步驟，并計(jì)算出IO請(qǐng)求在各個(gè)階段的消耗，下面是關(guān)鍵的一些步驟：

Q2G – 生成IO請(qǐng)求所消耗的時(shí)間，包括remap和split的時(shí)間；

G2I – IO請(qǐng)求進(jìn)入IO Scheduler所消耗的時(shí)間，包括merge的時(shí)間；

I2D – IO請(qǐng)求在IO Scheduler中等待的時(shí)間；

D2C – IO請(qǐng)求在driver和硬件上所消耗的時(shí)間；

Q2C – 整個(gè)IO請(qǐng)求所消耗的時(shí)間(G2I + I2D + D2C = Q2C)，相當(dāng)于iostat的await。

其中D2C可以作為硬件性能的指標(biāo)，I2D可以作為IO Scheduler性能的指標(biāo)。

【測(cè)試一、比較HP SSD Smart Path開(kāi)啟前后SSD的寫入性能】

1、HP SSD Smart Path開(kāi)啟，SSD控制器Caching關(guān)閉，Cache Ratio: 100% Read / 0% Write

測(cè)試結(jié)果如下，主要關(guān)注D2C（IO請(qǐng)求在SSD上消耗的時(shí)間）的AVG值，約為0.217ms

2、HP SSD Smart Path關(guān)閉，SSD控制器Caching開(kāi)啟，Cache Ratio: 10% Read / 90% Write

測(cè)試結(jié)果如下，主要關(guān)注D2C（IO請(qǐng)求在SSD上消耗的時(shí)間）的AVG值，約為0.0906ms

【結(jié)論】

前者在硬件上的消耗時(shí)間是后者的約2.4倍，對(duì)于寫入為主的系統(tǒng)，建議HP SSD Smart Path關(guān)閉，SSD控制器Caching開(kāi)啟

【測(cè)試二、比較noop和deadline兩種I/O調(diào)度算法的性能】

目前磁盤的調(diào)度算法有如下四種，我們系統(tǒng)中的配置值為deadline，很多資料上建議SSD配置為noop

1、Anticipatory，適用于個(gè)人PC，單磁盤系統(tǒng)；

2、CFQ(Complete Fair Queuing)，默認(rèn)的IO調(diào)度算法，完全公平的排隊(duì)調(diào)度算法

3、Deadline，按照截止期限來(lái)循環(huán)在各個(gè)IO隊(duì)列中進(jìn)行調(diào)度

4、noop，簡(jiǎn)單的FIFO隊(duì)列進(jìn)行調(diào)度

下面都在HP SSD Smart Path關(guān)閉的情況下測(cè)試，

1、deadline, 主要關(guān)注G2I和I2D

2、修改為noop

【結(jié)論】

noop的IO Scheduler在等待和消耗的時(shí)間比deadline稍好，但差異不是很大。如果需要評(píng)估，還需要進(jìn)一步詳細(xì)的在各個(gè)場(chǎng)景下的測(cè)試。

下圖是網(wǎng)上資料對(duì)不同調(diào)度算法的測(cè)試比較：