楊 經 (cdlyangj@cn.ibm.com), 軟件工程師, IBM2008 年 11 月 27 日
如何定位應用程序開發(fā)中的內存問題，一直是linux 應用程序開發(fā)中的瓶頸所在。有一款非常優(yōu)秀的 linux 下開源的內存問題檢測工具：valgrind，能夠極大的幫助你解決上述問題。掌握 valgrind 的使用以及工作原理，能夠有效地定位進而避免應用開發(fā)中的內存問題。
Valgrind是一套Linux下，開放源代碼（GPL V2）的仿真調試工具的集合。Valgrind由內核（core）以及基于內核的其他調試工具組成。內核類似于一個框架（framework），它模擬了一個CPU環(huán)境，并提供服務給其他工具；而其他工具則類似于插件 (plug-in)，利用內核提供的服務完成各種特定的內存調試任務。Valgrind的體系結構如下圖所示：
Valgrind包括如下一些工具：
Memcheck。這是valgrind應用最廣泛的工具，一個重量級的內存檢查器，能夠發(fā)現(xiàn)開發(fā)中絕大多數(shù)內存錯誤使用情況，比如：使用未初始化的內存，使用已經釋放了的內存，內存訪問越界等。這也是本文將重點介紹的部分。Callgrind。它主要用來檢查程序中函數(shù)調用過程中出現(xiàn)的問題。Cachegrind。它主要用來檢查程序中緩存使用出現(xiàn)的問題。Helgrind。它主要用來檢查多線程程序中出現(xiàn)的競爭問題。Massif。它主要用來檢查程序中堆棧使用中出現(xiàn)的問題。Extension。可以利用core提供的功能，自己編寫特定的內存調試工具。要發(fā)現(xiàn)Linux下的內存問題，首先一定要知道在Linux下，內存是如何被分配的？下圖展示了一個典型的Linux C程序內存空間布局：
一個典型的Linux C程序內存空間由如下幾部分組成：
代碼段（.text）。這里存放的是CPU要執(zhí)行的指令。代碼段是可共享的，相同的代碼在內存中只會有一個拷貝，同時這個段是只讀的，防止程序由于錯誤而修改自身的指令。初始化數(shù)據(jù)段（.data）。這里存放的是程序中需要明確賦初始值的變量，例如位于所有函數(shù)之外的全局變量：int val=100。需要強調的是，以上兩段都是位于程序的可執(zhí)行文件中，內核在調用exec函數(shù)啟動該程序時從源程序文件中讀入。未初始化數(shù)據(jù)段（.bss）。位于這一段中的數(shù)據(jù)，內核在執(zhí)行該程序前，將其初始化為0或者null。例如出現(xiàn)在任何函數(shù)之外的全局變量：int sum;堆（Heap）。這個段用于在程序中進行動態(tài)內存申請，例如經常用到的malloc，new系列函數(shù)就是從這個段中申請內存。棧（Stack）。函數(shù)中的局部變量以及在函數(shù)調用過程中產生的臨時變量都保存在此段中。Memcheck檢測內存問題的原理如下圖所示：
Memcheck 能夠檢測出內存問題，關鍵在于其建立了兩個全局表。
Valid-Value 表：對于進程的整個地址空間中的每一個字節(jié)(byte)，都有與之對應的 8 個 bits；對于 CPU 的每個寄存器，也有一個與之對應的 bit 向量。這些 bits 負責記錄該字節(jié)或者寄存器值是否具有有效的、已初始化的值。
Valid-Address 表對于進程整個地址空間中的每一個字節(jié)(byte)，還有與之對應的 1 個 bit，負責記錄該地址是否能夠被讀寫。
檢測原理：
當要讀寫內存中某個字節(jié)時，首先檢查這個字節(jié)對應的 A bit。如果該A bit顯示該位置是無效位置，memcheck 則報告讀寫錯誤。內核（core）類似于一個虛擬的 CPU 環(huán)境，這樣當內存中的某個字節(jié)被加載到真實的 CPU 中時，該字節(jié)對應的 V bit 也被加載到虛擬的 CPU 環(huán)境中。一旦寄存器中的值，被用來產生內存地址，或者該值能夠影響程序輸出，則 memcheck 會檢查對應的V bits，如果該值尚未初始化，則會報告使用未初始化內存錯誤。
第一步：準備好程序
為了使valgrind發(fā)現(xiàn)的錯誤更精確，如能夠定位到源代碼行，建議在編譯時加上-g參數(shù)，編譯優(yōu)化選項請選擇O0，雖然這會降低程序的執(zhí)行效率。
這里用到的示例程序文件名為：sample.c（如下所示）,選用的編譯器為gcc。
生成可執(zhí)行程序 gcc –g –O0 sample.c –o sample
第二步：在valgrind下，運行可執(zhí)行程序。
利用valgrind調試內存問題，不需要重新編譯源程序，它的輸入就是二進制的可執(zhí)行程序。調用Valgrind的通用格式是：valgrind [valgrind-options] your-PRog [your-prog-options]
Valgrind 的參數(shù)分為兩類，一類是 core 的參數(shù)，它對所有的工具都適用；另外一類就是具體某個工具如 memcheck 的參數(shù)。Valgrind 默認的工具就是 memcheck，也可以通過“--tool=tool name”指定其他的工具。Valgrind 提供了大量的參數(shù)滿足你特定的調試需求，具體可參考其用戶手冊。
這個例子將使用 memcheck，于是可以輸入命令入下：valgrind <Path>/sample.
第三步：分析 valgrind 的輸出信息。
以下是運行上述命令后的輸出。
示例程序顯然有兩個問題，一是fun函數(shù)中動態(tài)申請的堆內存沒有釋放；二是對堆內存的訪問越界。這兩個問題均被valgrind發(fā)現(xiàn)。
在Linux平臺開發(fā)應用程序時，最常遇見的問題就是錯誤的使用內存，我們總結了常見了內存錯誤使用情況，并說明了如何用valgrind將其檢測出來。
問題分析：
對于位于程序中不同段的變量，其初始值是不同的，全局變量和靜態(tài)變量初始值為0，而局部變量和動態(tài)申請的變量，其初始值為隨機值。如果程序使用了為隨機值的變量，那么程序的行為就變得不可預期。
下面的程序就是一種常見的，使用了未初始化的變量的情況。數(shù)組a是局部變量，其初始值為隨機值，而在初始化時并沒有給其所有數(shù)組成員初始化，如此在接下來使用這個數(shù)組時就潛在有內存問題。
結果分析：
假設這個文件名為：badloop.c，生成的可執(zhí)行程序為badloop。用memcheck對其進行測試，輸出如下。
輸出結果顯示，在該程序第11行中，程序的跳轉依賴于一個未初始化的變量。準確的發(fā)現(xiàn)了上述程序中存在的問題。
問題分析：
這種情況是指：訪問了你不應該/沒有權限訪問的內存地址空間，比如訪問數(shù)組時越界；對動態(tài)內存訪問時超出了申請的內存大小范圍。下面的程序就是一個典型的數(shù)組越界問題。pt是一個局部數(shù)組變量，其大小為4，p初始指向pt數(shù)組的起始地址，但在對p循環(huán)疊加后，p超出了pt數(shù)組的范圍，如果此時再對p進行寫操作，那么后果將不可預期。
結果分析：
假設這個文件名為badacc.cpp，生成的可執(zhí)行程序為badacc，用memcheck對其進行測試，輸出如下。
輸出結果顯示，在該程序的第15行，進行了非法的寫操作；在第16行，進行了非法讀操作。準確地發(fā)現(xiàn)了上述問題。
問題分析：
C 語言的強大和可怕之處在于其可以直接操作內存，C 標準庫中提供了大量這樣的函數(shù)，比如 strcpy, strncpy, memcpy, strcat 等，這些函數(shù)有一個共同的特點就是需要設置源地址 (src)，和目標地址(dst)，src 和 dst 指向的地址不能發(fā)生重疊，否則結果將不可預期。
下面就是一個 src 和 dst 發(fā)生重疊的例子。在 15 與 17 行中，src 和 dst 所指向的地址相差 20，但指定的拷貝長度卻是 21，這樣就會把之前的拷貝值覆蓋。第 24 行程序類似，src(x+20) 與 dst(x) 所指向的地址相差 20，但 dst 的長度卻為 21，這樣也會發(fā)生內存覆蓋。
結果分析：
假設這個文件名為 badlap.cpp，生成的可執(zhí)行程序為 badlap，用 memcheck 對其進行測試，輸出如下。
輸出結果顯示上述程序中第15，17，24行，源地址和目標地址設置出現(xiàn)重疊。準確的發(fā)現(xiàn)了上述問題。
問題分析：
常見的內存分配方式分三種：靜態(tài)存儲，棧上分配，堆上分配。全局變量屬于靜態(tài)存儲，它們是在編譯時就被分配了存儲空間，函數(shù)內的局部變量屬于棧上分配，而最靈活的內存使用方式當屬堆上分配，也叫做內存動態(tài)分配了。常用的內存動態(tài)分配函數(shù)包括：malloc, alloc, realloc, new等，動態(tài)釋放函數(shù)包括free, delete。
一旦成功申請了動態(tài)內存，我們就需要自己對其進行內存管理，而這又是最容易犯錯誤的。下面的一段程序，就包括了內存動態(tài)管理中常見的錯誤。
常見的內存動態(tài)管理錯誤包括：
申請和釋放不一致由于 C++ 兼容 C，而 C 與 C++ 的內存申請和釋放函數(shù)是不同的，因此在 C++ 程序中，就有兩套動態(tài)內存管理函數(shù)。一條不變的規(guī)則就是采用 C 方式申請的內存就用 C 方式釋放；用 C++ 方式申請的內存，用 C++ 方式釋放。也就是用 malloc/alloc/realloc 方式申請的內存，用 free 釋放；用 new 方式申請的內存用 delete 釋放。在上述程序中，用 malloc 方式申請了內存卻用 delete 來釋放，雖然這在很多情況下不會有問題，但這絕對是潛在的問題。
申請和釋放不匹配申請了多少內存，在使用完成后就要釋放多少。如果沒有釋放，或者少釋放了就是內存泄露；多釋放了也會產生問題。上述程序中，指針p和pt指向的是同一塊內存，卻被先后釋放兩次。
釋放后仍然讀寫本質上說，系統(tǒng)會在堆上維護一個動態(tài)內存鏈表，如果被釋放，就意味著該塊內存可以繼續(xù)被分配給其他部分，如果內存被釋放后再訪問，就可能覆蓋其他部分的信息，這是一種嚴重的錯誤，上述程序第16行中就在釋放后仍然寫這塊內存。
結果分析：
假設這個文件名為badmac.cpp，生成的可執(zhí)行程序為badmac，用memcheck對其進行測試，輸出如下。
輸出結果顯示，第14行分配和釋放函數(shù)不一致；第16行發(fā)生非法寫操作，也就是往釋放后的內存地址寫值；第17行釋放內存函數(shù)無效。準確地發(fā)現(xiàn)了上述三個問題。
問題描述：
內存泄露（Memory leak）指的是，在程序中動態(tài)申請的內存，在使用完后既沒有釋放，又無法被程序的其他部分訪問。內存泄露是在開發(fā)大型程序中最令人頭疼的問題，以至于有人說，內存泄露是無法避免的。其實不然，防止內存泄露要從良好的編程習慣做起，另外重要的一點就是要加強單元測試（Unit Test），而memcheck就是這樣一款優(yōu)秀的工具。
下面是一個比較典型的內存泄露案例。main函數(shù)調用了mk函數(shù)生成樹結點，可是在調用完成之后，卻沒有相應的函數(shù)：nodefr釋放內存，這樣內存中的這個樹結構就無法被其他部分訪問，造成了內存泄露。
在一個單獨的函數(shù)中，每個人的內存泄露意識都是比較強的。但很多情況下，我們都會對malloc/free 或new/delete做一些包裝，以符合我們特定的需要，無法做到在一個函數(shù)中既使用又釋放。這個例子也說明了內存泄露最容易發(fā)生的地方：即兩個部分的接口部分，一個函數(shù)申請內存，一個函數(shù)釋放內存。并且這些函數(shù)由不同的人開發(fā)、使用，這樣造成內存泄露的可能性就比較大了。這需要養(yǎng)成良好的單元測試習慣，將內存泄露消滅在初始階段。
結果分析：
假設上述文件名位tree.h, tree.cpp, badleak.cpp，生成的可執(zhí)行程序為badleak，用memcheck對其進行測試，輸出如下。
該示例程序是生成一棵樹的過程，每個樹節(jié)點的大小為12（考慮內存對齊），共8個節(jié)點。從上述輸出可以看出，所有的內存泄露都被發(fā)現(xiàn)。Memcheck將內存泄露分為兩種，一種是可能的內存泄露（Possibly lost），另外一種是確定的內存泄露（Definitely lost）。Possibly lost 是指仍然存在某個指針能夠訪問某塊內存，但該指針指向的已經不是該內存首地址。Definitely lost 是指已經不能夠訪問這塊內存。而Definitely lost又分為兩種：直接的（direct）和間接的（indirect）。直接和間接的區(qū)別就是，直接是沒有任何指針指向該內存，間接是指指向該內存的指針都位于內存泄露處。在上述的例子中，根節(jié)點是directly lost，而其他節(jié)點是indirectly lost。
本文介紹了valgrind的體系結構，并重點介紹了其應用最廣泛的工具：memcheck。闡述了memcheck發(fā)現(xiàn)內存問題的基本原理，基本使用方法，以及利用memcheck如何發(fā)現(xiàn)目前開發(fā)中最廣泛的五大類內存問題。在項目中盡早的發(fā)現(xiàn)內存問題，能夠極大地提高開發(fā)效率，valgrind就是能夠幫助你實現(xiàn)這一目標的出色工具。
轉自： https://www.ibm.com/developerworks/cn/linux/l-cn-valgrind/
新聞熱點
疑難解答
