Linux系統“死機”時解決方法
2020-10-28 18:51:07
供稿：網友
如果問題能夠再現，那么問題已經解決 80% 了。對于操作系統核心而言，如果有問題的再現方法，那么可以說是已經解決 99% 了。經常遇到的問題是系統可以正常運行一段時間，然后死機。如果不好再現問題，那么只有根據死機現場遺留的東西來進行分析了。
如果系統沒有死干凈，比如磁盤中斷和文件系統是好的，那么也許能有日志信息保留在文件中，不過這樣的好運氣我是從來沒有遇到過的。如果鍵盤中斷還能響應 (按下Num Lock，可以看見鍵盤小燈亮滅)，那么運氣就算是足夠好了，這時可以祭出 sysrq 大法，同時按下 Alt-Sysrq-T 獲得進程系統堆棧信息，按下 Alt-Sysrq-M 獲得內存分配信息，按下 Alt-Sysrq-W 獲得當前寄存器信息。
linux/Documentation/sysrq.txt。另外，最好關閉終端的自動 blank 功能，這樣系統死的時候至少能從屏幕上看到一些信息。設置方法是：
# echo 1 > /proc/sys/kernel/sysrq
# setterm -blank
這兩個設置最好加到系統啟動腳本中 (比如 /etc/rc.d/rc.local)，保證每次啟動都能得到運行。
如果很不幸，鍵盤也死悄悄了，(更為不幸的是，這種情況很常見)，那么也不是只有等死一個辦法，這時可以用串口終端 (serial console)將系統信息發送
到另一臺系統上，這樣可以通過對這些信息分析來定位問題。設置方法如下：
準備工作
1. 一臺被監視的服務器，一臺進行監視工作的PC。
2. 一根串口直連線。
配置
1. 在服務器上，加入一個新的 grub 項目，增加核心參數 "console=ttyS0 console=tty1"，如：
kernel /boot/vmlinuz-2.4.21-9.30AXsmp ro root=LABEL=/1 console=ttyS0
console=tty1
2. 在服務器上，修改 /etc/sysconfig/syslog，加入 klogd 選項 "-c 7"，保證更多內核信息得到輸出。如：
KLOGD_OPTIONS="-x -c 7"
3. 重新啟動服務器
4. 用串口直連線連接兩臺機器，測試：
1) 在PC上運行 "cat /dev/ttyS0"，在服務器上運行 "echo hi > /dev/ttyS0"，看在 PC 上是否有 "hi" 輸出。
2) 在PC上運行 "cat /dev/ttyS0"，在服務器上運行 "echo w > /proc/sysrq-trigger"，看 PC 上是否有相應內核信息輸出。
3) 在PC上運行 "cat /dev/ttyS0"，在服務器上運行 "modprobe loop"，看 PC 上是否有相應內核信息輸出。
5. 如果測試通過，那么在 PC 上運行:cat /dev/ttyS0 | tee /tmp/result
另外，也可以用 Windows 超級終端獲得串口信息。
that's it.
此外，一些核心支持 LKCD, netdump 等調試功能，也可以一試。
剩下的，就只有靠經驗和運氣了，一般造成 Linux 系統死機的原因有：
系統硬件問題 (SCSI 卡，主板，RAID 卡，網卡，硬盤...)
外圍硬件問題 (終端切換器，網絡...)
軟件問題
驅動 bug (去找更新的驅動試試)
核心系統 bug (去 LKML 上看看，或換個核心試試)
系統設置
最后，google一把。有時候你可以直接輸入 "Linux 系統死機怎么辦？"
PE6650 經常死機"，看有沒有人遇到過和你同樣的問題。即使沒有找到，也是一個有助于分析問題的信息，至少說明你的系統可能有和其他人不同之處。
調查 Linux 系統死機問題，這既是科學又是藝術，牽扯到眾多的硬件軟件知識和經驗，是一個不斷學習的過程
