【服務器數據恢復】硬盤壞道掉線導致服務器崩潰的數據恢復案例

服務器數據恢復環境：
一臺IBM某型號服務器上有16塊FC硬盤組建RAID陣列。上層linux操作系統，ext3文件系統，部署有oracle數據庫。

服務器故障&檢測：
服務器上跑的業務突然崩潰，管理員發現服務器上有2塊磁盤的指示燈顯示黃色。
通過IBM storage manager查詢服務器狀態，發現服務器報告邏輯卷狀態失敗。物理硬盤狀態為：一塊盤報告“警告”，指示燈顯示黃色的2塊盤報告“失敗”。通過IBM storage manager將當前服務器的日志完整備份。北亞企安數據恢復工程師在備份服務器日志的同時分析日志內容，獲取數據恢復所需要的邏輯卷信息。

服務器數據恢復過程：
1、將服務器中所有硬盤編號標記后從服務器內取出，由硬件工程師對所有硬盤進行硬件故障檢測，經過檢測發現16塊盤均可以讀取。針對16塊盤的SMART狀態進行檢測，經過檢測發現在IBM storage manager中報告“警告”的那塊盤的SMART狀態也報告為“警告”，結果一致。
2、在windows環境下將識別出來的FC盤在磁盤管理器中標記為脫機狀態，然后對這些磁盤進行扇區級別全盤鏡像，將原始磁盤中的所有物理扇區鏡像到windows系統下的邏輯磁盤并以文件形式保存。在鏡像過程中發現SMART狀態報告為“警告”的磁盤鏡像速度異常，windows環境下的一般應用軟件無法對其進行操作，結合前面的檢測結果可以判斷該盤應該存在損壞/不穩定的扇區。
3、使用專業硬盤鏡像設備對這塊SMART狀態報告為“警告”的磁盤進行鏡像，在鏡像過程中觀察發現該盤的壞道并不多，但是存在大量的讀取響應時間長的不穩定扇區，于是調整鏡像策略，修改“遇到壞道跳過扇區數”和“響應等待時間”等參數后繼續對該盤進行鏡像。
4、所有其他磁盤（除了SMART狀態報告為“警告”的磁盤）鏡像完成后，查看鏡像過程中生成的日志，發現在IBM storage manager和硬盤SMART狀態中均沒報錯的另外一塊磁盤中也存在壞道，指示燈顯示黃色的2塊盤也存在大量不規律的壞道分布，根據壞道列表定位到目標鏡像文件分析發現，ext3文件系統的一些關鍵源數據信息已經被壞道破壞，只能等待SMART狀態報告為“警告”的磁盤鏡像完畢后，通過同一條帶進行xor以及根據文件系統上下文關系手動修復被損壞的文件系統。
5、SMART狀態報告為“警告”的磁盤鏡像完成，但是之前為了最大限度做出有效扇區以及為了保護磁頭而設置的拷貝策略會自動跳過一些不穩定扇區，所以該盤的鏡像是不完整的。調整拷貝策略，繼續鏡像被跳過的扇區，直到該盤所有扇區全部鏡像出來。
6、將服務器中16塊硬盤的物理扇區鏡像完成后，在windows平臺下使用軟件將所有鏡像文件全部展開。經過對ext3文件系統的逆向分析以及對日志文件的分析，獲取到16塊FC盤的盤序，RAID的塊大小，RAID的校驗走向和方式等信息。
7、利用這些raid相關信息虛擬重組RAID，RAID重構完成后對ext3文件系統進行解析。
8、和用戶溝通后，數據恢復工程師提取出了一些oracle的dmp文件，由用戶嘗試進行恢復?；謴偷倪^程中oracle報告imp-0008錯誤。北亞企安數據庫工程師仔細分析導入dmp文件的日志文件，發現提取出來的dmp文件存在問題。
9、重新分析raid結構，進一步確定ext3文件系統被破壞的程度。又經過數小時的努力，北亞企安數據恢復工程師重新提取了dmp文件和dbf原始庫文件。將恢復出來的dmp文件移交給用戶進行導入，這次導入一切順利，沒有報錯。對恢復出來的dbf原始庫文件進行校驗，結果所有文件均通過測試。經過仔細核檢測后，用戶認可數據恢復結果，本次服務器數據恢復工作完成。

審核編輯 黃宇