談到當前業界使用最廣泛、最好的RAS商用解決方案,那么必定是Intel公司。從廣泛上來說,大部分公司使用的x86服務器,首選Intel;從RAS能力來說,Intel CPU的MCA架構,從故障檢測、故障上報、故障恢復等層面功能都非常完善。所以筆者認為,想要學習Linux RAS,那么Intel CPU手冊中MACHINE-CHECK ARCHITECTURE章節和對應的Linux arch/x86/kernel/cpu/mce目錄相關代碼將是非常好的入門學習資料。
MCA介紹
MCA(Machine Check Architecture)是Intel Xeon,Intel Atom和P6 family系列Processors支持的硬件錯誤檢測、上報機制,硬件錯誤包括system bus errors,ECC errors,parity errors,cache errors and TLB errors。
從硬件層面看,MCA通過一些MSR(Model Specific Register)來實現檢測、記錄錯誤信息等功能。它包含了一組Global Control MSRs和多組Error-Reporting Bank Registers(Each Hardware Unit)記錄和上報硬件錯誤。如下圖:
關于這一點,很多人開始都不太理解,也被問過多次。通過下面圖可以很清楚的理解:
Intel把各個Processor內硬件以bank為單位分組,每個bank涉及多個硬件,共用一組error-reporting register。這個劃分并不是隨便的、雜亂的,反而是非常規整的。
MCA故障分類
Intel將Hardware Error分類以及行為如下:
?CE(Corrected Error):指硬件自行恢復的故障,通常也會通知軟件,軟件讀取Status寄存器記錄故障信息;
?Fata Error:指嚴重的硬件錯誤,比如Processor 電源故障,Memory Control嚴重故障等。此類故障發生后,Intel芯片會直接掛起所有CPU,服務器掛死,不會通知到OS;
?UCE(Uncorrected Error):硬件無法自行恢復的故障。在Intel MCA架構下,此類錯誤是MCi_STATUS寄存器PCC bit為1,表示Processor可能已經被故障損壞,同時重啟Processor也不可靠。軟件會根據此信息主動Panic;
?UCR(Uncorrected Recoverable) Error:硬件無法自行恢復,但軟件可以采取某些行為修復的錯誤;
至于UCNA、SRAO、SRAR在講MCA Recovery機制時再細講。
當然上述分類并不是絕對的,只能算是最全面的分類。比如Intel將PCIe Device的RAS故障只分為UCE和CE,這是因為Pcie連接外設一般是非核心硬件,比如USB、磁盤、網卡等。這些組件發生UCE后,都會通知到OS嘗試修復。
Machine-Check Global Control寄存器組
Machine-Check Global Control MSRs是一組全局寄存器,用于Machine-Check的配置、狀態顯示等,包括IA32_MCG_CAP/IA32_MCG_STATUS/IA32_MCG_CTL/IA32
_MCG_EXT_CTL寄存器。
IA32_MCG_CAP MSR
IA32_MCG_CAP MSR是只讀寄存器,表示當前Processor擁有的MCA的能力。
Count field, bits 7:0:表示某Processor支持Hardware unit error-reporting banks的數量;
MCG_CTL_P (control MSR present) flag, bit 8:MCG_CTL MSR有效位;
MCG_EXT_P (extended MSRs present) flag, bit 9:MCG_EXT_CTL有效位;
MCG_CMCI_P (Corrected MC error counting/signaling extension present) flag, bit 10:表示當發生一個CE或CE個數超過閾值后,是否通過CMCI中斷通知錯誤;
MCG_TES_P (threshold-based error status present) flag, bit 11:當Set時,表示IA32_MCi_STATUS MSR的54:53用來上報threshold-based error狀態;
MCG_EXT_CNT, bits 23:16:表示extended machine-check state registers個數,僅當MCG_EXT_P set時有效;
MCG_SER_P (software error recovery support present) flag, bit 24:當Set時,表示Processor支持software error recovery,同時IA32_MCi_STATUS MSR的56:55位提供uncorrected recoverable errors信息,以及判斷軟件是否需要task recovery actions來進行恢復。IA32_MCi_STATUS MSR的56:55位是AR和S位,可以對UER進行分類;
MCG_EMC_P (Enhanced Machine Check Capability) flag, bit 25:當Set時,表示Processor支持MCA增強特性;
MCG_ELOG_P (extended error logging) flag, bit 26:當Set時,Processor允許firmware接收硬件錯誤并將bank寄存器信息記錄在ACPI的“Generic Error Data Entry”。這樣MCA就可以改為Firmware First并兼容APEI上報方式。
MCG_LMCE_P (local machine check exception) flag, bit 27:是否支持Local Machine Check Exception (LMCE)。當Set后,IA32_MCG_STATUS 的LMCE_S位有效;
Linux內核中使用舉例(v6.3,arch/x86/kernel/cpu/mce/core.c)
C++
|
這段cap init代碼即開始讀取MCG_CAP寄存器的Count field, bits 7:0,獲取Banks數量,MCG_BANKCNT_MASK定義在mce.h
#define MCG_BANKCNT_MASK 0xff /* Number of Banks */
IA32_MCG_STATUS MSR
IA32_MCG_STATUS MSR描述的是machine-check exception發生后的當前Processor狀態。
RIPV (restart IP valid) flag, bit 0:當set時,表示machine-check exception發生后程序是否還可以從異常打斷后的指令處重新可靠的執行;當clear時,表示程序無法可靠地從instruction pointer處重新執行;
EIPV (error IP valid) flag, bit 1:當set時,表示machine-check exception和當前instruction pointed有直接關聯。當clear時,表示instruction pointed與錯誤無關;
MCIP (machine check in progress) flag, bit 2:當set時,表示當前machine-check exception正在處理中。軟件可以設置或清除此標志位。
LMCE_S (local machine check exception signaled), bit 3:當set時,表示當前的machine-check event被當前Processor捕獲和處理。這個bit很有意思,intel以前的cpu,machine-check event可以上報到其他Processor,當前處理的Processor需要遍歷所有Banks來找到真正的machine-check even。這個機制對于同步MCE來說非常不友好,后面icelake或arm64,都是自動報到local cpu,省去了很多不必要的麻煩,代碼也更簡潔。
Linux內核中使用舉例(v6.3,arch/x86/kernel/cpu/mce/core.c)
C++
|
這里代碼在發生UCE后MCE的處理函數do_machine_check()中,通過MCG_STATUS_LMCES確定故障是否是local machine check。
IA32_MCG_CTL MSR
控制machine-check exceptions的上報,寫1使能machine-check特性。
IA32_MCG_EXT_CTL MSR
LMCE_EN (local machine check exception enable) flag, bit 0:LMCE功能的使能位。
Error-Reporting Register Banks寄存器組
每個error-reporting register bank包括IA32_MCi_CTL, IA32_MCi_STATUS, IA32_MCi_ADDR, and IA32_MCi_MISC MSRs。
IA32_MCi_CTL MSRs
IA32_MCi_CTL控制每個bank發生硬件錯誤時產生的#MC信號。
IA32_MCi_STATUS MSRS
每個IA32_MCi_STATUS MSR包含了machine-check error的信息。這個寄存器是比較重要的,包含了硬件錯誤的故障類型信息等,Linux主要通過這個寄存器對故障進行分類并采取相應的Action。
MCA (machine-check architecture) error code field, bits 15:0:MCA架構定義的Error Code,內部包含了詳細的錯誤信息,比如錯誤發生硬件、觸發原因等。下面會單獨將MCA Error Codes;
Model-specific error code field, bits 31:16:MCA架構定義的model-specific error code;
Reserved, Error Status, and Other Information fields, bits 56:32:Error Status和Other Information區域。這些bit包含了更多錯誤信息,比如UCE的錯誤類型等等。
PCC (processor context corrupt) flag, bit 57:當Set時,表示Processor可能已經被故障損壞,同時重啟Processor也不可靠。當Clear時,表示錯誤并未影響到Processor狀態,并且軟件可以采取recovery actions隔離、恢復故障;
ADDRV (IA32_MCi_ADDR register valid) flag, bit 58:ADDR有效位,當Set時,IA32_MCi_ADDR包含了錯誤發生的物理地址。這個寄存器僅當Memory、Cache data、TLB data發生錯誤時才會寫入物理地址;
MISCV (IA32_MCi_MISC register valid) flag, bit 59:當Set時,表示IA32_MCi_MISC寄存器內包含了附加的錯誤信息。當Clear時,不要讀取IA32_MCi_MISC寄存器信息;
EN (error enabled) flag, bit 60:對應IA32_MCi_CTL register使能位;
UC (error uncorrected) flag, bit 61:當Set時,表示Processor硬件無法恢復這個硬件故障。即UCE;當Clear時,表示Processor可以糾正這次錯誤,即CE;
OVER (machine check overflow) flag, bit 62:當Set時,表示前一次錯誤還在上報、處理過程中時又發生了硬件錯誤,即多次machine error同時發生;
VAL (IA32_MCi_STATUS register valid) flag, bit 63:IA32_MCi_STATUS寄存器信息是否有效;
Linux內核中使用舉例(v6.3,arch/x86/kernel/cpu/mce/severity.c)
C++
|
Intel服務器在mce_severity_intel()函數中
?通過MCI_STATUS_UC=0確定發生CE類型故障;
?通過MCI_STATUS_UC=1,MCI_UC_AR=1確定發生AO類型故障;
IA32_MCi_ADDR MSRs
當IA32_MCi_STATUS的ADDRV位設置后,IA32_MCi_ADDR MSR表示硬件故障的code或data地址信息:The address returned is an offset into a segment, linear address, or physical address. This depends on the error encountered.
Linux內核中使用舉例(v6.3,arch/x86/kernel/cpu/mce/core.c)
C++
|
MCE驅動代碼中,通過mce_rdmsrl(mca_msr_reg(i, MCA_ADDR))函數讀取MCA_ADDR計算內存故障的物理地址。
IA32_MCi_MISC MSRs
如果IA32_MCi_STATUS寄存器的MISCV標志位Set時,IA32_MCi_MISC MSR包含了附加的machine-check error信息。
Recoverable Address LSB (bits 5最低地址有效位。比如IA32_MCi_MISC是01001b,十進制是9,那么故障地址的bits [8:0]需要忽略。
Address Mode (bits 8IA32_MCi_ADDR的地址模式,如下圖
Model Specific Information (bits 63 Not architecturally defined.
IA32_MCi_CTL2 MSRs
IA32_MCi_CTL2 MSR描述了進程使用CE的通知能力。
Corrected error count threshold, bits 14:0:軟件必須初始化這個區域。描述CMCI(corrected machine-check error interrupt)觸發的CE閾值,即corrected error數量達到閾值會觸發CMCI信號;
CMCI_EN (Corrected error interrupt enable/disable/indicator), bits 30:CMCI使能位
本篇主要對Intel MCA機制、Global Control MSR/Error-reporting Register Bank進行介紹。了解上述2組寄存器,對MCA硬件有個大概的了解,后續會結合內核介紹MCA的增強功能。
參考文檔:《Intel 64 and IA-32 Architectures Software Developer’s Manual 》
-
cpu
+關注
關注
68文章
10512瀏覽量
207268 -
intel
+關注
關注
19文章
3456瀏覽量
184988 -
MCA
+關注
關注
0文章
9瀏覽量
9141
原文標題:RAS(二)Intel MCA初探
文章出處:【微信號:LinuxDev,微信公眾號:Linux閱碼場】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論