TECS資源池上報存儲設備離線的問題處理

某資源池在運行過程中出現存儲設備離線告警，通過底層cinder service-list命令查看，確認存儲state為down狀態。

登錄控制節點虛擬機，執行source keystonerc_admin命令進入OpenStack環境，執行cinder service-list命令查看存儲狀態，如下圖所示。

?

當云平臺通過存儲管理面無法獲取存儲設備上報的狀態，則上報告警。

當云平臺能夠正常通過存儲管理面獲取存儲設備上報的狀態，則恢復告警。

存儲失去控制，磁陣不可用，存在如下3種情況：

存儲掉電。

網絡不通。

對接問題。

問題分析過程如下：

1.檢查存儲設備當前狀態是否正常。

通過登錄存儲設備管理頁面，檢查存儲設備告警信息，未發現異常內容。

2.檢查存儲網和管理網的連通性。

登錄控制節點虛擬機，通過Ping操作確認磁陣的管理網和存儲網的連通性，網絡正常，如下圖所示。





3.檢查控制節點虛擬機/var/log/cinder/volume.log日志，分析詳細原因。

通過volume.log日志檢查，原因為訪問的IP地址被鎖定，如下圖所示。需要登錄磁陣做詳細的安全日志檢查。

4.登錄磁陣頁面，檢查存儲側記錄的所有事件，記錄為連續多次登錄失敗，IP和賬號被鎖定5分鐘，循環登錄失敗并持續鎖定。

5.通過磁陣管理頁面解鎖IP和賬號鎖定。

6.觀察5分鐘，IP和賬號再次被鎖定，可能原因是密碼錯誤導致多次登錄失敗，繼而被鎖定。

1.登錄控制節點虛擬機，檢查/etc/cinder/cinder_huawei_conf_file_HW_IPSAN-1. xml配置，獲取用戶名和密碼的密文。 2. 在控制節點虛擬機下，執行如下命令解讀密文：

a.執行echo 'dGVjc19zdG9yYWdl'| base64 -d命令，得到對接賬號tecs_storage。

b.執行echo 'Z0s5WUltc3k5SmRJQ1JWWmpmSHdfcW5kU2JaQnZCbG0waEZlUUJUSXZFQ2c2NGNlNTAxZGIyMDAwODllY2Q0YzgyOA=='| base64 -dse64 -d命令，得到密文為gK9YImsy9JdICRVZjfHw_qndSbZBvBlm0hFeQBTIvECg64ce501db2308a21fee00089ecd4c828，需要再次解密。

c.執行python /usr/lib/python2.7/site-packages/oslo_config/aes.py decrypt gK9YImsy9JdICRVZjfHw_qndSbZBvBlm0hFeQBTIvECg64ce501db2308a21fee00089ecd4c828命令，得到對接密碼為kEYSTONE_2020。

3.登錄Daisy界面，在云配置→配置→存儲管理→存儲設備對接界面，更新磁陣的密碼。

4.登錄控制節點虛擬機在cinder-volume的服務節點，執行以下命令，重啟服務。

systemctl restart openstack-cinder-volume.service

5.執行source keystonerc_admin命令，進入OpenStack環境。

6.執行命令cinder service-list命令，查看存儲狀態。

7.總結及注意事項：

a.磁陣和平臺對接建議使用非admin用戶和密碼，避免定期修改密碼，影響對接。

b.修改磁陣的密碼時需要關注TECS側的影響。

c.由于輸入賬號的密碼是不可見的，需要確認輸入密碼的正確性，避免大小寫，特殊符號等問題。