故障恢复：一次底层超融合故障导致的异常处理

墨墨导读：底层超融合故障导致数据库产生较多坏块，最终导致数据库宕机。

背景概述

某客户数据由于底层超融合故障导致数据库产生有大量的坏块，最终导致数据库宕机，通过数据抢救，恢复了全部的数据。

下面是详细的故障分析诊断过程，以及详细的解决方案描述：

故障现象

数据库宕机之后，现场工程师开始用rman备份恢复数据库，当数据库alert日志提示控制文件有大量坏块。

并且提示无法访问在线日志。

恢复过程

客户只restore了数据，通过编写脚本recover数据库。

recover失败提示控制文件有坏块

发现控制文件已经损坏，开始重建控制文件

然后重新recover database

发现归档也居然有损坏，通过allow 10 corruption处理。

export ORACLE_SID=****rman target / nocatalog log=/app/backup/data/rman_reover_`date +%Y%m%d-%H%M%S`.log <<EOFrun {allocate channel c1 type disk;allocate channel c2 type disk;allocate channel c3 type disk;allocate channel c4 type disk;allocate channel c5 type disk;allocate channel c6 type disk;recover database  allow 10 corruption; --允许10个坏块release channel c1;rele