《Oracle 10G RAC EM无法监控节点状态》
一、引言
Oracle Real Application Clusters（RAC）作为企业级高可用解决方案，通过多节点共享存储架构实现负载均衡与故障自动转移。Enterprise Manager（EM）作为Oracle数据库的核心管理工具，提供了对RAC集群的集中监控能力。然而，在实际运维过程中，EM监控RAC节点状态时可能遇到节点显示为"Down"或状态无法更新的异常情况。本文将系统分析该问题的根源，并提供从基础排查到深度修复的完整解决方案。
二、问题现象与影响
典型故障表现为：
1. EM控制台中RAC集群的某个或多个节点显示为红色叉号状态
2. 节点状态长时间停留在"Starting"或"Stopping"过渡态
3. 监控指标（CPU使用率、I/O等待等）数据缺失
4. 告警日志中出现"Node Unreachable"或"CRS Communication Error"等错误
此类问题会导致：
1. 运维人员无法及时获取节点真实状态
2. 自动故障转移机制可能被误触发
3. 性能分析数据不完整影响容量规划
4. 合规审计时监控记录缺失
三、问题诊断框架
（一）基础环境检查
1. 网络连通性验证
# 节点间ping测试
ping -c 5 rac-node2
# 端口连通性检查（默认1521/5500）
telnet rac-node2 1521
telnet rac-node2 5500
# 集群互连验证
ocrcheck
crsctl check crs
2. 集群资源状态检查
crsctl stat res -t
# 正常输出示例：
NAME TARGET STATE SERVER STATE_DETAILS
ora.LISTENER.lsnr ONLINE ONLINE rac-node1 STABLE
ora.cssd.cs ONLINE ONLINE rac-node1 STABLE
ora.evmd.evm ONLINE ONLINE rac-node1 STABLE
3. EM代理状态检查
emctl status agent
# 正常输出应包含：
Agent Version : 10.2.0.5.0
OMS Version : 10.2.0.5.0
Protocol Version : 10.2.0.5.0
Agent Home : /u01/app/oracle/product/10.2.0/agent10g
Agent Binaries : /u01/app/oracle/product/10.2.0/agent10g
（二）日志分析
1. 集群资源日志
# CSS日志（集群同步服务）
tail -100f $GRID_HOME/log/rac-node1/cssd/ocssd.log
# CRS日志（集群就绪服务）
tail -100f $GRID_HOME/log/rac-node1/crsd/crsd.log
# EVM日志（事件管理）
tail -100f $GRID_HOME/log/rac-node1/evmd/evmd.log
2. EM代理日志
# 代理主日志
tail -200f $AGENT_HOME/sysman/log/emagent.trc
# 采集日志
tail -100f $AGENT_HOME/sysman/log/emagent_perl.trc
# 上传日志
tail -100f $AGENT_HOME/sysman/log/emgc_oma.trc
3. 数据库监听日志
tail -100f $ORACLE_HOME/network/log/listener.log
（三）常见故障模式
1. 网络分区（Network Partition）
现象：部分节点间通信中断，但节点本地运行正常
诊断：
# 检查GES（全局枚举服务）状态
crsctl check ges
# 检查网络接口状态
ifconfig -a
# 检查多播配置
cat /etc/modules.conf | grep ip_conntrack
2. 资源心搏超时
现象：cssd进程频繁重启，日志中出现"Heartbeat failed"
解决方案：
# 调整心搏参数（需在所有节点执行）
crsctl set css miscount 10
crsctl set css disktimeout 300
3. EM代理配置错误
现象：代理状态显示为"Agent Unreachable"
修复步骤：
# 1. 停止代理服务
emctl stop agent
# 2. 清除代理缓存
rm -rf $AGENT_HOME/sysman/emd/upload*
rm -rf $AGENT_HOME/sysman/emd/state*
# 3. 重新注册代理
emctl config agent getcredentials
emctl secure agent
# 4. 启动代理
emctl start agent
四、深度解决方案
（一）网络优化方案
1. 调整TCP参数
# 在/etc/sysctl.conf中添加：
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_keepalive_intvl = 60
# 应用配置
sysctl -p
2. 绑定专用网络接口
# 修改cssd配置文件
vi $GRID_HOME/srvm/admin/network.conf
# 添加绑定参数
CSSD_INTERFACE=eth1
# 重启CSSD服务
crsctl stop crs
crsctl start crs
（二）集群资源修复
1. 重建投票磁盘
# 备份当前OCR配置
ocrconfig -export /tmp/ocr_backup.ocr
# 删除现有投票文件
crsctl delete css votedisk
# 创建新投票文件（需指定3个不同存储路径）
crsctl create css votedisk /dev/raw/raw1 /dev/raw/raw2 /dev/raw/raw3
2. 修复损坏的集群资源
# 导出资源配置
crsctl export config -f /tmp/crs_config.crf
# 修复特定资源（以LISTENER为例）
crsctl stop res ora.LISTENER.lsnr -f
crsctl delete res ora.LISTENER.lsnr
crsctl add res ora.LISTENER.lsnr -t LISTENER -o "$ORACLE_HOME/bin/lsnrctl" -m "START" -n "LISTENER" -s "UP"
（三）EM监控增强
1. 调整监控频率
# 修改收集指标间隔（单位：秒）
emctl config agent addmetricconfig \
oracle_database \
-m "DB Node Availability" \
-c "collection_interval=60"
2. 启用详细日志
# 在$AGENT_HOME/sysman/config/emd.properties中修改：
logger.level=DEBUG5
# 重启代理生效
emctl stop agent
emctl start agent
五、预防性维护策略
1. 定期健康检查脚本
#!/bin/bash
# RAC健康检查脚本
GRID_HOME=/u01/app/oracle/product/10.2.0/grid
LOG_FILE=/tmp/rac_health_check.log
echo "===== RAC Cluster Status Check =====" >> $LOG_FILE
date >> $LOG_FILE
$GRID_HOME/bin/crsctl check crs >> $LOG_FILE
echo "===== Node Connectivity Test =====" >> $LOG_FILE
for node in node1 node2; do
ping -c 3 $node >> $LOG_FILE 2>&1
if [ $? -ne 0 ]; then
echo "WARNING: $node ping failed" >> $LOG_FILE
fi
done
echo "===== CSSD Log Analysis =====" >> $LOG_FILE
$GRID_HOME/bin/crsctl check cssd >> $LOG_FILE
tail -20 $GRID_HOME/log/`hostname`/cssd/ocssd.log | grep -i error >> $LOG_FILE
echo "===== EM Agent Status =====" >> $LOG_FILE
$GRID_HOME/../agent10g/bin/emctl status agent >> $LOG_FILE
2. 监控指标阈值配置
# 设置节点不可用告警阈值（单位：分钟）
emctl config agent addthreshold \
oracle_database \
-m "DB Node Availability" \
-t "CRITICAL" \
-c "threshold=5"
3. 自动修复机制
# 创建自动重启脚本
vi /etc/cron.d/rac_monitor
*/5 * * * * root /u01/scripts/check_rac_node.sh
# 脚本内容示例：
#!/bin/bash
NODE_STATUS=$($GRID_HOME/bin/crsctl stat res ora.${HOSTNAME}.db -n | grep STATE | awk '{print $3}')
if [ "$NODE_STATUS" != "ONLINE" ]; then
$GRID_HOME/bin/crsctl start res ora.${HOSTNAME}.db -f
# 发送告警邮件
echo "RAC Node ${HOSTNAME} auto-restarred at $(date)" | mail -s "RAC Node Recovery" admin@example.com
fi
六、案例分析
（一）案例1：网络设备故障导致监控中断
现象：EM控制台显示rac-node2状态为"Down"，但节点本地crsctl检查状态正常
诊断过程：
1. 在rac-node1执行：
ping rac-node2 # 成功
telnet rac-node2 5500 # 失败
2. 检查节点间防火墙设置：
iptables -L -n | grep 5500
# 发现5500端口被DROP
解决方案：
# 修改防火墙规则
iptables -A INPUT -p tcp --dport 5500 -j ACCEPT
service iptables save
（二）案例2：EM代理版本不兼容
现象：升级数据库补丁后，EM无法监控新节点
诊断过程：
# 检查代理版本
emctl version
# 发现代理版本（10.2.0.4）低于数据库版本（10.2.0.5）
解决方案：
# 1. 下载对应版本的代理软件
# 2. 停止现有代理
emctl stop agent
# 3. 备份原代理目录
mv $AGENT_HOME $AGENT_HOME.bak
# 4. 安装新版本代理
unzip agent10g_10205.zip -d $AGENT_HOME
# 5. 重新配置代理
emctl config agent addtarget \
-d "rac_cluster:RAC_CLUSTER" \
-t "oracle_rac" \
-name "rac_cluster"
七、总结与建议
1. 建立分层监控体系：
基础层：节点级进程监控（cssd/crsd/evmd）
中间层：集群资源状态监控
应用层：数据库服务可用性监控
2. 实施监控数据备份策略：
# 定期备份EM仓库
emctl exportconfig oms -dir /backup/em_config
# 备份集群配置
ocrconfig -export /backup/ocr_export.ocr
3. 制定应急响应流程：
Level 1：5分钟内检查基础网络连通性
Level 2：15分钟内分析集群日志
Level 3：30分钟内执行恢复操作
关键词：Oracle 10G RAC、Enterprise Manager、节点监控、集群资源、网络分区、心搏超时、EM代理、故障诊断
简介：本文深入分析了Oracle 10G RAC环境中Enterprise Manager无法监控节点状态的典型问题，从网络连通性、集群资源状态、EM代理配置三个维度构建诊断框架，提供了包括日志分析、参数调整、脚本修复在内的系统解决方案，并给出预防性维护策略和真实案例分析，帮助DBA快速定位和解决RAC监控故障。
