1.
故障接收与初步判定
- 接到告警后先确认告警来源与时间(监控/用户/控制面板)
- 登记影响范围:具体IP、域名、机房(香港节点)、故障开始时间和业务影响(网站无法访问、接口超时等)
- 立即降低误报:检查监控是否为单点告警,尝试再次访问并用curl -v、浏览器开发者工具确认错误码。
2.
快速可达性检查(外网)
- 从本地或跳板机执行 ping -c4 <目标IP> 和 traceroute -n <目标IP>(或 tracert /pathping 在Windows)
- 记录丢包点和延时突增位置,若到达香港机房前就中断,可能为上游链路问题;如在机房内中断,继续下一步内网排查。
3.
通过控制面板或厂商控制台操作
- 登录云/机房控制台,查看节点状态、控制台输出、KVM或VNC是否能打开控制台界面
- 尝试软重启:通过控制台发送ACPI或执行重启指令;若无响应,进行强制重启/上电重启并记录时间。
4.
SSH与系统层面初步诊断
- 通过ssh root@IP尝试登录;若无法登录,用控制台进入救援模式或单用户模式
- 登录后先执行 uptime、who、free -m、df -h、top -b -n1 查看系统负载、内存、磁盘占用情况。
5.
查看日志确认服务错误
- systemctl status nginx|apache2|mysqld 查看服务状态;journalctl -u 服务名 -n200 查看最近日志
- /var/log/messages、/var/log/syslog、/var/log/nginx/error.log 等定位报错关键字(例如 bind: address already in use、OOM、segfault)。
6.
网络与防火墙细致排查
- ip a / ip route 查看网卡、路由是否异常;ethtool 查看链路状态;arp -n 检查MAC冲突
- 查看防火墙规则:iptables -L -n --line-numbers 或 nft list ruleset,临时允许所有流量测试:iptables -I INPUT 1 -p tcp -j ACCEPT(注意风险并在恢复后回滚)。
7.
Web/应用服务恢复步骤
- 检查配置语法:nginx -t 或 apachectl configtest;若证书问题导致HTTPS失败,查看 certbot certificates 并执行 certbot renew --dry-run
- 若服务启动失败,根据日志修复配置或依赖,最后 systemctl restart 服务并验证 curl http://127.0.0.1:端口。
8.
数据库与数据一致性排查
- 检查数据库进程:systemctl status mysqld 或 ps aux | grep mysql;查看错误日志(/var/log/mysql/error.log)
- 若数据库损坏,优先做文件级备份(cp、rsync或快照),然后按备份策略恢复(使用最近全量+增量备份或从异地从库切换为主库)。
9.
站群节点的故障切换与流量引导
- 若是单点节点故障,短期内通过DNS或负载均衡将流量切换到健康香港节点或其他机房:将DNS TTL预先调低到60s,再修改A/负载均衡配置
- 如使用Keepalived/HAProxy,检查VIP是否漂移,执行 systemctl restart keepalived 或 haproxy -f /etc/haproxy/haproxy.cfg;确认服务恢复后再提升TTL。
10.
与上游/机房协调与复盘
- 若疑为链路或BGP问题,立即联系带宽提供商/机房并提供traceroute、BGP looking glass截屏与监控时间线
- 故障恢复后撰写简短复盘:发生时间、根因、影响范围、采取措施和避免措施(如添加监控、调整备份与failover流程)。
11.
问:我如何判断是机房链路问题还是服务器自身故障?
- 答:通过外部 traceroute/ping 看到延时或丢包在机房之外多半为上游链路或BGP问题;若外网到达机房但端口不通、控制台无响应或服务日志显示应用错误,则偏向服务器或宿主机问题。控制台能否打开与是否能切换到救援模式是判断的重要一步。
12.
问:遇到数据库损坏,最安全的恢复顺序是什么?
- 答:先对当前数据做完整文件级快照或拷贝(避免二次损坏),再从最接近时间点的全量备份恢复,应用增量日志(binlog)到故障点,最后验证数据一致性并对外单独做比对确认再切换线上流量。
13.
问:如何在香港站群中减少单点故障风险?
- 答:采用多节点负载均衡、跨可用区或跨机房部署、降低DNS TTL、部署健康检查与自动切换(Keepalived/HAProxy/云LB)、定期演练故障恢复并保持异地备份与配置管理。以上措施能显著降低单节点故障对业务的影响。
来源:故障应对指南 服务器香港站群 常见问题与解决流程