cn2线路 日本故障应急预案与运营商联动流程解析

1. 故障监测与初步判断

- 监测工具：使用Zabbix/Prometheus/Observability+自建脚本，配置对日本出口的延迟、丢包、可达性（ICMP、TCP 443/80）阈值报警。
- 初判步骤：1) 查报警时间与影响范围；2) 运行traceroute/mtr到受影响目的IP；3) 在两端（国内出口与日本上游）同时采集ping与tcpdump样本。
- 输出资料：保存traceroute、MTR、tcpdump（5-10秒×3次）、BGP路由表快照（show ip bgp prefix）与告警截图，用于上报给运营商。

2. 故障确认（1次内核判断）

- 本地确认：确认是否为本地设备/配置导致（接口down、ACL、线路带宽耗尽）。检查ifconfig/ip addr、interface counters、CPU/Memory。
- 跨网确认：对比国内多个PoP到同一日本目标的延迟丢包，如果只在单链路或单上游出现，则为链路/上游故障。
- 记录时间戳（UTC/本地）、影响前后BGP变化（AS_PATH、NEXT_HOP），并生成故障ID（例如：CN2-JP-YYYYMMDD-001）。

3. 上报与与运营商联动第一步（工单与电话）

- 提交工单：在运营商NOC系统提交工单，标题包含故障ID、影响范围与优先级。正文附上traceroute、MTR截图、tcpdump文件、BGP路由快照、端口统计。
- 电话/钉钉/邮件：同时拨打NOC紧急热线并发送简短模板：故障ID、影响时间、受影响业务、请求紧急排查。保持单一联络人（CPE）与备份联系方式，记录通话记录与接线人员工号。

4. 运营商排查配合要点

- 需要运营商提供：链路物理状态、设备日志、邻链路BGP状态、光功率（OLT/ONU/光模块Rx/Tx）、是否有网络维护或光缆故障信息。
- 我方支持：按运营商要求提供更详尽的tcpdump、双向traceroute、路由表时间点对比。要求运营商给出预计修复时间（ETA）与应急临时方案。

5. 紧急切换策略（BGP层面实操）

- 预备工作：事先配置备份上游、备盘链路（同ASN或不同ASN），准备好route-map/communities用于临时优先级调整。
- 快速切换命令示例：① 降低故障链路local-preference：route-map set local-preference 50；② 提高备份链路local-preference至200；③ 对外发布/Withdraw特定前缀（withdraw慎用）。
- 切换流程：1) 在非高峰时先对单个前缀演练；2) 实时监控BGP收敛（show ip bgp summary）；3) 验证流量转向（netflow/sflow或tcpdump）。

6. 应急流量分流与DNS调整

- DNS负载：如使用Anycast或多A记录，可将流量从受影响节点移走（TTL须提前降低以加速生效）。
- 应急代理：若支持，可以临时启用HTTP反向代理/加速节点，将日本访问切换至其他亚洲节点。步骤：修改负载均衡策略->验证健康检查->下线受影响后端。
- 配置回滚策略：记录所有变更命令，写入变更单并留有回滚命令集合，回滚前二次确认影响。

7. 升级与沟通管理（SLA与升级路径）

- 升级触发条件：初报后30分钟无进展或ETA不明确，触发向运营商二线/三线升级并抄送客户/内部管理层。
- 沟通频率：首次上报后每15-30分钟更新一次，重要变更实时通报。保留沟通记录（邮件/聊天截图/会议纪要）。
- 客户通知模板：说明故障范围、影响业务、当前处置措施、预计影响时长及后续跟进人联系方式。

8. 故障恢复验证与复盘

- 验证：确认BGP收敛回正常路径、延迟/丢包恢复至基线、应用层服务无错误（日志无异常500/502）。使用自动化脚本周期性检测48小时。
- 复盘报告：包含故障时间线、根因分析、处置步骤、耗时节点、改进项（例如增加监测点、优化BGP策略、设立紧急联络SLA）。将复盘结果推送给运营商并约定改进计划。

9. 问：遇到日本CN2线路突发丢包，应优先做哪三件事？

问：遇到日本CN2线路突发丢包，应优先做哪三件事？

10. 答：优先确认并执行的三步

答：1) 在多点做traceroute/mtr确认是否为链路或上游问题；2) 立即提交带证据的紧急工单并电话通知运营商NOC；3) 启动预置的BGP切换或DNS/代理限流策略将流量引向备份链路或节点，确保业务可用。

11. 问：与运营商沟通时需提供哪些关键信息以加速定位？

问：与运营商沟通时需提供哪些关键信息以加速定位？

12. 答：必须提供的关键信息清单

答：故障ID、精确时间戳、受影响IP/前缀、traceroute/MTR结果、tcpdump样本、BGP路由快照、端口/光模块状态截图和影响范围（业务/客户）。这些信息能显著缩短排查时间。

13. 问：故障后如何避免同类问题再次发生？

问：故障后如何避免同类问题再次发生？

14. 答：三项长期改进建议

答：1) 增加多上游和地理冗余，设定自动切换BGP策略；2) 优化监测策略与自动告警、降低DNS TTL以便快速切换；3) 与运营商签订明确SLA与定期演练，建立故障演练机制与定期复盘。

来源：cn2线路 日本故障应急预案与运营商联动流程解析