Platform Ops Plane · 运维面
告警分级、升级批次、可用性口径,一页说清
这一页写给负责运维的同事:设备怎么注册与批量配置、告警怎么分级与收敛、值班与升级路径怎么走、固件升级怎么分批与回滚、可用性按什么口径统计。响应时限与赔付条款以合同附件为准,这里只讲机制。
设备注册与批量配置
上线一千台设备和上线十台设备,做法不一样。批量环节的关键是把模板、分组和校验前置,而不是靠人工逐台改。
设备注册
按序列号与产品型号注册,绑定证书与密钥,未注册设备不允许接入。注册信息与资产台账保持一致,退役设备置为归档状态。
配置模板
采集周期、上报策略、告警阈值与网络参数做成模板,同型号设备套用同一模板,避免逐台手改造成配置漂移。
批量导入与分组
支持表格批量导入设备与点位,导入前做类型、重复与量程校验;按区域、产线、班组打标签,作为告警路由与权限范围的依据。
配置变更留痕
模板与设备级配置的每次变更记录操作人、时间与前后值,支持回退到上一版配置。
批量操作先在小范围试点组执行,试点通过再推全量。涉及控制类点位写入权限的配置变更,需要走审批后执行。
告警分级与收敛
分级决定通知谁,收敛决定不被淹没。两者缺一,值班同事很快就会对告警脱敏。
| 级别 | 判定条件 | 通知方式 | 处理路径 |
|---|---|---|---|
| P0 业务中断 | 批量设备离线、关键控制链路不可用或安全联锁动作 | 电话加即时消息,同时通知双方值班人 | 立即响应,成立临时处置群,事后出具事件报告 |
| P1 功能受损 | 单区域数据中断、告警无法送达或升级任务大面积失败 | 即时消息加邮件 | 值班人认领并给出处置计划,必要时升级到研发 |
| P2 指标异常 | 单台设备离线、指标越限但业务未受影响、缓存水位偏高 | 即时消息与工单 | 按工单排期处理,纳入日报 |
| P3 提示 | 配置变更通知、证书到期提醒、版本发布公告 | 站内通知与邮件摘要 | 按计划处理,不占用值班响应 |
- 收敛规则:同源告警在抑制窗口内只保留一条并累计次数;被依赖设备的告警抑制下级派生告警;计划内维护窗口静默并标注原因。
- 值班与升级:值班表与联系方式在交付前由双方书面确认,升级路径为值班人、二线工程师、研发负责人三级,联系方式随交付文档归档。
- 响应时限:不同级别的响应与恢复时限写入合同附件,本页不写具体数字,避免出现没有依据的承诺。
- 告警质量复盘:每月统计误报与漏报,收敛规则与阈值随复盘结果调整,调整记录留痕。
升级编排:批次、观察窗口与回滚
升级不是点一次按钮。批次怎么分、观察多久、什么条件下自动回滚,都在升级单上写明。
- 批次划分:先内测组,再试点区域,最后全量。批次按区域或班组划分,同一批次内的设备型号与配置保持一致。
- 观察窗口:每批次设置观察窗口,窗口内的关键指标与失败率达标才进入下一批,未达标则暂停并排查。
- 失败判据:升级失败、升级后离线、关键指标越限达到约定条件时触发回滚,回滚动作可自动执行也可由值班人确认后执行。
- 版本台账:每台设备当前版本、目标版本、升级时间与结果全部记录,可按批次或型号查询,用于判断现场版本分布。
- 客户配合项:涉及本体固件、PLC 程序或需要断电的升级,需客户提供停机窗口,窗口时间在升级计划里提前一轮确认。
- 降级说明:不支持回滚的变更(如分区表或密钥格式变更)在升级单上单独标注,并在升级前说明不可逆的原因。
日志与审计
运维要能回答三个问题:谁改的、什么时候改的、改之前是什么。
人在平台上的动作
登录、配置变更、指令下发、权限调整、数据导出全部记入审计日志,含操作人、来源地址、时间与结果。
设备侧记录回传
设备与网关的运行日志按需回传,支持按时间范围与关键字检索,用于定位偶发故障与升级失败原因。
留存与调取
审计日志留存期限在交付文档中约定,支持按人员、时间与操作类型导出,供客户内审与外部审计使用。
可用性口径与状态页联动
口径不写清楚,99.9 和 99.99 就是两个说法。以下口径与平台状态页保持一致,状态页展示的是演示环境数据。
- 统计对象:接入网关、消息引擎、规则引擎、升级服务、管理控制台分别统计,不合并成一个数字。
- 统计窗口:按自然月统计,同时给出滚动窗口结果,避免单月波动被误读为长期水平。
- 排除项:计划内维护窗口、客户侧网络与供电中断、客户设备自身故障、不可抗力不计入可用性统计,排除项在事件记录中标注。
- 事件记录:达到约定影响程度的事件公开记录影响范围、持续时长、根因与整改动作,与状态页的历史事件保持一致。
- 数据来源:可用性由平台自身的拨测与业务指标计算,客户可要求提供计算口径说明与抽样明细。
租户与权限模型
多租户按数据范围隔离,权限按角色下发,控制类操作单独授权。
| 角色 | 可见范围 | 可执行操作 |
|---|---|---|
| 只读观察者 | 授权区域内的设备与数据 | 查看看板、查询历史数据、导出报表 |
| 运维工程师 | 授权区域内全部设备 | 设备注册、配置变更、告警处置、发起升级 |
| 值班人 | 值班时段内全部区域 | 告警认领、应急停机、通知升级下一级 |
| 集成开发者 | 授权设备的接口与调试通道 | 接口调试、点位核对、只读取数 |
| 租户管理员 | 本租户全部数据 | 账号与角色管理、权限审批、审计日志调取 |
控制类指令(写寄存器、下发任务、执行回滚)默认关闭,需租户管理员审批后按角色开放,并记录在审计日志中。跨租户访问一律拒绝,权限变更同样留痕。
运维面常见问题
告警会发到哪些渠道
升级失败会自动回滚吗
可用性数据能提供明细吗
我们自己的运维团队怎么接手
能不能只用你们的平台,不做运维托管
把你的运维边界说清楚,我们先回一版运维方案
提供设备规模、区域分布与值班模式,我们回一版告警分级建议、升级批次计划与交接培训安排草案。