故障、告警和事件
当 Flashduty On-call 接收到告警事件(比如 Zabbix 的一条告警通知),系统会自动触发一条告警,而这条告警将会触发一条故障。多条相似的活跃告警,可能会被聚合到同一条故障中,一起分派、通知和处理。 我们可以简单的理解为:故障,是相似告警的组合,在没有降噪的情况下,故障等同于告警。反过来,降噪的场景下,故障等同于其关联的多条告警。关于告警的降噪模型,请阅读了解告警降噪了解更多。故障严重程度、状态和进度
严重程度
故障、告警和事件,均使用以上三种严重程度。严重程度首字母大写,您在使用 API 时需要特别注意。三者的严重程度生成规则如下:
- 事件的严重程度:不同集成来源(如 Zabbix 和夜莺)的告警事件有不同的严重程度枚举值,Flashduty On-call 会按照一定规则映射为以上三种标准严重程度。具体映射关系,请您参阅具体集成的接入文档,如需自定义严重程度,请参阅告警处理。
- 告警的严重程度:等于所关联的事件中最高级别的严重程度。随着新事件持续合入,告警严重程度只会随之升级到最差级别,不会因合入低级别事件而降低。
- 故障的严重程度:等于所关联的告警中最高级别的严重程度。
处理进度
API 字段中处理进度使用大写枚举值
Triggered / Processing / Closed,在调用 API 或配置过滤条件时请使用该原始值。
故障状态
故障的状态由其关联的告警在原始监控系统中的状态决定,分为“已恢复”和“未恢复”。故障自动恢复将导致(处理进度)自动关闭;但手动关闭故障,对故障的状态没有任何影响。
故障标签
标签(Labels)是 Flashduty On-call 中很重要的一个基础概念,不同的标签描述了告警、故障在不同维度的信息,并被大量应用于过滤、检索、聚合等场景。标签生成规则
告警的标签提取自原始告警系统上报过来的事件消息体。不同来源的提取方式不同,总体原则是 应取尽取。例如,对于 Prometheus 来源的告警事件,Flashduty On-call 会提取 Payload 中的 Labels 和 Annotations。 Flashduty On-call 提供了标签增强方案,用于自动化生成标签,前往配置标签增强了解更多。系统标签
平台内部使用的标签(名称以__ 开头,如 __alert_rule_id)归入单独的 系统标签 分区,默认收起。
- 标签面板标题右侧的 显示系统标签 / 隐藏系统标签 按钮用于展开或收起该分区,仅当存在系统标签时出现。该选择保存为个人偏好,Web 端和移动端共用
- 收起时,JSON 视图 和复制出的 JSON 不含系统标签。系统标签不参与拖拽排序
- 标题旁的数字是标签总数,包含系统标签
- 悬停 Monit 告警的系统标签,会显示中文说明卡片(告警规则、数据源、触发时的值和查询语句等),并提供跳转
标签值展示
链接标签留在标签列表里。部分标签值会做特殊渲染。 由 RUM 告警聚合而成的故障,悬停issue_id 的值会弹出 RUM Issue 卡片,点击卡片里的链接打开对应 Issue。Monitors 实体树告警的 __entity_alert_rule_id 旁显示 查看规则,打开实体树中对应的告警规则。标签值无效或定位信息不完整时,只显示为普通文本。
标签值的特殊渲染:
超过两行的值会折叠,点击 查看全部 / 收起 展开;图片和查询语句不折叠。
故障生命周期
1
触发新故障
故障可以通过以下方式触发:
- 自动触发:Flashduty On-call 接收到集成上报的告警事件(如 Zabbix 通知),事件自动触发一条告警,告警自动触发一条故障
- 手动触发:在 Flashduty On-call 控制台点击 创建故障 按钮,填写标题、描述、严重程度等信息,触发一条新故障
- 外部提报:开启外部提报功能后,外部人员可通过专属链接提交故障工单,无需登录 Flashduty 账号。详见外部故障提交
2
分派与通知
新故障触发以后,Flashduty On-call 将依次匹配所属协作空间下的分派策略。匹配到分派策略之后,系统会将故障分派给个人、团队成员或者值班人员并进行通知。您可以针对不同时间段,或者不同类型的故障设置不同的分派策略,以达到灵活分派的效果。系统允许您在一个分派策略下,设置多个分派环节。如果当前环节的分派人员,在指定时间内,没有完成故障的确认和处理,系统将自动升级到下一环节。您可以在分派策略中,灵活安排通知方式,Flashduty On-call 支持非常多的群聊和单聊通知通道。单聊是一对一的推送渠道(如语音、短信和邮件),群聊是将消息推送到消息群中(如飞书、钉钉和 Slack),并对分派人员进行额外提醒。
如果您将故障分派给了一个没有人 On-call 的值班表(轮空),系统将不会给任何个人发起通知,但如果您配置了群聊通道,仍然会给该群聊推送消息。
3
认领和解决
On-call 人员收到通知后,可以立即进行认领。您可以在 语音电话、即时消息 中认领故障。认领后,故障处理进度将变为 处理中。关闭故障 将导致处理进度变为 已关闭。如果故障关联的告警全部恢复,且协作空间开启了 跟随告警关闭,故障将自动关闭。相反,如果您手动关闭了故障,将导致故障关联的所有告警自动关闭。这意味着,这些告警将不会再合入任何新的事件。
故障时间线
任一故障都有一个时间线,用于回溯故障历史不同时刻发生的变化和操作。比如故障在什么时间点,以什么通道通知到了谁,以及通知的结果。 时间线中的每条记录默认显示完整的日期时间(YYYY-MM-DD HH:mm:ss),鼠标悬停时切换为相对时间(如「3 分钟前」)。
触发故障
通过集成触发故障
Flashduty On-call 已经支持大部分常见监控系统,包括 Prometheus、Zabbix、夜莺 以及云监控等,前往告警集成查看具体操作步骤。通过 API 触发故障
Flashduty On-call 提供了一个自定义事件标准,允许您通过标准协议上报告警,适用于任何未适配的监控系统。详细文档请阅读自定义告警事件。通过邮件触发故障
Flashduty On-call 提供了一个邮件集成,允许您通过发送邮件来上报告警,适用于所有支持邮件提醒的监控系统。详细文档请阅读邮件集成指引。通过控制台触发故障
您可以在故障列表页面点击 创建 按钮手动创建故障。按照以下步骤操作:1
填写故障标题
输入故障标题,简要描述发生了什么问题。该字段为必填。
2
选择严重程度
选择 Critical(严重)、Warning(警告)或 Info(提醒)三个级别之一。
3
选择协作空间
选择故障归属的协作空间。如果您在协作空间内创建故障,该字段已自动填充且不可更改。
4
选择分派方式
选中协作空间后,系统会展示分派方式选项:
- 策略分派:从当前协作空间下的分派策略中选择一条进行分派。如果协作空间下没有可用的分派策略,该选项将被禁用
- 直接分派:手动选择处理人员(个人、值班表或团队),直接分派给指定人员。选择团队时,系统在分派那一刻把团队展开成成员并向他们通知,展开规则与人数上限见 升级与分派故障。展开 通知配置,可选择 遵循个人偏好 或 遵循统一设置。统一设置需至少选择一种通知渠道;通知模板可使用系统默认模板或已有模板。此处只通知个人,不向群聊发送通知
5
填写故障描述(可选)
输入故障的详细描述,编辑器支持富文本和 Markdown 语法。
延伸阅读
了解告警降噪
理解事件、告警、故障的关系以及降噪原理
检索与查看故障
掌握故障列表、详情页的使用方法
处理与更新故障
了解如何认领、暂缓、关闭故障
升级与分派故障
了解如何重新分派、升级分派