- 可用性监控(Uptime Monitoring):每个监控对应一条 Flashduty 告警,监控离线时触发,恢复在线时自动恢复
- 服务器资源告警(Server Monitoring Resource Usage):每次通知生成一条告警,需要手动关闭
- 黑名单监控(Blacklist Monitoring):每个 IP 或域名的变化生成一条告警,需要手动关闭
在 Flashduty On-call
您可通过以下两种方式获取集成推送地址,任选其一即可。
使用专属集成
- 进入 Flashduty 控制台,选择 协作空间,打开一个协作空间
- 选择 配置 → 集成数据 → 专属集成,点击 新增一个集成
- 选择 HetrixTools,点击 保存
- 打开生成的集成卡片,复制 推送地址
使用共享集成
- 进入 Flashduty 控制台,选择 集成中心 → 告警事件
- 选择 HetrixTools,填写集成名称
- 配置默认路由并选择协作空间;创建后可在 路由 中增加更多规则
- 点击 保存,复制生成的 推送地址
在 HetrixTools 中配置
1
创建联系人列表
- 登录 HetrixTools,在左侧菜单选择 Contact Lists
- 点击 Add New Contact List,Contact List Name 可填写
Flashduty - 展开 Webhook 区域,在 Webhook URL 中粘贴 Flashduty 集成的完整推送地址。可选的认证 Token 不需要填写,Flashduty 通过推送地址中的
integration_key识别集成 - 打开 Webhook 区域标题栏上的 Send test notification,可选 Blacklist Monitoring、Uptime Monitoring 和 Server Resource Usage 三种测试通知,Flashduty 对每一种都返回成功,不会生成告警
- 点击 Add Contact List 保存
2
将联系人列表分配给监控
HetrixTools 按联系人列表投递通知:只有分配了该联系人列表的监控才会推送到 Flashduty。
- 可用性监控:编辑需要告警的 Uptime Monitor,在联系人列表中选择
Flashduty并保存 - 服务器资源告警:把 Server Monitor 关联到上面的 Uptime Monitor,安装服务器 Agent 并配置资源使用告警(Resource Usage Warnings),资源告警通过该 Uptime Monitor 的联系人列表发出
- 黑名单监控:编辑 Blacklist Monitor,在联系人列表中选择
Flashduty并保存
3
验证生命周期
- 让一个已分配联系人列表的可用性监控真正失败(例如把网站监控的地址暂时改成不可访问的地址),确认 Flashduty 收到活动告警
- 改回监控配置,等待监控恢复在线,确认原告警恢复
Alert Key
可用性监控:Flashduty 用
monitor_id(HetrixTools 监控 ID)计算 Alert Key。同一个监控的离线(offline)和在线(online)通知携带相同的 monitor_id,因此会落在同一条告警上;持续离线期间的重复通知也会合并到这条告警。监控名称、地址、分类、时间和失败位置的变化都不会改变 Alert Key。请求缺少 monitor_id 时 Flashduty 会拒绝,因为无法关联后续恢复。
服务器资源告警和黑名单监控:HetrixTools 不会为这两类通知发送恢复消息,Flashduty 为每次通知(黑名单通知中的每个 IP 或域名)生成一条独立告警,处理后请手动关闭。
状态和告警等级
可用性监控按
monitor_status 处理:
空值或其他
monitor_status 会被拒绝,避免把无法判断状态的请求写入错误的告警生命周期。
服务器资源告警按 resource_usage.resource_type 定级:
黑名单监控按
blacklisted_now 定级:大于 0(仍在黑名单中)为 Warning,等于 0(已从所有黑名单移除)为 Info。
告警内容
可用性监控
- 标题:
<监控名称> is offline或<监控名称> is online - 描述:各探测位置的错误(
monitor_errors),每行一个位置 - 标签:
check(监控名称)、resource(监控地址monitor_target)、source(固定为hetrixtools)、notification(固定为uptime)、monitor_id、monitor_type、monitor_category、monitor_status
- 标题:
<监控名称>: <resource_type> usage warning;没有使用率数据的通知为<监控名称>: <resource_type> warning - 描述:当前使用率和平均使用率,或
error中的错误 - 标签:
check、source、notification(固定为resource_usage)、monitor_id、resource_type、current_usage、average_usage、average_minutes、error
- 标题:
<IP 或域名> (<标签>) is listed on <数量> blacklists或<IP 或域名> (<标签>) is no longer blacklisted - 描述:命中的黑名单和对应的移除(delist)链接,每行一个
- 标签:
check(监控标签)、resource(IP 或域名)、source、notification(固定为blacklist)、blacklisted_before、blacklisted_now、blacklisted_on(逗号分隔)、report_link
排查问题
- HetrixTools 投递失败:确认 Webhook 填写的是完整推送地址且包含
integration_key - Flashduty 返回参数错误:可用性和资源告警通知需要
monitor_id,可用性通知的monitor_status需为offline或online;黑名单通知中每一项需要monitor - 没有收到告警:确认监控已分配包含 Flashduty Webhook 的联系人列表;资源告警需要所关联的 Uptime Monitor 分配该联系人列表
- 告警没有恢复:只有可用性监控会自动恢复;确认监控已真正恢复在线,且恢复时仍分配了该联系人列表