在 Flashduty On-call
您可通过以下两种方式获取集成推送地址,任选其一即可。使用专属集成
- 进入 Flashduty 控制台,选择 协作空间,打开一个协作空间
- 选择 配置 → 集成数据 → 专属集成,点击 新增集成
- 选择 Hookdeck,点击 保存
- 打开生成的集成卡片,复制 推送地址
使用共享集成
- 进入 Flashduty 控制台,选择 集成中心 → 告警事件
- 选择 Hookdeck,填写集成名称
- 配置默认路由并选择协作空间;创建后可在 路由 中增加更多规则
- 点击 保存,复制生成的 推送地址
在 Hookdeck 中配置
Hookdeck 的 Webhook 通知先发到项目中的一个来源(Source),再由连接(Connection)转发到目的地(Destination)。因此先建一条把通知转发到 Flashduty 的连接,再在项目设置中打开 Webhook 通知。1
在 Hookdeck 中创建转发到 Flashduty 的连接
操作路径:Hookdeck Dashboard › Connections › + Connection
填写后点击 + Create。
2
在 Hookdeck 项目设置中打开 Webhook 通知
操作路径:Hookdeck Dashboard › Settings › Project › General
填写后点击 Save。Hookdeck 在 Issue 被标记为 Resolved 或 Ignored 时通过
issue.updated 发送状态更新,Flashduty 据此恢复告警,这一路径没有单独的恢复开关。只勾选 issue.opened 时,Flashduty 收不到 Issue 被解决的通知,告警不会自动恢复。3
检查 Hookdeck 的 Issue Triggers
操作路径:Hookdeck Dashboard › Issues › Issue Triggers
- 确认需要告警的 Issue 类型都有启用的触发器。每个项目默认有四个触发器:投递失败(首次投递失败即打开)、转换
warn级别日志、队列积压超过 10 分钟、所有来源拒绝的请求 - 投递类触发器的 Strategy 为
first_attempt时,首次投递失败就会打开 Issue,即使后续重试成功。只关心重试全部失败的情况时,可改为last_attempt - 建议让投递类触发器不覆盖上面创建的
flashduty连接(例如在连接范围中填!flashduty)。否则 Flashduty 推送失败时会再打开一个 Issue,并再次发往同一个失败的地址
4
制造一个投递失败的 Issue 并确认
操作路径:Hookdeck Dashboard › Connections › + Connection(测试连接),Hookdeck Dashboard › IssuesHookdeck 的通知在真实 Issue 打开或状态变化时发送,因此用一个总是失败的连接制造真实 Issue。
-
新建一个测试连接,目的地 URL 填
https://mock.hookdeck.com?status=500(Hookdeck 的模拟接口,总是返回 HTTP 500),向该连接的来源 URL(在 Hookdeck 中打开来源即可看到)发送一个请求: - 在 Hookdeck Issues 页面看到新的投递 Issue 后,确认 Flashduty 收到一条 Critical 告警,集成显示 最新事件时间
- 在 Issues 页面将该 Issue 的状态改为 Resolved,确认原告警恢复
- 验证完成后删除测试连接
Alert Key
Flashduty 使用 Hookdeck 的 Issue ID(issue.id,形如 iss_...)作为 Alert Key。同一个 Issue 在打开、确认、解决、重新打开时 ID 不变,因此状态更新通知会作用于打开时创建的告警。
Issue 的错误码、响应状态码、首次/最近出现时间、连接名称等变化不会改变 Alert Key。缺少 issue.id 的请求会被拒绝。
状态和告警等级
告警等级由 Issue 类型(issue.type)决定:
状态由
issue.status 决定:
其他状态值会被拒绝并返回参数错误。只有
issue.opened 和 issue.updated 两个主题会生成告警,其他主题(如 event.successful)会被接收并忽略。
标签
通知中附带的失败请求内容(请求头、请求体)不会写入标签。
排查问题
- 收不到告警:确认项目设置中 Webhook 通知已打开且选择了正确的来源,
flashduty连接没有被暂停;在 Hookdeck 中查看该连接的事件,确认 Flashduty 返回 200 - 告警没有恢复:确认 Webhook topics 勾选了
issue.updated,并在 Hookdeck 中将 Issue 标记为 Resolved 或 Ignored。只关闭(Dismiss)Issue 不会改变其状态 - 同一问题重复出现告警:被忽略(Ignored)的 Issue 不会再通知;已解决的 Issue 再次出现时会重新打开并重新触发同一个 Alert Key 的告警
- Flashduty 返回参数错误:确认 URL 完整且包含
integration_key,并且请求来自 Hookdeck Webhook 通知(请求体中有topic字段)