跳转到主要内容
LangSmith 的告警规则(Alert Rule)在指标越过阈值时,可通过 Webhook 把通知 POST 到指定地址。Flashduty 直接解析这些通知,每条 LangSmith 告警规则对应一条 Flashduty 告警。 LangSmith 的文档没有描述”已恢复”通知:指标回落到阈值以内后不会再收到任何请求,Flashduty 收到的每条通知都会触发(或更新)一条告警,需要手动关闭,或按下文开启超时自动关闭。

在 Flashduty On-call

您可通过以下两种方式获取集成推送地址,任选其一即可。

使用专属集成

  1. 进入 Flashduty 控制台,选择 协作空间,打开一个协作空间
  2. 选择 配置 → 集成数据 → 专属集成,点击 新增集成
  3. 选择 LangSmith,点击 保存
  4. 打开生成的集成卡片,复制 推送地址

使用共享集成

  1. 进入 Flashduty 控制台,选择 集成中心 → 告警事件
  2. 选择 LangSmith,填写集成名称
  3. 配置默认路由并选择协作空间;创建后可在 路由 中增加更多规则
  4. 点击 保存,复制生成的 推送地址

在 LangSmith 中配置

1

在 LangSmith 中创建告警规则并添加 Webhook

操作路径:LangSmith › 需要监控的项目(Tracing Project)› Alerts(页面右上角的 Alerts 图标,位于 Monitoring 下)› + Alert选择指标(Run Count、Cost、Errors、Feedback Score 或 Latency)、阈值和时间窗口(LangSmith 当前文档列出 5 分钟或 15 分钟)。然后在 Notification Settings 中选择 Webhook,填写:保存告警规则。
LangSmith 的 Send Test Alert 按钮只证明请求能发出:LangSmith 不校验接收端的响应,界面无论 Flashduty 是否返回错误都会提示成功,请以 Flashduty 控制台为准。测试通知的 alert_rule_id 为全零 UUID(00000000-0000-0000-0000-000000000000),Flashduty 返回成功且不创建告警。
2

在 Flashduty 中开启超时自动关闭

LangSmith 的 Webhook 没有恢复通知:指标回落后不会再收到任何请求,对应的 Flashduty 告警会一直处于触发状态。请在接收这些告警的协作空间中开启 超时自动关闭,建议超时时长 1 小时,计时起点选择 停止合入新告警。指标持续超过阈值期间 LangSmith 若再次发送通知,告警会随之保持打开;超时后仍未收到新通知的告警会被关闭。
3

用真实告警验证

让指标真实越过阈值(例如临时把阈值调低),几秒后回到 Flashduty,集成显示 最新事件时间,说明配置成功。验证后把阈值改回。

推送内容

LangSmith 以 application/json POST 以下字段,Flashduty 直接解析: 告警标题使用规则名称;规则名称为空时使用 LangSmith alert <alert_rule_id>。

Alert Key

Flashduty 使用 alert_rule_id 作为 Alert Key。LangSmith 文档把它定义为标识告警的 UUID,但没有明确说明同一条规则每次触发的 ID 不变。Flashduty 按规则 ID 合并:同一规则的重复通知合并到同一条告警,不同规则各自独立。修改规则名称、阈值或指标值不会改变 Alert Key。 请求中没有 alert_rule_id,或 alert_rule_id 为全零 UUID(LangSmith 测试通知使用)时,Flashduty 视为测试通知,返回成功且不创建告警。

状态和告警等级

LangSmith 的通知不带告警等级,Flashduty 统一按 Warning 处理;该阈值告警不代表服务已经中断,因此不默认为 Critical。

常见问题

LangSmith 的 Webhook 只在指标越过阈值时发送,指标回落后不发送任何通知。请开启协作空间的超时自动关闭,或在 Flashduty 中手动关闭告警。
LangSmith 不校验接收端的响应。Flashduty 会丢弃测试通知(alert_rule_id 为全零 UUID 或缺失),这是预期行为;真实告警需要指标确实越过阈值后才会发送。
可以。LangSmith 文档要求自托管部署使用 Helm chart 0.10.3 或更高版本才有告警功能,且部署需要能访问 Flashduty 推送地址。
更多字段含义请参阅 LangSmith 官方文档 Alerts webhook 和 Alerts。