使用 Terraform 创建和管理警报资源

为 CI 管道创建一个新的服务账户。

分配角色“访问警报规则 Provisioning API”。

创建新的服务账户令牌。

命名并保存令牌以在 Terraform 中使用。

将此代码块复制到本地计算机上的 .tf 文件中。<slack-webhook-url>替换为你的 Slack webhook 网址（或其他联系点详情）。

此示例创建一个联系点，用于向 Slack 发送警报通知。

resource "grafana_contact_point" "my_slack_contact_point" {
    name = "Send to My Slack Channel"

    slack {
        url = <slack-webhook-url>
        text = <<EOT
{{ len .Alerts.Firing }} alerts are firing!

Alert summaries:
{{ range .Alerts.Firing }}
{{ template "Alert Instance Template" . }}
{{ end }}
EOT
    }
}

在文本字段中输入通知文本。

该text字段支持Go-style 模板化。这让您可以直接在 Terraform 中管理 Grafana Alerting 通知模板。

运行 terraform apply 命令。

转到 Grafana UI，查看联系点的详细信息。

您无法从 UI 编辑通过 Terraform 预置的资源。这样可确保警报堆栈始终与代码保持同步。

单击测试以验证联系点是否正常工作。

将此代码块复制到本地计算机上的 .tf 文件中。

在此示例中，警报按 alertname 分组，这意味着来自同名警报的所有通知都将分组到同一条 Slack 消息中。

如果您想以不同的方式发送特定通知，则可以添加子策略。 Sub-policies 允许您根据标签匹配将路由应用于不同的警报。在此示例中，我们对标签为 a=b 的所有警报应用了静音定时。

resource "grafana_notification_policy" "my_policy" {
    group_by = ["alertname"]
    contact_point = grafana_contact_point.my_slack_contact_point.name

    group_wait = "45s"
    group_interval = "6m"
    repeat_interval = "3h"

    policy {
        matcher {
            label = "a"
            match = "="
            value = "b"
        }
        group_by = ["..."]
        contact_point = grafana_contact_point.a_different_contact_point.name
        mute_timings = [grafana_mute_timing.my_mute_timing.name]

        policy {
            matcher {
                label = "sublabel"
                match = "="
                value = "subvalue"
            }
            contact_point = grafana_contact_point.a_third_contact_point.name
            group_by = ["..."]
        }
    }
}

在 mute_timings 字段中，将静音定时与您的通知策略关联。

运行 terraform apply 命令。

转到 Grafana UI，查看通知策略的详细信息。

单击测试以验证通知点是否正常工作。

将此代码块复制到本地计算机上的 .tf 文件中。

在此示例中，警报通知在周末处于静音状态。

resource "grafana_mute_timing" "my_mute_timing" {
    name = "My Mute Timing"

    intervals {
        times {
          start = "04:56"
          end = "14:17"
        }
        weekdays = ["saturday", "sunday", "tuesday:thursday"]
        months = ["january:march", "12"]
        years = ["2025:2027"]
    }
}

运行 terraform apply 命令。

转到 Grafana UI，查看静音定时的详细信息。

使用 mute_timings 字段在通知策略中引用新创建的静音定时。这会将静音定时应用于部分或全部通知。

单击测试以验证静音定时是否正常工作。

创建要查询的数据来源和要存储规则的文件夹。

在此示例中，使用 配置用于测试 TestData 的数据源 数据来源。

您可以针对 Grafana 中的任何后端数据源定义警报。

resource "grafana_data_source" "testdata_datasource" {
    name = "TestData"
    type = "testdata"
}

resource "grafana_folder" "rule_folder" {
    title = "My Rule Folder"
}

定义警报规则。

有关警报规则的更多信息，请参阅如何创建 Grafana-managed 警报。

创建包含一条或多条规则的规则组。

在此示例中，使用 grafana_rule_group 资源组。

resource "grafana_rule_group" "my_rule_group" {
    name = "My Alert Rules"
    folder_uid = grafana_folder.rule_folder.uid
    interval_seconds = 60
    org_id = 1

    rule {
        name = "My Random Walk Alert"
        condition = "C"
        for = "0s"

        // Query the datasource.
        data {
            ref_id = "A"
            relative_time_range {
                from = 600
                to = 0
            }
            datasource_uid = grafana_data_source.testdata_datasource.uid
            // `model` is a JSON blob that sends datasource-specific data.
            // It's different for every datasource. The alert's query is defined here.
            model = jsonencode({
                intervalMs = 1000
                maxDataPoints = 43200
                refId = "A"
            })
        }

        // The query was configured to obtain data from the last 60 seconds. Let's alert on the average value of that series using a Reduce stage.
        data {
            datasource_uid = "__expr__"
            // You can also create a rule in the UI, then GET that rule to obtain the JSON.
            // This can be helpful when using more complex reduce expressions.
            model = <<EOT
{"conditions":[{"evaluator":{"params":[0,0],"type":"gt"},"operator":{"type":"and"},"query":{"params":["A"]},"reducer":{"params":[],"type":"last"},"type":"avg"}],"datasource":{"name":"Expression","type":"__expr__","uid":"__expr__"},"expression":"A","hide":false,"intervalMs":1000,"maxDataPoints":43200,"reducer":"last","refId":"B","type":"reduce"}
EOT
            ref_id = "B"
            relative_time_range {
                from = 0
                to = 0
            }
        }

        // Now, let's use a math expression as our threshold.
        // We want to alert when the value of stage "B" above exceeds 70.
        data {
            datasource_uid = "__expr__"
            ref_id = "C"
            relative_time_range {
                from = 0
                to = 0
            }
            model = jsonencode({
                expression = "$B > 70"
                type = "math"
                refId = "C"
            })
        }
    }
}

转到 Grafana UI 并查看您的警报规则。

您可以查看是否触发警报规则。您还可以看到警报规则每个查询阶段的可视化效果。

警报触发时，Grafana 会通过您定义的策略路由通知。

例如，如果您选择 Slack 作为联系点，Grafana 的嵌入式 Alertmanager 会自动向 Slack 发布消息。