Guia de resolução de problemas para o agente Prometheus

Obtenha um registro detalhado

Você pode ativar o registro detalhado no gráfico newrelic-prometheus-agent definindo as variáveis verboseLog ou global.verboseLog como true.

# (...)
global:
  verboseLog: true
# (...)

Depois que isso for atualizado nos arquivos de valores, execute o seguinte comando helm upgrade:

$
helm upgrade RELEASE_NAME newrelic-prometheus-configurator/newrelic-prometheus-agent \
>
  --namespace NEWRELIC_NAMESPACE \
>
  -f values-newrelic.yaml \
>
  [--version fixed-chart-version]

Não vendo métrica para um destino

Você precisa de pelo menos um job que descubra o destino no Kubernetes que corresponda ao filtro especificado ou o destino deve ser listado como static_target.

Se você estiver usando a configuração padrão no Kubernetes, verifique se seu pod ou serviço tem a anotação prometheus.io/scrape=true .

Por padrão, o agente Prometheus extrai métricas apenas do Prometheus integração. A menos que você tenha optado por extrair todos os endpoints do Prometheus no cluster, o agente do Prometheus filtra o endpoint a ser copiado usando os rótulos definidos em source_labels.

Não vendo métrica em um dashboard

Alguns dos painéis fornecidos pela integração do Prometheus podem ter sido filtrados por um rótulo Kubernetes . Verifique a documentação de integração correspondente para obter mais informações.

Verifique o status da métrica

Cada raspagem de destino gera a métrica up com toda a métrica de destino. Se a raspagem for bem-sucedida, essas métricas terão 1 como valor. Se não for bem-sucedido, o valor será 0.

FROM Metric SELECT latest(up) WHERE cluster_name = 'YOUR_CLUSTER_NAME' AND pod = 'TARGET_POD_NAME' TIMESERIES

Se esta métrica não existir para o destino, ela poderá ter sido descartada.

Se os valores forem 0, a extração falhou.

Destino descartado pelas regras de filtro

Para verificar o destino descartado, você pode usar o API destino endpoint da Prometheus.

Para listar todos os destinos eliminados no formato JSON e mostrar todos os rótulos descobertos, execute o seguinte comando:

$
kubectl exec newrelic-prometheus-agent-0 -- wget -O - 'localhost:9090/api/v1/targets?state=dropped' 2>/dev/null

Falha na raspagem do destino

Se a métrica up tiver 0 como valor, significa que o destino foi raspado ativamente pelo Prometheus, mas a raspagem falhou. Você pode verificar o motivo no log detalhado com uma entrada log semelhante a esta:

$
prometheus ts=timestamp caller=scrape.go:1332 level=debug component="scrape manager" scrape_pool=kubernetes-job-pod target=http://1.2.3.4:80/metrics msg="<error>" err="<error detail>"

Você também pode verificar a lista de destinos ativos usando API de destino da endpoint do Prometheus.

Para listar todos os destinos ativos em JSON e mostrar todos os rótulos descobertos, execute o seguinte comando:

$
kubectl exec newrelic-prometheus-agent-0 -- wget -O - 'localhost:9090/api/v1/targets?state=active' 2>/dev/null

O destino com falha será listado e o erro estará disponível no campo lastError em uma saída semelhante a esta:

{
    "status": "success",
    "data": {
        "activeTargets": [
            {
                "discoveredLabels": <map of labels>,
                "labels": <map of labels>,
                "scrapePool": "kubernetes-job-pod",
                "scrapeUrl": "http://172.17.0.5:80/metrics",
                "globalUrl": "http://172.17.0.5:80/metrics",
                "lastError": <error detail>,
                "lastScrape": "2022-09-19T14:19:20.543747971Z",
                "lastScrapeDuration": 0.000372542,
                "health": "down",
                "scrapeInterval": "15s",
                "scrapeTimeout": "10s"
            },
            ...
        ]
    }
}