A integração da New Relic com o Google Cloud Platform (GCP) inclui uma que reporta dados Google Cloud Managed Service for Apache Kafka para New Relic. Este documento explica como ativar a integração GCP Managed Kafka e descreve os dados que ela reporta.
Recurso
O Managed Service for Apache Kafka é a plataforma de streaming totalmente gerenciada e compatível com Apache Kafka do Google Cloud, incluindo o Kafka Connect. A integração do New Relic Managed Kafka coleta métricas de taxas de transferência, lag, retenção e integridade do conector em clusters, tópicos, partições, grupos de consumidores e clusters e conectores do Kafka Connect.
Ativar integração
Para habilitar a integração, é necessário seguir os procedimentos padrão para conectar o serviço do GCP ao New Relic:
Frequência de votação
As integrações do New Relic consultam os serviços do GCP de acordo com um intervalo de sondagem que varia por integração. A frequência de sondagem para o Google Cloud Managed Kafka é de 5 minutos. A resolução é 1 ponto de dados a cada minuto.
Importante
O Managed Service for Apache Kafka oferece suporte a intervalos de sondagem de 1 minuto para integrações do WIF em versão prévia limitada. Para solicitar acesso, entre em contato com o suporte da New Relic.
Workload Identity Federation
Encontre e use dados
Após ativar a integração, os recursos do Managed Kafka aparecem como entidades no explorador de entidades da New Relic. Para ver dashboards e gerenciar serviços, acesse one.newrelic.com > All capabilities > Infrastructure > GCP.
Todas as métricas do Managed Kafka disponíveis no monitoramento de nuvem do GCP são coletadas como métricas dimensionais no tipo de evento Metric. Métricas adicionais além desta tabela são coletadas automaticamente. Consulte a documentação de métricas do Managed Kafka do Google para obter a lista completa.
Entidade
Dados métricos
Métricas principais — Cluster
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Por cento | Utilização da CPU nos nós do broker no cluster do Managed Kafka. |
| Por cento | Utilização de memória entre os nós do broker no cluster do Managed Kafka. |
| Bytes | Armazenamento em uso pelo cluster do Managed Kafka. |
| Contar | Número de brokers atualmente em execução no cluster do Managed Kafka. |
| Contar | Número de tópicos no cluster Managed Kafka. |
Métricas Principais — Tópico
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Bytes | Bytes produzidos para o tópico do Managed Kafka. |
| Bytes | Bytes consumidos do tópico do Managed Kafka. |
| Contar | Mensagens produzidas para o tópico do Managed Kafka. |
| Contar | Número de partições no tópico do Managed Kafka. |
| Bytes | Tamanho total em disco do tópico do Managed Kafka em todas as partições. |
Principais métricas — Partição de tópico
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Bytes | Tamanho em disco da partição do tópico. |
| Contar | Offset mais recente produzido para a partição do tópico. |
| Contar | Offset mais antigo disponível na partição do tópico. |
| Contar | Offset de fim de log para a partição do tópico. |
| Contar | Número de mensagens que a partição está à frente de seu consumidor mais lento. |
Métricas Principais — Grupo de Consumidores
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Contar | Número de mensagens que o grupo consumidor está atrás do último offset, facetado por partição. |
| Contar | Último offset confirmado pelo grupo de consumidores. |
| Contar | Número de membros ativos no grupo de consumidores. |
| Contar | Número de rebalanceamentos de grupo de consumidores observados. |
Métricas Principais — Connect Cluster
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Segundos | Segundos de CPU consumidos pelos workers no cluster do Kafka Connect. |
| Bytes | Memória atualmente em uso pelos workers no cluster do Kafka Connect. |
| Contar | Número de requests de API do conector processados pelo cluster do Kafka Connect. |
| Contar | Número de workers atualmente em execução no cluster do Kafka Connect. |
| Milissegundos | Distribuição de latência para requests de API do conector no cluster do Kafka Connect. |
Métricas principais — Conector
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Contar | Número de tarefas em execução para o conector, facetado por estado da tarefa. |
| Contar | Número de registros que produziram erros no conector. |
| Contar | Registros ativos armazenados em buffer nos conectores de sink. |
| Contar | Número de registros gravados por conectores de origem no Kafka. |
| Contar | Número de registros lidos por conectores sink do Kafka. |
Para obter a lista completa de métricas do Managed Kafka, consulte a documentação de métricas do Managed Kafka do Google.