Integração Amazon Managed Kafka (MSK)

Importante

Habilite a integração do AWS CloudWatch Metric Streams para monitor todas as métricas do CloudWatch de seus serviços da AWS, incluindo namespace personalizado. A integração individual não é mais nossa opção recomendada.

A New Relic oferece uma integração para coletar dados do Amazon Web Services Managed Streaming para Apache Kafka . Este documento explica como ativar esta integração e descreve os dados que podem ser reportados.

Ativar integração

Para habilitar essa integração, siga os procedimentos padrão para conectar os serviços da AWS ao New Relic.

Configuração e polling

Para alterar a frequência de pesquisa e filtrar dados, use opções de configuração.

Informações de pesquisa padrão para a integração do Amazon Managed Kafka:

Intervalo de sondagem New Relic : 5 minutos
Intervalo de dados do Amazon CloudWatch: 1 minuto

Visualizar e usar dados

Para visualizar seus dados de integração, acesse one.newrelic.com > All capabilities > Infrastructure > AWS e selecione uma integração.

Você pode consultar e explorar seus dados usando o seguinte tipo de evento:

Entidade	Tipo de evento	Fornecedor
Cluster	`AwsMskClusterSample`	`AwsMskCluster`
Corretor	`AwsMskBrokerSample`	`AwsMskBroker`
Tema	`AwsMskTopicSample`	`AwsMskTopic`

Para saber mais sobre como usar seus dados, consulte Compreender e usar dados de integração.

Dados métricos

Essa integração registra dados do Amazon Managed Kafka para cluster, corretor e entidade de tópico.

Dados gerenciados do cluster Kafka

Métrica	Unidade	Descrição
`activeControllerCount`	Contar	Apenas um controlador por cluster deve estar ativo em um determinado momento.
`globalPartitionCount`	Contar	Número total de partições em todos os agentes do cluster.
`globalTopicCount`	Contar	Número total de tópicos em todos os agentes do cluster.
`offlinePartitionsCount`	Contar	Número total de partições que estão offline no cluster.

Dados gerenciados do corretor Kafka

Métrica	Unidade	Descrição
`bytesInPerSec`	BytesPorSegundo	O número de bytes por segundo recebidos dos clientes.
`bytesOutPerSec`	BytesPorSegundo	O número de bytes por segundo enviados aos clientes.
`cpuSystem`	Por cento	A porcentagem de CPU no espaço do kernel.
`cpuUser`	Por cento	A porcentagem de CPU no espaço do usuário.
`cpuIdle`	Por cento	A porcentagem de tempo ocioso da CPU.
`fetchConsumerLocalTimeMsMean`	Milissegundos	O tempo médio em milissegundos que a solicitação do consumidor é processada no líder.
`fetchConsumerRequestQueueTimeMsMean`	Milissegundos	O tempo médio em milissegundos que a solicitação do consumidor aguarda na fila de solicitações.
`fetchConsumerResponseQueueTimeMsMean`	Milissegundos	O tempo médio, em milissegundos, que a solicitação do consumidor aguarda na fila de resposta.
`fetchConsumerResponseSendTimeMsMean`	Milissegundos	O tempo médio em milissegundos para o consumidor enviar uma resposta.
`fetchConsumerTotalTimeMsMean`	Milissegundos	O tempo total médio em milissegundos que o consumidor gasta na busca de dados do corretor.
`fetchFollowerLocalTimeMsMean`	Milissegundos	O tempo médio em milissegundos que a solicitação do seguidor é processada no líder.
`fetchFollowerRequestQueueTimeMsMean`	Milissegundos	O tempo médio em milissegundos que a solicitação do seguidor aguarda na fila de solicitações.
`fetchFollowerResponseQueueTimeMsMean`	Milissegundos	O tempo médio em milissegundos que a solicitação do seguidor aguarda na fila de respostas.
`fetchFollowerResponseSendTimeMsMean`	Milissegundos	O tempo médio em milissegundos para o seguidor enviar uma resposta.
`fetchFollowerTotalTimeMsMean`	Milissegundos	O tempo total médio em milissegundos que os seguidores gastam na busca de dados do corretor.
`fetchMessageConversionsPerSec`	Contagem por segundo	O número de conversões de mensagens de busca por segundo para o agente.
`fetchThrottleTime`	Milissegundos	O tempo médio de aceleração de busca em milissegundos.
`fetchThrottleByteRate`	BytesPorSegundo	O número de bytes limitados por segundo.
`fetchThrottleQueueSize`	Contar	O número de mensagens na fila de limitação.
`kafkaAppLogsDiskUsed`	Por cento	A porcentagem de espaço em disco usado para log do aplicativo.
`kafkaDataLogsDiskUsed`	Por cento	A porcentagem de espaço em disco usado para log de dados.
`leaderCount`	Contar	O número de réplicas líderes.
`memoryBuffered`	Bytes	O tamanho em bytes da memória em buffer do intermediário.
`memoryCached`	Bytes	O tamanho em bytes da memória em cache do intermediário.
`memoryFree`	Bytes	O tamanho em bytes de memória que está livre e disponível para o intermediário.
`memoryUsed`	Bytes	O tamanho em bytes de memória que está em uso pelo intermediário.
`messagesInPerSec`	Contagem por segundo	O número de mensagens recebidas por segundo para o agente.
`networkProcessorAvgIdlePercent`	Por cento	A porcentagem média de tempo que os processadores de rede ficam ociosos.
`networkRxDropped`	Contar	O número de pacotes de recebimento descartados.
`networkRxErrors`	Contar	O número de erros de recebimento de rede para o intermediário.
`networkRxPackets`	Contar	O número de pacotes recebidos pelo corretor.
`networkTxDropped`	Contar	O número de pacotes de transmissão descartados.
`networkTxErrors`	Contar	O número de erros de transmissão de rede para o intermediário.
`networkTxPackets`	Contar	O número de pacotes transmitidos pelo corretor.
`partitionCount`	Contar	O número de partições do corretor.
`produceLocalTimeMsMean`	Milissegundos	O tempo médio em milissegundos para o seguidor enviar uma resposta.
`produceMessageConversionsPerSec`	Contagem por segundo	O número de conversões de mensagens produzidas por segundo para o intermediário.
`produceMessageConversionsTimeMsMean`	Milissegundos	O tempo médio em milissegundos gasto em conversões de formato de mensagem.
`produceRequestQueueTimeMsMean`	Milissegundos	O tempo médio em milissegundos que as mensagens de solicitação passam na fila.
`produceResponseQueueTimeMsMean`	Milissegundos	O tempo médio em milissegundos que as mensagens de resposta passam na fila.
`produceResponseSendTimeMsMean`	Milissegundos	O tempo médio em milissegundos gasto no envio de mensagens de resposta.
`produceTotalTimeMsMean`	Milissegundos	O tempo médio de produção em milissegundos.
`produceThrottleTime`	Milissegundos	O tempo médio de aceleração do produto em milissegundos.
`produceThrottleByteRate`	BytesPorSegundo	O número de bytes limitados por segundo.
`produceThrottleQueueSize`	Contar	O número de mensagens na fila de limitação.
`requestBytesMean`	Contar	O número médio de bytes de solicitação do corretor.
`requestExemptFromThrottleTime`	Milissegundos	O tempo médio gasto na rede do broker e nos threads de E/S para processar solicitações isentas de limitação.
`requestHandlerAvgIdlePercent`	Por cento	A porcentagem média de tempo em que os threads do manipulador de solicitação ficam inativos.
`requestThrottleQueueSize`	Contar	O número de mensagens na fila de limitação.
`requestThrottleTime`	Milissegundos	O tempo médio de aceleração da solicitação em milissegundos.
`requestTime`	Milissegundos	O tempo médio gasto na rede do intermediário e nos threads de E/S para processar solicitações.
`rootDiskUsed`	Por cento	A porcentagem do disco raiz usada pelo intermediário.
`swapUsed`	Bytes	O tamanho em bytes da memória swap que está em uso pelo intermediário.
`swapFree`	Bytes	O tamanho em bytes da memória swap que está disponível para o intermediário.
`underMinIsrPartitionCount`	Contar	O número de partições sob minIsr para o corretor.
`underReplicatedPartitions`	Contar	O número de partições sub-replicadas para o agente.
`zooKeeperRequestLatencyMsMean`	Milissegundos	Latência média em milissegundos para solicitações do ZooKeeper do corretor.
`zooKeeperSessionState`	Outro	Status da conexão da sessão ZooKeeper do corretor que pode ser um dos seguintes: NOT_CONNECTED: '0.0', ASSOCIATING: '0.1', CONNECTING: '0.5', CONNECTEDREADONLY: '0.8', CONNECTED: '1.0', CLOSED: '5.0', AUTH_FAILED: '10.0'.

Dados gerenciados do tópico Kafka

Métrica	Unidade	Descrição
`bytesInPerSec`	BytesPorSegundo	O número de bytes recebidos por segundo.
`bytesOutPerSec`	BytesPorSegundo	O número de bytes enviados por segundo.
`fetchMessageConversionsPerSec`	Contagem por segundo	O número de mensagens buscadas convertidas por segundo.
`messagesInPerSec`	Contagem por segundo	O número de mensagens recebidas por segundo.
`produceMessageConversionsPerSec`	Contagem por segundo	O número de conversões por segundo para mensagens produzidas.

Qual é o próximo

Data and UI

Aprenda a usar New Relic para monitorar seu cluster Kafka

Esta tradução de máquina é fornecida para sua comodidade.