Definições de configuração de integração do Kafka

Esta integração é um software de código aberto. Isso significa que você pode navegar pelo código-fonte e enviar melhorias ou criar seu próprio fork e construí-lo.

Etiquetas e atributo personalizado

Variáveis de ambiente podem ser usadas para controlar definições de configuração, como e, em seguida, são passadas para o agente de infraestrutura. Para obter instruções sobre como usar esse recurso, consulte Configurar o agente de infraestrutura.

Você pode decorar ainda mais sua métrica usando etiquetas. Os rótulos permitem que você adicione pares de valores principais atributo à sua métrica que você pode usar para consultar, filtrar ou agrupar sua métrica.
Nosso arquivo de configuração de amostra padrão inclui exemplos de rótulos, mas, como não são obrigatórios, você pode remover, modificar ou adicionar novos de sua escolha.

labels:
    env: production
    role: kafka

Para obter mais informações sobre a estrutura geral da configuração de integração no host, consulte a configuração.

Dados de inventário

A integração Kafka captura o broker não padrão e o parâmetro de configuração de tópico e coleta os esquemas de partição de tópico conforme relatado pelo ZooKeeper. Os dados estão disponíveis na página da interface do Inventário na origem config/kafka .

Configurar a coleção KafkaBrokerSample e KafkaTopicSample

A integração Kafka coleta informações métricas e de inventário. Verifique a coluna Applies To abaixo para ver as configurações disponíveis para cada coleção:

' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
CLUSTER_NAME	Nome definido pelo usuário para identificar exclusivamente o cluster que está sendo monitorado. Required.	N/A	MI
KAFKA_VERSION	A versão do corretor Kafka ao qual você está se conectando, usada para definir versões ideais da API. Deve corresponder ou ser inferior à versão do corretor. Versões anteriores a 1.0.0 podem estar faltando algum recurso. Observe que se o nome binário do corretor for `kafka_2.12-2.7.0`, a versão da API Kafka a ser usada será 2.7.0 e a 2.12 anterior será a versão da linguagem Scala.	1.0.0	MI
AUTODISCOVER_STRATEGY	o método de descobrir corretores. As opções são `zookeeper` ou `bootstrap`.	zookeeper	MI
METRICS	Defina como `true` para ativar a coleta somente de métricas.	false
INVENTORY	Defina como `true` para ativar a coleta somente de inventário.	false

Argumentos de descoberta automática do Zookeeper

Eles são relevantes apenas quando a opção autodiscover_strategy está definida como zookeeper.

' ' ' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
ZOOKEEPER_HOSTS	A lista de hosts Apache ZooKeeper (em formato JSON) que precisam ser conectados. If `CONSUMER_OFFSET` is set to `false` `KafkaBrokerSamples` and `KafkaTopicSamples` will be collected.	[]	MI
ZOOKEEPER_AUTH_SCHEME	O esquema de autenticação do ZooKeeper usado para conexão. Atualmente, o único valor suportado é `digest`. Se omitido, nenhuma autenticação será usada.	N/A	MI
ZOOKEEPER_AUTH_SECRET	O segredo de autenticação do ZooKeeper usado para conexão. Deve estar no formato `username:password`. Obrigatório apenas se `zookeeper_auth_scheme` for especificado.	N/A	MI
ZOOKEEPER_PATH	O nó Zookeeper sob o qual reside a configuração do Kafka. O padrão é `/`.	N/A	MI
PREFERRED_LISTENER	Use um ouvinte específico para se conectar a um corretor. Se não for definido, o primeiro ouvinte que passar em uma conexão de teste bem-sucedida será usado. Os valores suportados são `PLAINTEXT`, `SASL_PLAINTEXT`, `SSL` e `SASL_SSL`. *Observe que os protocolos `SASL_` suportam apenas a autenticação Kerberos (GSSAPI).**	N/A	MI

Argumentos de descoberta do corretor Bootstrap

Eles só são relevantes quando a opção autodiscover_strategy está definida comobootstrap

' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
BOOTSTRAP_BROKER_HOST	O host do corretor de inicialização. If `CONSUMER_OFFSET` is set to `false` `KafkaBrokerSamples` and `KafkaTopicSamples` will be collected.	N/A	MI
BOOTSTRAP_BROKER_KAFKA_PORT	A porta Kafka para o corretor de inicialização.	N/A	MI
BOOTSTRAP_BROKER_KAFKA_PROTOCOL	O protocolo a ser usado para conectar-se ao corretor de inicialização. Os valores suportados são `PLAINTEXT`, `SASL_PLAINTEXT`, `SSL` e `SASL_SSL`. *Observe que os protocolos `SASL_` suportam apenas a autenticação Kerberos (GSSAPI).**	PLAINTEXT	MI
BOOTSTRAP_BROKER_JMX_PORT	A porta JMX a ser usada para coleta em cada intermediário no cluster. Note that all discovered brokers should have JMX active on this port	N/A	MI
BOOTSTRAP_BROKER_JMX_USER	O usuário JMX a ser usado para coleta em cada intermediário no cluster.	N/A	MI
BOOTSTRAP_BROKER_JMX_PASSWORD	A senha JMX a ser usada para coleta em cada intermediário no cluster.	N/A	MI

Opções JMX

Estas opções se aplicam a todas as conexões JMX na instância.

' ' ' ' ' ' ' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
KEY_STORE	O caminho do arquivo do keystore que contém o certificado SSL do cliente JMX.	N/A	MI
KEY_STORE_PASSWORD	A senha para o armazenamento de chaves JMX SSL.	N/A	MI
TRUST_STORE	O caminho do arquivo do keystore confiável que contém o certificado SSL do servidor JMX.	N/A	MI
TRUST_STORE_PASSWORD	A senha do armazenamento confiável JMX.	N/A	MI
DEFAULT_JMX_USER	O usuário padrão que está se conectando ao host JMX para coletar métricas. Se o campo nome de usuário for omitido para um host JMX, esse valor será usado.	admin	MI
DEFAULT_JMX_PASSWORD	A senha padrão para conectar-se ao host JMX. Se o campo de senha for omitido para um host JMX, esse valor será usado.	admin	MI
TIMEOUT	O tempo limite para consulta JMX individual em milissegundos.	10.000	MI

Opções de conexão TLS do corretor

Você precisará dessas opções se o protocolo do corretor for SSL ou SASL_SSL.

' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
TLS_CA_FILE	O arquivo de autoridade de certificação para ouvintes SSL e SASL_SSL, no formato PEM.	N/A	MI
TLS_CERT_FILE	O arquivo de certificado do cliente para ouvintes SSL e SASL_SSL, no formato PEM.	N/A	MI
TLS_KEY_FILE	O arquivo de chave do cliente para listeners SSL e SASL_SSL, no formato PEM.	N/A	MI
TLS_INSECURE_SKIP_VERIFY	Ignore a verificação da cadeia de certificados e do nome do host do servidor.	false	MI

Opções de conexão do corretor SASL e Kerberos

Você precisará dessas opções se o protocolo do corretor for SASL_PLAINTEXT ou SASL_SSL.

' ' ' ' ' ' ' ' ' ' ' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
SASL_MECHANISM	O tipo de autenticação SASL a ser usada. As opções suportadas são `SCRAM-SHA-512`, `SCRAM-SHA-256`, `PLAIN` e `GSSAPI`.	N/A	MI
SASL_USERNAME	Nome de usuário SASL necessário com os mecanismos PLAIN e SCRAM.	N/A	MI
SASL_PASSWORD	Senha SASL necessária com os mecanismos PLAIN e SCRAM.	N/A	MI
SASL_GSSAPI_REALM	A região Kerberos é necessária com o mecanismo GSSAPI.	N/A	MI
SASL_GSSAPI_SERVICE_NAME	Nome do serviço Kerberos necessário com o mecanismo GSSAPI.	N/A	MI
SASL_GSSAPI_USERNAME	Nome de usuário Kerberos necessário com o mecanismo GSSAPI.	N/A	MI
SASL_GSSAPI_KEY_TAB_PATH	Caminho da guia da chave Kerberos necessário com o mecanismo GSSAPI.	N/A	MI
SASL_GSSAPI_KERBEROS_CONFIG_PATH	Caminho de configuração Kerberos necessário com o mecanismo GSSAPI.	/etc/krb5.conf	MI
SASL_GSSAPI_DISABLE_FAST_NEGOTIATION	Desative a negociação FAST.	false	MI

Filtragem da coleção do corretor

' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
LOCAL_ONLY_COLLECTION	Colete apenas as métricas referentes ao broker de inicialização configurado. Usado apenas se `autodiscover_strategy` for `bootstrap`. Environments that use discovery (such as Kubernetes) must be set to true because othwerwise brokers will be discovered twice: By the integration, and by the discovery mechanism, leading to duplicate data. Note that activating this flag will skip KafkaTopicSample collection	false	MI
TOPIC_MODE	Determina quantos tópicos coletamos. As opções são `all`, `none`, `list` ou `regex`.	nenhum	MI
TOPIC_LIST	Matriz JSON de nomes de tópicos a serem monitor. Somente terá efeito se `topic_mode` estiver definido como `list`.	[]	MI
TOPIC_REGEX	Padrão Regex que corresponde aos nomes dos tópicos a serem monitor. Somente terá efeito se `topic_mode` estiver definido como `regex`.	N/A	MI
TOPIC_BUCKET	Usado para dividir a coleção de tópicos em várias instâncias. Deve estar no formato `<bucket number>/<number of buckets>`.	1/1	MI
COLLECT_TOPIC_SIZE	Colete a métrica Tamanho do tópico. As opções são `true` ou `false`, o padrão é `false`. This is a resource-intensive metric to collect, especially against many topics.	false	MI
COLLECT_TOPIC_OFFSET	Colete a métrica Deslocamento do tópico. As opções são `true` ou `false`, o padrão é `false`. This is a resource-intensive metric to collect, especially against many topics.	false	MI

Configurar a coleção KafkaConsumerSample e KafkaProducerSample

A integração Kafka coleta informações métricas(M) e de Inventário(I). Verifique a coluna Applies To abaixo para descobrir quais configurações podem ser usadas para cada coleção específica:

' ' ' ' ' ' ' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
CLUSTER_NAME	Nome definido pelo usuário para identificar exclusivamente o cluster que está sendo monitorado. Required.	N/A	MI
PRODUCERS	Produtores para coletar. Para cada produtor, `name`, `hostname`, `port`, `username` e `password` podem ser especificados no formato JSON. `name` é o nome do produtor conforme aparece em Kafka. Caso não seja definido, serão coletadas métricas de todos os produtores do host:port. `host`, `port`, `username` e `password` são as configurações JMX opcionais e usam o padrão se não forem especificados. Também é possível definir o valor `default` para deixar `name` indefinido e usar os valores padrão para `host`, `port`, `username` e `password`. Necessário para produzir KafkaProducerSample. Examples: `[{"host": "localhost", "port": 24, "username": "me", "password": "secret"}]` `[{"name": "myProducer", "host": "localhost", "port": 24, "username": "me", "password": "secret"}]`	[]	MI
CONSUMERS	Consumidor a cobrar. Para cada consumidor, `name`, `hostname`, `port`, `username` e `password` podem ser especificados no formato JSON. `name` é o nome do consumidor conforme aparece no Kafka. Caso não seja definido, serão coletadas as métricas de todos os consumidores no host:port. `host`, `port`, `username` e `password` são as configurações JMX opcionais e usam o padrão se não forem especificados. Também é possível definir o valor `default` para deixar `name` indefinido e usar os valores padrão para `host`, `port`, `username` e `password`. Necessário para produzir KafkaConsumerSample. Examples: `[{"host": "localhost", "port": 24, "username": "me", "password": "secret"}]` `[{"name": "myConsumer", "host": "localhost", "port": 24, "username": "me", "password": "secret"}]`	[]	MI
DEFAULT_JMX_HOST	O host padrão para coletar a métrica JMX. Se o campo host for omitido de uma configuração de produtor ou consumidor, esse valor será usado.	host local	MI
DEFAULT_JMX_PORT	A porta padrão para coletar métricas JMX. Se o campo port for omitido de uma configuração de produtor ou consumidor, este valor será utilizado.	9999	MI
DEFAULT_JMX_USER	O usuário padrão que está se conectando ao host JMX para coletar métricas. Se o campo nome de usuário for omitido de uma configuração de produtor ou consumidor, esse valor será usado.	admin	MI
DEFAULT_JMX_PASSWORD	A senha padrão para conectar-se ao host JMX. Se o campo de senha for omitido de uma configuração de produtor ou consumidor, este valor será utilizado.	admin	MI
METRICS	Defina como `true` para ativar a coleta somente de métricas.	false
INVENTORY	Defina como `true` para ativar a coleta somente de inventário.	false

Opções de SSL e tempo limite JMX

Estas opções se aplicam a todas as conexões JMX na instância.

' ' ' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
KEY_STORE	O caminho do arquivo do keystore que contém o certificado SSL do cliente JMX.	N/A	MI
KEY_STORE_PASSWORD	A senha para o armazenamento de chaves JMX SSL.	N/A	MI
TRUST_STORE	O caminho do arquivo do keystore confiável que contém o certificado SSL do servidor JMX.	N/A	MI
TRUST_STORE_PASSWORD	A senha do armazenamento confiável JMX.	N/A	MI
TIMEOUT	O tempo limite para consulta JMX individual em milissegundos.	10.000	MI

Configurar a coleção KafkaOffsetSample

A integração Kafka coleta informações métricas e de inventário. Verifique a coluna Applies To abaixo para descobrir quais configurações podem ser usadas para cada coleção específica:

' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
CLUSTER_NAME	Nome definido pelo usuário para identificar exclusivamente o cluster que está sendo monitorado. Required.	N/A	MI
KAFKA_VERSION	A versão do corretor Kafka ao qual você está se conectando, usada para definir versões ideais da API. Deve corresponder ou ser inferior à versão do corretor. Versões anteriores a 1.0.0 podem estar faltando algum recurso. Note that if the broker binary name is kafka_2.12-2.7.0 the Kafka api version to be used is 2.7.0, the preceding 2.12 is the Scala language version.	1.0.0	MI
AUTODISCOVER_STRATEGY	o método de descobrir corretores. As opções são `zookeeper` ou `bootstrap`.	zookeeper	MI
CONSUMER_OFFSET	Preencha os dados de deslocamento do consumidor em KafkaOffsetSample se definido como verdadeiro. Note that this option will skip Broker/Consumer/Producer collection and only collect KafkaOffsetSample	false	MI
CONSUMER_GROUP_REGEX	padrão regex que corresponde aos grupos de consumidores para os quais coletar estatísticas de compensação. Isto limita-se à recolha de estatísticas para 300 grupos de consumidores. Nota: Esta opção deve ser definida quando o CONSUMER_OFFSET for verdadeiro.	N/A	MI
INACTIVE_CONSUMER_GROUP_OFFSET	Coleta métricas de compensação de grupos de consumidores sem nenhum CONSUMER_OFFSET ativo, requer que o consumidor seja definido como verdadeiro.	false	MI
CONSUMER_GROUP_OFFSET_BY_TOPIC	Ativa uma agregação de métrica extra para consumerGroup por tópico. requer que o CONSUMER_OFFSET seja definido como verdadeiro.	N/A	MI
METRICS	Defina como `true` para ativar a coleta somente de métricas.	false
INVENTORY	Defina como `true` para ativar a coleta somente de inventário.	false

Argumentos de descoberta automática do Zookeeper

Isso só é relevante quando a opção autodiscover_strategy está definida como zookeeper.

' ' ' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
ZOOKEEPER_HOSTS	A lista de hosts Apache ZooKeeper (em formato JSON) que precisam ser conectados. If `CONSUMER_OFFSET` is set to `false` `KafkaBrokerSamples` and `KafkaTopicSamples` will be collected.	[]	MI
ZOOKEEPER_AUTH_SCHEME	O esquema de autenticação do ZooKeeper usado para conexão. Atualmente, o único valor suportado é `digest`. Se omitido, nenhuma autenticação será usada.	N/A	MI
ZOOKEEPER_AUTH_SECRET	O segredo de autenticação do ZooKeeper usado para conexão. Deve estar no formato `username:password`. Obrigatório apenas se `zookeeper_auth_scheme` for especificado.	N/A	MI
ZOOKEEPER_PATH	O nó Zookeeper sob o qual reside a configuração do Kafka. O padrão é `/`.	N/A	MI
PREFERRED_LISTENER	Use um ouvinte específico para se conectar a um corretor. Se não for definido, o primeiro ouvinte que passar em uma conexão de teste bem-sucedida será usado. Os valores suportados são `PLAINTEXT`, `SASL_PLAINTEXT`, `SSL` e `SASL_SSL`. *Observe que os protocolos `SASL_` suportam apenas a autenticação Kerberos (GSSAPI).**	N/A	MI

Argumentos de descoberta do corretor Bootstrap

Isso só é relevante quando a opção autodiscover_strategy está definida como bootstrap.

' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
BOOTSTRAP_BROKER_HOST	O host do corretor de inicialização. If `CONSUMER_OFFSET` is set to `false` `KafkaBrokerSamples` and `KafkaTopicSamples` will be collected.	N/A	MI
BOOTSTRAP_BROKER_KAFKA_PORT	A porta Kafka para o corretor de inicialização.	N/A	MI
BOOTSTRAP_BROKER_KAFKA_PROTOCOL	O protocolo a ser usado para conectar-se ao corretor de inicialização. Os valores suportados são `PLAINTEXT`, `SASL_PLAINTEXT`, `SSL` e `SASL_SSL`. *Observe que os protocolos `SASL_` suportam apenas a autenticação Kerberos (GSSAPI).**	PLAINTEXT	MI
BOOTSTRAP_BROKER_JMX_PORT	A porta JMX a ser usada para coleta em cada intermediário no cluster. Note that all discovered brokers should have JMX active on this port	N/A	MI
BOOTSTRAP_BROKER_JMX_USER	O usuário JMX a ser usado para coleta em cada intermediário no cluster.	N/A	MI
BOOTSTRAP_BROKER_JMX_PASSWORD	A senha JMX a ser usada para coleta em cada intermediário no cluster.	N/A	MI

Opções de SSL e tempo limite JMX

Elas se aplicam a todas as conexões JMX em uma instância.

' ' ' ' ' ' ' ' ' ' ' '

Contexto	Descrição	Padrão	Aplica-se a
KEY_STORE	O caminho do arquivo do keystore que contém o certificado SSL do cliente JMX.	N/A	MI
KEY_STORE_PASSWORD	A senha para o armazenamento de chaves JMX SSL.	N/A	MI
TRUST_STORE	O caminho do arquivo do keystore confiável que contém o certificado SSL do servidor JMX.	N/A	MI
TRUST_STORE_PASSWORD	A senha do armazenamento confiável JMX.	N/A	MI
DEFAULT_JMX_USER	O usuário padrão que está se conectando ao host JMX para coletar métricas. Se o campo nome de usuário for omitido para um host JMX, esse valor será usado.	admin	MI
DEFAULT_JMX_PASSWORD	A senha padrão para conectar-se ao host JMX. Se o campo de senha for omitido para um host JMX, esse valor será usado.	admin	MI
TIMEOUT	O tempo limite para consulta JMX individual em milissegundos.	10.000	MI

Resolução de problemas

' '

A integração Kafka utiliza uma ferramenta auxiliar JMX chamada nrjmx para recuperar métrica JMX de corretores, consumidores e produtores. O JMX precisa ser habilitado e configurado em todos os brokers do cluster. Além disso, o firewall precisa ser ajustado para permitir conexões do host que executa a integração com os brokers pela porta JMX.

Para verificar se o JMX está configurado corretamente, execute o comando a seguir para cada agente da máquina que executa a integração do Kafka. Substitua as variáveis PORT, USERNAME e PASSWORD pelas configurações JMX correspondentes para os corretores:

bash

$echo "*:*" | nrjmx -hostname MY_HOSTNAME -port MY_PORT -v -username MY_USERNAME -password MY_PASSWORD

O comando deve gerar a saída mostrando uma longa série de métricas sem erros.

A integração pode mostrar um erro como este:

bash

$KRB Error: (6) KDC_ERR_C_PRINCIPAL_UNKNOWN Client not found in Kerberos database

Verifique o keytab com o comando kinit. Substitua os campos destacados pelos seus valores:

bash

$$ kinit -k -t KEY_TAB_PATH USERNAME

Se a combinação nome de usuário/keytab estiver correta, o comando acima deverá terminar sem imprimir nenhum erro.

Verifique o domínio usando o comando klist:

bash

$$ klist |grep "Default principal:"

Você deverá ver algo assim:

bash

$Default principal: johndoe@a_realm_name

Verifique se o nome do usuário e a região impressos correspondem aos parâmetros sasl_gssapi_realm e sasl_gssapi_username na configuração de integração.

Esta tradução de máquina é fornecida para sua comodidade.

Definições de configuração de integração do Kafka

Etiquetas e atributo personalizado

Dados de inventário

Configurar a coleção KafkaBrokerSample e KafkaTopicSample

Argumentos de descoberta automática do Zookeeper

Argumentos de descoberta do corretor Bootstrap

Opções JMX

Opções de conexão TLS do corretor

Opções de conexão do corretor SASL e Kerberos

Filtragem da coleção do corretor

Configurar a coleção KafkaConsumerSample e KafkaProducerSample

Opções de SSL e tempo limite JMX

Configurar a coleção KafkaOffsetSample

Argumentos de descoberta automática do Zookeeper

Argumentos de descoberta do corretor Bootstrap

Opções de SSL e tempo limite JMX

Resolução de problemas

Dados duplicados sendo relatados

A integração está registrando erros 'zk: nó não encontrado'

Erros de conexão JMX

Falha na autenticação Kerberos

Esta tradução de máquina é fornecida para sua comodidade.

Definições de configuração de integração do Kafka

Etiquetas e atributo personalizado .css-21sua1{background:none;border:none;width:0;padding:0;}

Dados de inventário

Configurar a coleção KafkaBrokerSample e KafkaTopicSample

Argumentos de descoberta automática do Zookeeper

Argumentos de descoberta do corretor Bootstrap

Opções JMX

Opções de conexão TLS do corretor

Opções de conexão do corretor SASL e Kerberos

Filtragem da coleção do corretor

Configurar a coleção KafkaConsumerSample e KafkaProducerSample

Opções de SSL e tempo limite JMX

Configurar a coleção KafkaOffsetSample

Argumentos de descoberta automática do Zookeeper

Argumentos de descoberta do corretor Bootstrap

Opções de SSL e tempo limite JMX

Resolução de problemas

A integração está registrando erros 'zk: nó não encontrado'

Erros de conexão JMX

Falha na autenticação Kerberos

Etiquetas e atributo personalizado