Gerencie o ciclo de vida do seu coletor de log

Visão geral

A solução de gerenciamento do ciclo de vida do coletor de logs no New Relic permite o gerenciamento da sua infraestrutura de coleta de logs em diversos ambientes. Com esta solução, você pode configurar e monitorar o ciclo de vida do seu coletor de logs.

Agora você tem a capacidade de gerenciar todo o ciclo de vida do seu coletor de logs. Isso inclui monitorar sua saúde e configurar ou implantar alterações conforme necessário.

Esta solução é útil para equipes DevOps , administradores de sistemas e gerentes de operações de TI que exigem visibilidade sobre sua infraestrutura de coleta de logs. Você tem acesso a ferramentas que aprimoram seus recursos de observabilidade e mantêm o desempenho em ambientes em contêineres e locais.

Soluções para diversas necessidades

• Monitoramento de saúde do coletor de logs: A interface da entidade Fluent Bit fornece recursos de monitoramento para coletor de logs.

• resolução de problemas: você pode solucionar e corrigir problemas de configuração com seu coletor de log usando a interface de entidade Fluent Bit , que ajuda a identificar e resolver problemas.

• Configuração e implantação remota: Com o New Relic Control, você pode gerenciar centralmente as configurações Fluent Bit , atualizá-las e implantar alterações remotamente.

  

Gerencie seu coletor Fluent Bit para cluster do Kubernetes

A solução de gerenciamento do ciclo de vida do coletor de log atualmente fornece suporte para ambientes Kubernetes. Ele permite que você:

• Reúna e processe logs de todos os seus aplicativos em contêineres.
• Anexe metadados relacionados ao Kubernetes aos seus logs.
• Use o design leve do Fluent Bit para processar grandes volumes de dados sem consumir muitos recursos.

Pré-requisitos

Antes de instalar e configurar o Fluent Bit para logging com o New Relic, certifique-se de ter os seguintes pré-requisitos:

• Acesso a um cluster do Kubernetes
• As ferramentas e permissões necessárias para instalação e configuração
• Configurações de rede e políticas de segurança para permitir a comunicação com o ponto de extremidade New Relic
• Uma conta New Relic

Para obter mais informações sobre esses requisitos, consulte Encaminhar seus logs para o New Relic.
Para obter informações sobre a configuração do New Relic Control, consulte Introdução ao New Relic Control.

Configurar

Para instalar o agente Fluent Bit no cluster do Kubernetes:

• Instale a integração do New Relic Kubernetes. Esta integração inclui o plugin Kubernetes para logs.
• Use as opções de configuração disponíveis no repositório newrelic-logging durante a instalação guiada.

Para obter detalhes, consulte Habilitar o Kubernetes para gerenciamento de logs.

Instale Fluent Bit com Controle de Agentes

Se você está começando com o Controle de Agentes, primeiro configure sua configuração de controle de agente. Este processo inclui a instalação do agente Fluent Bit e outros componentes essenciais.

Para usar Fluent Bit com o Agent Control, habilite o encaminhamento de logs como parte da instalação do Agent Control, conforme mostrado no exemplo de configuração:

global:
cluster: "YOUR_CLUSTER_NAME"
licenseKey: "YOUR_LICENSE_KEY"
userKey: "YOUR_USER_KEY"

# Values related to the agent control's Helm chart release.
# `https://github.com/newrelic/helm-charts/blob/master/charts/agent-control/values.yaml`
agent-control-deployment:
  identityClientId: ""
  identityClientSecret: ""
  config:
      fleet_control:
      # Optional: Specify a fleet_id (entity guid) to automatically connect to an existing fleet.
      fleet_id: ""
      auth:
          # New Relic organization ID where agent will connect to.
          organizationId: "YOUR_ORGANIZATION_ID"
      
      # List of managed agents that will be deployed. The key represents the name of the agent and the value holds the configuration.
  subAgents:
    infrastructure:
      type: newrelic/com.newrelic.infrastructure:0.1.0
      content:
        # Ref: `https://github.com/newrelic/helm-charts/tree/master/charts/nri-bundle`
        # Recommended: check and define an explicit chart version (latest stable)
        chart_version: "*"   
        # chart_values:
        #   newrelic-infrastructure:
        #   enableProcessMetrics: true
    logs:
        type: newrelic/io.fluentbit:0.1.0
        content:
        # Ref: `https://github.com/newrelic/helm-charts/tree/master/charts/newrelic-logging`
        # Recommended: check and define an explicit chart version (latest stable)
        chart_version: "*"
        chart_values:
            newrelic-logging:
              sendMetrics: true
  agent-operator:
    type: com.newrelic.k8s_agent_operator:0.1.0
    content:
      chart_version: "*"

Lembre-se de descomentar a configuração necessária e substituir espaço reservado, como YOUR_CLUSTER_NAME e YOUR_LICENSE_KEY , pelos seus valores reais.

Gerenciar e implantar configuração via Controle de Agentes

Para adicionar uma nova configuração Fluent Bit ou editar uma existente, use o Controle de Agentes. As tarefas de alto nível para gerenciar e implantar uma configuração são:

Crie uma configuração

Para criar uma configuração Fluent Bit, siga estas etapas:

1. No New Relic, vá em Todos os Recursos, procure por New Relic Control e fixe-o na lateral.
2. No New Relic Control, abra Configuração.
3. Clique em Create configuration.
4. Para criar uma configuração do zero, clique em New no menu suspenso. Se você tiver uma configuração existente do Fluent Bit e quiser aproveitá-la, clone-a clicando em Clone.
5. Na caixa de diálogo Criar configuração, certifique-se de que Kubernetes esteja selecionado como o ambiente, selecione Fluent Bit como o tipo de agente e insira um nome para a configuração. Em seguida, clique em Continue.
6. Na coluna de configuração, copie o modelo de configuração e personalize-o de acordo com suas necessidades. Para detalhes, veja parâmetro suportado.
7. Salve suas alterações. Sua configuração será adicionada à lista de configurações na página de configuração.
8. Para editar sua configuração, selecione os três pontos (…) ao lado dela, clique em Edit configuration e faça suas alterações. Em seguida, clique em Save.

Criar uma implantação

1. No New Relic Control, abra Fleets.
2. Selecione a frota para a qual deseja criar uma configuração do Fluent Bit.
3. Clique em Create a deployment.
4. Na página Nova implantação, insira um nome e uma descrição para a implantação e clique em Add a configuration.
5. Selecione Fluent Bit como o tipo de agente, selecione a configuração que deseja implantar e clique em Next.
6. Selecione a versão da configuração.

7. Clique em Add to deployment.

8. Clique em Start deployment.

Ver frota

Em Frotas, selecione a frota específica com a qual deseja trabalhar. Isso abre a página de detalhes da frota. A aba Resumo mostra as entidades que fazem parte da sua frota. Para visualizar detalhes do agente ou implantação, utilize a aba agente ou implantação.

Monitore a saúde e o desempenho do seu coletor de log

O monitoramento eficaz do desempenho do agente Fluent Bit é crucial para gerenciamento de logs e otimização dentro de seus ambientes Kubernetes . Ao acompanhar as principais métricas, você pode identificar possíveis problemas e facilitar a resolução de problemas.

Métrica-chave de desempenho a ser rastreada

• Taxa de transferência de logs: mede a eficiência do fluxo de logs e destaca quaisquer interrupções. Inclui uma avaliação geral das taxas de transferência, que é ainda dividida por plugins de entrada e saída para mostrar o fluxo de registros e bytes processados.
• Utilização do buffer de memória: ajuda a identificar restrições de recursos que afetam o processamento de log. Inclui uso de buffer, instância de estouros, comprimento de fila e utilização geral de processo e memória do contêiner.
• contêiner evento e backoffs de loop de travamento: alertas para condições anormais ou falhas no pod de log, incluindo erros, registros descartados e novas tentativas. Esses insights ajudam a identificar e resolver problemas que podem interromper o processamento de logs.

Você pode monitorar a saúde e o desempenho do seu Fluent Bit agente no da Fluent Bit entidade dashboard. Veja como você pode acessá-lo:

Via integração & agente

1. Abra a aba Installed . Você verá a lista de agentes e integrações atualmente instalados.
2. Use o campo de pesquisa de entidade ou o filtro Tipo para restringir a lista ao agente Fluent Bit .
3. Selecione o agente que você deseja verificar.

Via Todas as entidades

1. Encontre o agente que você deseja monitorar no grupo Fluent Bit - Kubernetes.
2. Selecione o agente.

Via Frota

1. No New Relic Control, abra Fleets.
2. Identifique e selecione a frota que possui a instrumentação Fluent Bit.
3. Na aba agente, selecione o agente Fluent Bit .

Exemplo de caso de uso: eficiência do fluxo de log

Imagine que os logs no seu cluster do Kubernetes não estão chegando ao New Relic na taxa normal. O fluxo típico de logs pode ser em torno de 150.000 logs por minuto, mas observações atuais sugerem uma queda perceptível. Veja como você pode resolver essa situação, aproveitando as ferramentas de monitoramento New Relic Control e Fluent Bit para diagnosticar e resolver o problema.

Passo 1: Monitorar o log de taxas de transferência

Comece verificando a taxa na qual os logs são encaminhados. Discrepâncias podem indicar interrupções no processo de encaminhamento de logs.

Passo 2: Analisar contêineres métricos e eventos

Acesse a visão geral Kubernetes para identificar qualquer evento anormal ou reinicializações no pod de log. Reinicializações frequentes ou eventos de aviso, como interrupções no loop de falhas, podem interromper seu pipeline de log e indicar problemas subjacentes.

Etapa 3: Verifique o uso da memória

Examine o consumo de memória do seu agente Fluent Bit . O uso alto ou irregular de memória pode indicar erros de configuração ou limitações de recursos que precisam ser resolvidos.

Passo 4: Utilize o Controle de Agentes para resolução de problemas

Use o Controle de Agentes para revisar as alterações recentes de configuração. Identificar e retificar quaisquer configurações erradas, como limites de memória incorretos, pode resolver o gargalo e melhorar as taxas de transferência de log.

Etapa 5: Reimplante e verificação

Após fazer os ajustes necessários na configuração do Controle de Agentes, inicie uma nova implantação para aplicar as alterações. Utilize a visualização entidade Fluent Bit para monitorar o tempo real métrico e observar o impacto da nova configuração. Procure recuperação no log de taxas de transferência e estabilidade no uso de memória, indicando que os problemas foram resolvidos.

Atualize seu agente Fluent Bit

Atualize seu agente Fluent Bit regularmente para aproveitar os últimos recursos, melhorias de desempenho e patches de segurança. Você pode saber diretamente na interface do usuário do New Relic quando uma versão mais recente estiver disponível.

Antes de atualizar, certifique-se de fazer backup da sua configuração atual. Revise todas as notas de versão ou documentação para entender novos recursos ou alterações.

Passos para verificar se você está atualizado

1. Na sua conta New Relic , clique em Integrations & Agents e depois abra a aba Installed .
   Você verá a lista de agentes e integrações atualmente instalados.
2. Use o campo de pesquisa de entidade ou o filtro Tipo para restringir a lista ao agente Fluent Bit .
3. Identifique o agente que requer uma atualização.
4. Clique em Update from vx.y.x to X.Y.Z.
5. No painel lateral que desliza para dentro, clique em Exibir notas de versão.
6. Na página de notas de versão do Fluent Bit, observe a versão mais recente do gráfico Helm.
7. De volta ao New Relic, feche o painel lateral e clique na frota que contém o agente. Ele abre o resumo da frota no New Relic Control.
8. Selecione a configuração Fluent Bit.
9. Atualize a versão do gráfico no arquivo de configuração de acordo com a versão do gráfico que você anotou anteriormente e salve suas alterações.
10. implantar a configuração.

Após a atualização, verifique a coleta e o processamento de logs para confirmar se o agente opera conforme o esperado. Use as ferramentas de monitoramento do New Relic para verificar se tudo está funcionando.