Logs contextualizados APM

Existem várias maneiras de relatar seus registros ao New Relic. Usar nosso agente APM é uma forma popular, especialmente para equipes menores e equipes DevOps que valorizam o benefício de não precisar usar nenhuma outra gerenciamento de logsferramenta.

Logs contextualizados APM

Nosso agente APMpossui um recurso chamado logs in context. Para saber mais sobre os benefícios deste recurso, veja logs contextualizados.

Para o agente APM, nosso recurso logs contextualizados faz algumas coisas:

• Decora o registro do seu aplicativo com metadados importantes New Relic (como span.id, trace.id, hostname, entity.guid, entity.name) que permitem que você veja seus dados log em várias experiências de interface New Relic .
• Encaminha seu log diretamente para New Relic, para que você não precise de nenhuma ferramenta de terceiros.
• Relata alguma métrica logarítmica. Eles são exibidos no gráfico Logs na página de interface Summary APM .

Nossas versões atuais do agente APM possuem esses recursos habilitados por padrão.

Você tem controle sobre todos os aspectos desse recurso por meio da configuração do agente APM. Por motivos pelos quais você pode querer desabilitar um ou mais deles, consulte Limitações. Por exemplo, se você deseja que um agente APM adicione metadados New Relic , você pode usar o recurso de decoração log , ao mesmo tempo que desativa o encaminhamento de logs e, em vez disso, usa outro agente de log (por exemplo, nosso agente de infraestrutura, ou um agente de registro de terceiros).

Os detalhes de implementação e instruções de configuração variam de acordo com o agente (consulte detalhes do agente).

Para saber mais sobre o poder do logs contextualizados, consulte este exemplo de caso de uso. O exemplo descreve como uma equipe de engenharia usou o logs contextualizados para solucionar o baixo ritmo de resposta do seu aplicativo e o aumento da taxa de erros.

Para ver como o logs contextualizados pode ajudar você a encontrar a causa raiz de um problema em seus aplicativos e hosts, assista a este pequeno vídeo (aprox. 3:40 minutos):

Iniciar

Para configurar o APMlogs contextualizados:

1. Se você ainda não tem uma, crie uma conta New Relic. É grátis, para sempre.
2. Instale um agente APM, certificando-se de ter a versão mais recente do agente APM.
3. As versões mais recentes do nosso agente APM possuem logs contextualizados (adição de metadados e encaminhamento) habilitado por padrão. Às vezes, pode ser necessário fazer algumas atualizações no arquivo de configuração do agente para que o log funcione corretamente. Para obter detalhes sobre isso, consulte Habilitar log para seu agente.

É isso! Inicie a resolução de problemas do seu aplicativo com logs contextualizados APM acessando a interface APM e procurando os dados log associados.

API APM do agente

Se sua framework de log não estiver disponível com nossas soluções de logs contextualizados existentes, você poderá configurar sua biblioteca de log usando chamada de API para anotar seu log.

Configuração log do agente APM

Nosso APMagente mais recente tem o logs contextualizados (decoração log e encaminhamento de logs) ativado por padrão. Aqui estão informações sobre o agente APM que suporta logs contextualizados e encaminhamento de logs:

• Procedimentos de logs contextualizados do Go para o agente v3.17.0 ou superior
• Procedimentos de logs contextualizados de Java para agente v7.6.0 ou superior
• Procedimentos de logs contextualizados do .NET para agente v9.8.0 ou superior
• Procedimentos de Logs contextualizados do Node.js para agente v8.11.0 ou superior
• Procedimentos de logs contextualizados do PHP para agente v10.1.0 ou superior
• Procedimentos de logs contextualizados do Python para agente v7.12.0.176
• Procedimentos de logs contextualizados do Ruby para agente v8.6.0 ou superior

Se você não pode ou não deseja usar o encaminhamento de logs APM , você pode encaminhar seu log usando outra solução.

Limitações

O logs contextualizados APM de contexto está habilitado por padrão. Isso pode ter um impacto negativo na segurança, na conformidade, no faturamento ou no desempenho do sistema.

Aqui estão algumas limitações adicionais conhecidas:

• Com exceção do agente Node.js, o APMencaminhamento de logs não envia o log completo. Saiba mais sobre os detalhes do encaminhamento de logs.
• O log de inicialização não estará disponível até que o agente seja carregado.
• Se você estiver usando Kubernetes, saiba que decoramos o log via instrumentação e não da do Kubernetes API. Isso é separado do registro de gravação no sistema de arquivos. O log nunca toca no host ou existe em um local onde a API pode ser chamada.
• Quando uma exceção é lançada do seu aplicativo, atualmente você não verá o rastreamento de pilha no logs contextualizados associado do agente Java ou .NET. Como solução alternativa, você pode alterar as regras do filtro de descarte.
• O Fluentd pode adicionar o processID da entidade que gerou o log, mas o log APM não consegue ver isso. Além disso, no Kubernetes, a API é chamada para adicionar metadados, mas esses dados não podem ser vistos no aplicativo. Caso necessite dos metadados da entidade, recomendamos que utilize o logs contextualizados automático, mas não envie o log do aplicativo. Em vez disso, continue usando Fluentd, Fluent Bit ou outra solução para encaminhar o arquivo de log.

Se precisar ajustar as configurações padrão, consulte Desativar o registro automático.

Garanta a privacidade dos dados

Nosso pipeline de ingestão log mascara automaticamente cartões de crédito, números de previdência social, identidades nacionais, etc. Para mais informações, consulte nossa documentação de segurança para gerenciamento de logs.

Você também pode criar regras personalizadas para mascarar ou aplicar dados sensíveis a hash em seu log com nosso recurso de ofuscação. Isso é fundamental quando é impraticável ou impossível restringir o acesso a dados confidenciais ou quando alguns dados nunca devem ser armazenados pela New Relic. Leia nossa documentação de ofuscação para saber mais.

Detalhes sobre encaminhamento de logs

Para todos os APMagentes (exceto Node.js), a opção de encaminhamento de logs não encaminha o log inteiro. Para obter detalhes sobre o que é enviado com o encaminhamento de logs, consulte o colapsador abaixo.

{
  "v": "x",
  "level": "x",
  "name": "x",
  "hostname": "x",
  "pid": 01,
  "timestamp": "x",
  "message": "x",
  "bunches": "of custom stuff"
}

{
  "timestamp": "x",
  "message": "x",
  "span.id": "x",
  "trace.id": "x",
  "hostname": "x",
  "entity.guid": "x",
  "entity.name": "x"
}

Se você precisar de mais log relatados, as opções incluem:

• Configure o agente APM para incluir dados de log específicos.
• Mantenha a decoração log no lugar, mas desative o agente APM de encaminhamento de logs e, em vez disso, use sua própria solução de encaminhamento de logs.

Para obter mais informações sobre essas opções, consulte a documentação de log-in-context específica do agente.

Log métrico

Ao configurar um APMagente, você obtém automaticamente um gráfico de métricas de logging na página Summary do APM :

Este gráfico mostra uma contagem de log. Se você não desabilitou o encaminhamento de log , você pode clicar nos links do gráfico que o levarão aos próprios logs. Mesmo se você desabilitar o encaminhamento de log , este gráfico ainda mostra o log potencial que você poderia inspecionar se tivesse o encaminhamento de loghabilitado.

As métricas de registro são reportadas através do atributo apm.service.logging.lines , conforme mostrado na consulta a seguir:

SELECT count(apm.service.logging.lines) FROM Metric WHERE (entity.guid = 'AN_ENTITY_GUID') LIMIT MAX SINCE 60 seconds AGO TIMESERIES

Se não quiser ver o gráfico de métricas de logging, você pode desativá-lo, mas não no nível da conta. Para desativar a métrica de logging, consulte a documentação dedicada de configuração APM para seu agente (por exemplo, esta opção de configuração logging_metrics para PHP).

Evitar log duplicado

Usar a funcionalidade de logs contextualizados aumentará a ingestão de dados. Dependendo do modelo de preços da sua conta, isso pode afetar seus limites de ingestão e faturamento.

Verifique nosso guia de atualização para saber mais sobre como evitar o envio de logs duplicados.

Para obter mais informações, siga os procedimentos para desabilitar seu direcionador de logs específico.

Gerencie seus limites de ingestão

Example: Sua equipe de engenharia está resolvendo problemas com seu aplicativo, então você aumenta temporariamente o volume de log coletado pelo agente APM para fornecer log mais granular. No entanto, se você deixar limites mais altos em vigor por vários dias, isso poderá levar ao envio de dados desnecessários que aumentarão sua fatura.

Para evitar surpresas, recomendamos que você use a consultaNRQL para criar condição do alerta para acompanhar seus limites de ingestão. Por exemplo:

Veja limites de dados e uso na interface

Para revisar seus limites de dados na interface: No menu do usuário, clique em Manage your data > Limits. Ou, para visualizar seu uso, clique em View your usage.

Consulta NRQL : exemplo de custo estimado

Consulte consulta relacionada a custos.

Alerta NRQL : exemplo de limite de uso

Para criar um alerta quando seu uso exceder um limite mensal fixo de gigabytes de dados, adicione esta consultaNRQL à sua condição do alerta:

FROM NrMTDConsumption SELECT latest(GigabytesIngested) WHERE productLine = 'DataPlatform'

Copiar

Exemplo: O poder do logs contextualizados

Aqui está um caso de uso detalhado do uso do APMlogs contextualizados para chegar à causa raiz de um problema.

Example scenario: O engenheiro de plantão recebe uma notificação de alerta New Relic sobre o baixo ritmo de resposta e o aumento da taxa de erros em seu aplicativo. Eles precisam descobrir a causa raiz por trás do aumento de erros e da latência, para que possam decidir se devem retirar um host problemático do balanceamento de carga ou reverter a versão mais recente.

Para iniciar a resolução de problemas, eles vão para a interface New Relic .

Quando e onde os erros começaram?

Quando o engenheiro olha a página APM Summary do aplicativo, ele vê muito mais registros de erros que levam ao aumento no tempo de resposta. Eles querem ver se o log pode expor a causa raiz do problema.

How can they quickly decide what's related to the problem?

Eles não configuraram a coleta log . Mas o agente Java para seu aplicativo foi atualizado recentemente para incluir o logs contextualizados APM, então o aplicativo agora recebe automaticamente o log e os metadados de vinculação. As métricas que aparecem na interface facetam a contagem por gravidade log . (Isso é definido pelos recursos integrados de decoração de log do agente Java.)

What entities are related?

Na mesma página da interface, eles clicam no gráfico Logs para poder revisar a visualização Log summary . Esta visualização mostra quando os logs instrumentados foram coletados e quando esses logs tinham um nível de severidade Error ou pior. Também mostra uma lista de Padrões de toras e qual porcentagem de todas as toras se ajusta a cada padrão.

Que padrões emergem no log?

Na interface Log patterns , mensagens de erro raras começaram a ocorrer com frequência e agora aparecem na lista. Isso ajuda o engenheiro a se concentrar no log problemático em vez de em todas as atualizações de status barulhentas.

What patterns should they focus on?

O engenheiro nota um padrão de tora interessante e quer ver apenas a tora que se enquadra nesse padrão. Eles clicam nele para adicionar o valor do padrão como um filtro ao log que está sendo exibido. Isso restringe o foco.

O que mais detalhes log podem revelar?

O engenheiro deseja ver todos os valores contidos no registro de log, então clica na visualização Log details . Isso os ajuda a validar se o log em si é significativo. Ele também permite que eles se aprofundem no ambiente Kubernetes em que o aplicativo é executado ou diretamente em qualquer rastreamento distribuído ou APMerros relacionados ao registro log .

O engenheiro decide olhar o erro do APM onde pode ver um stack trace. Eles também podem ver o registro da interface Errors inbox .

Quais dados de teste adicionais ajudarão a solucionar problemas?

A equipe de resolução de problemas tem realizado testes para isolar a causa, mas nem todos os logs foram coletados para o teste de transação. A coleta log padrão no arquivo de configuração do agente Java (aproximadamente 10.000 logs por minuto em application_logging:forwarding:max_samples_stored:) tem sido útil para validar se os serviços têm um problema. Mas agora eles precisam aumentar a amostragem para um número maior para uma resolução de problemas mais detalhada.

Problema resolvido. O que agora?

A equipe de resolução de problemas determina que o problema decorre de uma alteração introduzida recentemente e reverte esse código. Para economizar recursos e consumir despesas, eles recusam a coleta log de application_logging:forwarding:max_samples_stored: no arquivo de configuração, mas mantêm a amostragem log em execução caso o problema se repita.

A equipe de resolução de problemas também atualiza seus runbooks para apontar para a página Log patterns filtrada para esse aplicativo e adiciona o runbook à condição do alerta. Da próxima vez que receberem um alerta semelhante a esta situação, poderão usar as lições aprendidas para uma resolução de problemas mais rápida.