AI Monitoring do eBPF

O agente eBPF da New Relic estende a mesma abordagem sem código e independente de linguagem que utiliza para o eBPF APM à camada de IA da stack. Uma vez que o agente está instalado, ele detecta automaticamente as chamadas de saída que os serviços fazem aos provedores de LLM diretamente do kernel do Linux e relata a telemetria de desempenho, custo e confiabilidade da GenAI sem nenhum SDK, alteração de código ou agente de monitoramento de IA dedicado.

Essa telemetria aparece na mesma entidade eBPF descoberta automaticamente que já relata os dados de APM, rede e log, fornecendo uma visão única e unificada da integridade de um serviço juntamente com o uso de IA. Isso é especialmente útil para identificar workloads de GenAI desconhecidos: serviços de terceiros, aplicativos legados ou códigos que não são próprios e que fazem chamadas silenciosas a um fornecedor de LLM.

Recurso chave

• Detecção de GenAI sem código: descobre automaticamente chamadas de saída para provedores de LLM (como OpenAI, Azure OpenAI e Amazon Bedrock) no nível do kernel, sem a necessidade de SDKs, bibliotecas de wrapper ou alterações de código.

• Funciona perfeitamente com o APM do eBPF: vem com o agente eBPF, portanto, não é necessário implantar ou gerenciar um agente separado para começar a coletar a telemetria da GenAI. Há a opção de ativar/desativar o monitoramento de workload de IA do eBPF (desativado por padrão).

• Detecção automática e backoff: suprime a própria telemetria de IA quando um agente APM de linguagem já está instrumentado e relatando dados do AI Monitoring para o mesmo serviço, evitando dados duplicados. Esse é o mesmo padrão que o agente eBPF já usa para dados de APM, rede e log.

• Captura opcional de prompt e resposta: quando ativada, o agente captura apenas metadados da GenAI, como modelo, fornecedor, uso de token, latência e erros. Uma configuração separada permite capturar adicionalmente o conteúdo completo do prompt e da conclusão quando for necessário para depuração ou revisão de qualidade.

• Visualização unificada de entidade: a telemetria de GenAI aparece na mesma entidade que os dados de APM do eBPF, métricas de rede e logs, para que não seja necessário correlacionar várias entidades para entender o comportamento de um serviço.

Provedores de LLM compatíveis

O AI Monitoring do eBPF detecta e relata atualmente chamadas de saída para estes provedores de LLM:

• Google Gemini
• OpenAI
• Anthropic Claude
• Amazon Bedrock

A detecção ocorre no nível do kernel, com base nas chamadas HTTP que os serviços fazem às APIs desses provedores, portanto, nenhum SDK de fornecedor ou biblioteca de cliente é necessário. As chamadas para outros provedores não são relatadas como telemetria da GenAI.

Casos de uso

• Para engenheiros de plataforma: obtenha um inventário de todos os serviços no ambiente que estão chamando um provedor de LLM, incluindo aqueles que não são de propriedade ou que não se sabia que eram habilitados para IA.

• Para equipes com workloads opacos ou de terceiros: monitorar o uso, o custo e a latência de GenAI para aplicativos legados ou binários de fornecedores que não podem ser instrumentados diretamente.

• Para supervisão de custo e desempenho de IA: identificar chamadas de GenAI com uso intenso de token ou resposta lenta em todo o ambiente antes de decidir onde investir em uma instrumentação de AI Monitoring mais profunda e em nível do código.

• Para visibilidade de segurança e conformidade: entenda quais dos serviços enviam dados para provedores de IA externos, para que seja possível decidir onde aplicar regras de ofuscação ou descarte. Consulte Dados Confidenciais e AI Monitoring do eBPF abaixo.

Habilitar o AI Monitoring do eBPF

Embora o recurso esteja desativado por padrão, é possível ativá-lo facilmente — com um controle separado para capturar o conteúdo completo do prompt e da resposta, a partir do fluxo de instalação guiada ou editando a configuração do agente diretamente.

Instalação guiada

Tanto o host do Linux quanto os fluxos de instalação guiada do Kubernetes incluem duas opções para o AI Monitoring:

• Enable eBPF AI Monitoring: Ativa o monitoramento de workload de GenAI. Desativado por padrão.
• Enable recording model inputs and outputs: Captura o conteúdo completo da mensagem (prompts e conclusões) para interações de GenAI. Desativado por padrão e disponível apenas quando Enable eBPF AI Monitoring estiver ativado. Recomenda-se cautela no uso, pois isso envia o texto real do prompt e da resposta para a New Relic.

Configurar manualmente

Se a instalação guiada não estiver sendo usada, defina esses parâmetros na configuração do agente:

• ai_monitoring.enabled: controla os relatórios de telemetria de GenAI. Valores aceitos: "true" (sempre enviar), "false" (nunca enviar), "auto" (enviar apenas quando nenhum APM de linguagem ou agente OTel já estiver relatando dados de AI Monitoring para a entidade).
• ai_monitoring.genAICaptureMessageContent: quando true, captura o conteúdo completo do prompt e da conclusão para interações de GenAI. Só entra em vigor quando ai_monitoring.enabled for true ou auto. Use com cautela.

Em hosts do Linux que usam o script de instalação, defina as variáveis de ambiente ai_monitoring.enabled e ai_monitoring.genAICaptureMessageContent equivalentes. Isso reflete o padrão já usado por reportApmData, reportNetworkMetrics e reportLogs. Para obter a lista completa de parâmetros, consulte a seção Parâmetros de Configuração do guia de instalação do Linux ou de instalação do Kubernetes.

Visualizar os dados do AI Monitoring do eBPF

É possível visualizar os dados de AI Monitoring do eBPF na interface do New Relic APM:

1. Vá para one.newrelic.com > APM & Services.
2. Selecione a entidade do eBPF para o serviço que está chamando um provedor de LLM.
3. Clique em AI monitoring na navegação à esquerda e, em seguida, selecione AI traces.

Dados sensíveis e AI Monitoring do eBPF

Se Enable recording model inputs and outputs for mantido desativado (o padrão), o agente nunca captura o conteúdo do prompt ou da conclusão, apenas metadados como modelo, fornecedor, contagens de token e latência. Isso evita o envio de texto sensível de prompt ou resposta para a New Relic em primeiro lugar.

Se a gravação for ativada porque esse conteúdo é necessário para depuração ou revisão de qualidade, a ofuscação de dados e o descarte de informações confidenciais estarão disponíveis apenas por meio do Gateway de Controle de Pipeline (PCG) usando a OpenTelemetry Transformation Language (OTTL). O fluxo de dados direto do eBPF para a New Relic não inclui ofuscação integrada para dados de AI Monitoring. Entrar em contato com o representante de conta para adicionar o PCG ao pedido.

Por exemplo, esta configuração oculta o conteúdo da conclusão capturado de uma interação de GenAI (ajuste o nome do atributo para corresponder ao que o agente eBPF relata. Consulte a referência de atributos do agente eBPF para obter os nomes exatos dos atributos):

transform/Traces:
  trace_statements:
  - statements:
    - replace_pattern(attributes["gen_ai.completion"], ".+", "***REDACTED***")
    conditions:
    - attributes["gen_ai.completion"] != nil

Este exemplo oculta apenas o atributo de conclusão mostrado. Para regras adicionais ou personalizáveis de ofuscação e descarte, incluindo regras para o conteúdo do prompt, fornecedores de modelos específicos ou outros atributos, configure o processador OTTL Transform compatível diretamente com o PCG. Consulte Ocultar PII para obter mais exemplos.

Artigos relacionados