Nesta seção, você explorará a arquitetura do pipeline de ingestão, que representa visualmente como seus dados de telemetria fluem pelo sistema. Você verá como o uso de regras de gateway e cloud pode impactar o volume de dados e otimizar sua estratégia de gerenciamento de dados.
Componentes do seu pipeline de ingestão
Fontes do MELT:
- métrica, evento, logs e rastreamento (MELT): esses são os principais tipos de dados de observabilidade que você coleta de várias fontes. Eles formam o ponto de partida do seu pipeline de ingestão.
Linhas de fluxo de dados:
- Linhas emanam de cada fonte MELT, representando os dados sendo enviados ao NRDB. Cada linha é anotada com um volume de dados, medido em milhões (M), indicando a quantidade de volume de dados em trânsito.
Porta de entrada:
- Posicionado entre as fontes MELT e as regras cloud , o gateway atua como um filtro, aplicando as regras definidas pelo usuário para descartar dados de baixo valor antes que eles saiam da rede. Isso reduz o volume de dados enviados ao NRDB, otimizando os custos de armazenamento e saída.
Regras da nuvem:
- As regras da nuvem são aplicadas dentro do New Relic Cloud, filtrando ainda mais os dados antes que eles cheguem ao NRDB. O diagrama indica o número de regras operacionais cloud .
Banco Nacional de Desenvolvimento Econômico e Social (NRDB):
- O New Relic banco de dados (NRDB) é o destino final dos dados processados. Ele armazena os dados de telemetria refinados, prontos para sua análise e visualização.
Representação visual
A visualização do pipeline de ingestão é organizada em três seções principais que mostram seu fluxo de trabalho de processamento de dados:
Fontes:
- Exibe os quatro tipos de telemetria (Métricas, Evento, Logs, Traces) que agentes e coletores enviam para a New Relic. Cada origem mostra o volume de dados fluindo pelo pipeline. Isso representa os pontos de entrada para seus dados de observabilidade.
Porta de entrada:
- Mostra os cartões de configuração do processador que transformam e filtram seus dados. Cada processador (Regra de Amostragem, Filtro, Transformação) exibe seu status atual de configuração e regras. Você pode visualizar e gerenciar como os dados são processados antes de saírem da sua infraestrutura.
Nuvem:
- Indica regras de cloud em execução na infraestrutura da New Relic. Mostra o número de regras ativas (por exemplo, "0 regras" quando nenhuma regra de cloud está configurada). Isso representa a filtragem adicional aplicada após os dados chegarem aos endpoints da New Relic.