AWS Glue monitoramento integração

Importante

Habilite a integração do AWS CloudWatch Metric Streams para monitor todas as métricas do CloudWatch de seus serviços da AWS, incluindo namespace personalizado. A integração individual não é mais nossa opção recomendada.

Atualmente, as métricas AWS do CloudWatch oferecem suporte apenas a trabalhos ETL AWS Glue Spark. Eles não oferecem suporte a trabalhos do AWS Glue Python Shell. Uma solicitação de recurso ativa foi enviada à equipe do AWS Glue para incluir esse suporte.

A New Relic oferece uma integração para relatar seus dados do AWS Glue . Este documento explica como ativar esta integração e descreve os dados que podem ser reportados.

Ativar integração

Para habilitar essa integração, siga os procedimentos padrão para conectar os serviços da AWS ao New Relic.

Configuração e polling

Você pode alterar a frequência de pesquisa e filtrar dados usando opções de configuração.

Informações de pesquisa padrão para a integração do AWS Glue:

Intervalo de sondagem New Relic : 5 minutos
Intervalo de dados do Amazon CloudWatch: 1 minuto

Encontre e use dados

Para encontrar seus dados de integração, acesse one.newrelic.com > All capabilities > Infrastructure > AWS e selecione uma integração.

Você pode consultar e explorar seus dados usando o seguinte tipo de evento:

Entidade	Tipo de evento	Fornecedor
Trabalho	`AwsGlueJobSample`	`AwsGlueJob`

Para saber mais sobre como usar seus dados, consulte Compreender e usar dados de integração.

Dados métricos

Essa integração coleta dados do AWS Glue para o trabalho.

Cole dados do trabalho

Métrica	Unidade	Descrição
`glue.driver.aggregate.bytesRead`	Bytes	O número de bytes lidos de todas as fontes de dados por todas as tarefas concluídas do Spark em execução em todos os executores.
`glue.driver.aggregate.elapsedTime`	Milissegundos	O tempo decorrido de ETL em milissegundos (não inclui os tempos de inicialização do trabalho).
`glue.driver.aggregate.numCompletedStages`	Contar	O número de etapas concluídas no trabalho.
`glue.driver.aggregate.numCompletedTasks`	Contar	O número de tarefas concluídas no trabalho.
`glue.driver.aggregate.numFailedTasks`	Contar	O número de tarefas com falha.
`glue.driver.aggregate.numKilledTasks`	Contar	O número de tarefas eliminadas.
`glue.driver.aggregate.recordsRead`	Contar	O número de registros lidos de todas as fontes de dados por todas as tarefas concluídas do Spark em execução em todos os executores.
`glue.driver.aggregate.shuffleBytesWritten`	Bytes	O número de bytes gravados por todos os executores para embaralhar os dados entre eles desde o relatório anterior (agregado pelo AWS métrico Glue dashboard como o número de bytes gravados para esse fim durante o minuto anterior).
`glue.driver.aggregate.shuffleLocalBytesRead`	Bytes	O número de bytes lidos por todos os executores para embaralhar os dados entre eles desde o relatório anterior (agregado pelo AWS métrico Glue dashboard como o número de bytes lidos para esse fim durante o minuto anterior).
`glue.driver.BlockManager.disk.diskSpaceUsed_MB`	Bytes	O número de megabytes de espaço em disco usados em todos os executores.
`glue.driver.ExecutorAllocationManager.executors.numberAllExecutors`	Contar	O número de executores de trabalho em execução ativa.
`glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors`	Contar	O número máximo de executores de trabalho (em execução ativa e pendentes) necessários para satisfazer a carga atual.
`glue.driver.jvm.heap.usage`	Por cento	A fração de memória usada pelo heap JVM para esse driver (escala: 0-1) para driver.
`glue.ALL.jvm.heap.usage`	Por cento	A fração de memória usada pelo heap JVM para esse driver (escala: 0-1) para TODOS os executores.
`glue.driver.jvm.heap.used`	Bytes	O número de bytes de memória usados pelo heap JVM para o driver.
`glue.ALL.jvm.heap.used`	Bytes	O número de bytes de memória usados pelo heap JVM para TODOS os executores.
`glue.driver.s3.filesystem.read_bytes`	Bytes	O número de bytes lidos do Amazon S3 pelo driver desde o relatório anterior (agregado pelo AWS métrico Glue dashboard como o número de bytes lidos durante o minuto anterior).
`glue.ALL.s3.filesystem.read_bytes`	Bytes	O número de bytes lidos do Amazon S3 por TODOS os executores desde o relatório anterior (agregado pelo AWS métrico Glue dashboard como o número de bytes lidos durante o minuto anterior).
`glue.driver.s3.filesystem.write_bytes`	Bytes	O número de bytes gravados no Amazon S3 pelo driver desde o relatório anterior (agregado pelo AWS métrico Glue dashboard como o número de bytes gravados durante o minuto anterior).
`glue.ALL.s3.filesystem.write_bytes`	Bytes	O número de bytes gravados no Amazon S3 por TODOS os executores desde o relatório anterior (agregado pelo AWS métrico Glue dashboard como o número de bytes gravados durante o minuto anterior).
`glue.driver.system.cpuSystemLoad`	Por cento	A fração da carga do sistema da CPU usada (escala: 0-1) pelo driver.
`glue.ALL.system.cpuSystemLoad`	Por cento	A fração da carga do sistema da CPU usada (escala: 0-1) pelos executores ALL.

Esta tradução de máquina é fornecida para sua comodidade.