Amazon EMR monitoramento de integração

Importante

Habilite a integração do AWS CloudWatch Metric Streams para monitor todas as métricas do CloudWatch de seus serviços da AWS, incluindo namespace personalizado. A integração individual não é mais nossa opção recomendada.

A integração da infraestrutura da New Relic inclui uma integração para relatar seus dados do Amazon EMR (Elastic MapReduce) para a New Relic. Este documento explica como ativar essa integração e descreve os dados que podem ser relatados.

Recurso

Você pode monitor e alertar sobre seus dados EMR diretamente do New Relic, consultar dados e criar um painel.

Ativar integração

Para habilitar essa integração, siga os procedimentos padrão para conectar os serviços da AWS ao New Relic.

Configuração e polling

Você pode alterar a frequência de pesquisa e filtrar dados usando opções de configuração.

Informações de pesquisa padrão para a integração do Amazon EMR:

Intervalo de sondagem New Relic : 5 minutos
Resolução: 1 ponto de dados a cada 5 minutos

Explore dados de integração

Para usar seus dados de integração, acesse one.newrelic.com > All capabilities > Infrastructure > AWS e selecione um dos links de integração do EMR.

Você pode consultar e explorar seus dados usando o tipo de evento ElasticMapReduceClusterSample , com um valor provider de ElasticMapReduceCluster.

Dados métricos

Essa integração coleta os seguintes dados do Amazon EMR. Para casos de uso e informações adicionais, consulte a documentação do EMR da Amazon.

Nome	Descrição
`isIdle`	Indica que um cluster não está mais executando trabalho, mas ainda está ativo e acumulando cobranças. É definido como 1 se nenhuma tarefa estiver em execução e nenhum trabalho estiver em execução, e definido como 0 caso contrário. Esse valor é verificado em intervalos de cinco minutos, e um valor 1 indica apenas que o cluster estava inativo quando verificado, e não que ficou inativo durante os cinco minutos inteiros. Recomendação: Para evitar falso positivo, aumente um limite de alerta quando este valor for 1 por mais de uma verificação consecutiva de cinco minutos. Por exemplo, gere um alerta sobre esse valor se ele tiver sido 1 por trinta minutos ou mais.
`coreNodesRunning`	O número de nós principais funcionando. Os pontos de dados para esta métrica são reportados apenas quando existe um grupo de instâncias correspondente.
`coreNodesPending`	O número de nós principais aguardando para serem atribuídos. Todos os nós principais solicitados podem não estar disponíveis imediatamente; esta métrica relata as solicitações pendentes. Os pontos de dados para esta métrica são reportados apenas quando existe um grupo de instâncias correspondente.
`liveDataNodesPercentage`	A porcentagem de nós de dados que estão recebendo trabalho do Hadoop.
`s3WrittenBytes`	O número de bytes gravados no Amazon S3. Esta métrica agrega apenas trabalhos MapReduce. Não se aplica a outras cargas de trabalho no EMR.
`s3ReadBytes`	O número de bytes lidos do Amazon S3. Esta métrica agrega apenas trabalhos MapReduce e não se aplica a outras cargas de trabalho no EMR.
`hdfsUtilizationPercentage`	A porcentagem de armazenamento HDFS usado atualmente.
`hdfsReadBytes`	O número de bytes lidos do HDFS.
`hdfsWrittenBytes`	O número de bytes gravados no HDFS.
`missingBlocks`	O número de blocos nos quais o HDFS não possui réplicas. Estes podem ser blocos corrompidos.
`totalLoad`	O número total atual de leitores e gravadores relatados por todos os DataNodes em um cluster.
`mostRecentBackupDurationMinutes`	A quantidade de tempo que o backup anterior levou para ser concluído. Essa métrica é definida independentemente de o último backup concluído ter sido bem-sucedido ou falhar. Enquanto o backup estiver em andamento, essa métrica retornará o número de minutos após o início do backup. Esta métrica é reportada apenas para cluster HBase.
`timeSinceLastSuccessfulBackupMinutes`	O número de minutos decorridos após o último backup bem-sucedido do HBase ter sido iniciado em seu cluster. Esta métrica é reportada apenas para cluster HBase.

As seguintes métricas aparecem na amostra dependendo da versão Hadoop do recurso.

Métrica de AMIs do Hadoop 1

Nome	Descrição
`jobsRunning`	O número de trabalhos no cluster que estão em execução no momento.
`jobsFailed`	O número de trabalhos no cluster que falharam.
`mapTasksRunning`	O número de tarefas de mapa em execução para cada trabalho. Se você tiver um planejador instalado e vários trabalhos em execução, vários gráficos serão gerados.
`mapTasksRemaining`	O número de tarefas de mapa restantes para cada trabalho. Se você tiver um planejador instalado e vários trabalhos em execução, vários gráficos serão gerados. Uma tarefa de mapa restante é aquela que não está em nenhum dos seguintes estados: `Running`, `Killed` ou `Completed`.
`mapSlotsOpen`	A capacidade de tarefa de mapa não utilizada. Isso é calculado como o número máximo de tarefas de mapa para um determinado cluster, menos o número total de tarefas de mapa atualmente em execução nesse cluster.
`remainingMapTasksPerSlot`	A proporção entre o total de tarefas de mapa restantes e o total de slots de mapa disponíveis no cluster.
`reduceTasksRunning`	O número de tarefas de redução em execução para cada trabalho. Se você tiver um planejador instalado e vários trabalhos em execução, vários gráficos serão gerados.
`reduceTasksRemaining`	O número de tarefas de redução em execução para cada trabalho. Se você tiver um planejador instalado e vários trabalhos em execução, vários gráficos serão gerados.
`reduceSlotsOpen`	Não utilizados reduzem a capacidade da tarefa. Isso é calculado como a capacidade máxima de redução de tarefas para um determinado cluster, menos o número de tarefas de redução atualmente em execução nesse cluster.
`taskNodesRunning`	O número de nós de tarefa em funcionamento. Os pontos de dados para esta métrica são reportados apenas quando existe um grupo de instâncias correspondente.
`taskNodesPending`	O número de nós principais aguardando para serem atribuídos. Todos os nós de tarefas solicitados podem não estar imediatamente disponíveis; esta métrica relata as solicitações pendentes. Os pontos de dados para esta métrica são reportados apenas quando existe um grupo de instâncias correspondente.
`liveTaskTrackersPercentage`	A porcentagem de rastreadores de tarefas funcionais.
`backupFailed`	Se o último backup falhou. Isso é definido como 0 por padrão e atualizado para 1 se a tentativa de backup anterior falhar. Esta métrica é reportada apenas para cluster HBase.

Métrica de AMIs do Hadoop 2

Nome	Descrição
`containerAllocated`	A quantidade de contêineres de recursos alocados pelo ResourceManager.
`containerReserved`	A quantidade de contêineres de recursos alocados pelo ResourceManager.
`containerPending`	A quantidade de contêineres na fila que ainda não foram alocados.
`containerPendingRatio`	A relação entre contêineres pendentes e contêineres alocados.
`appsCompleted`	O número de aplicativos enviados ao YARN que foram concluídos.
`appsFailed`	O número de aplicativos enviados ao YARN que não foram concluídos.
`appsKilled`	O número de aplicativos enviados ao YARN que foram eliminados.
`appsPending`	O número de aplicativos enviados ao YARN que estão em estado pendente.
`appsRunning`	O número de aplicativos enviados ao YARN que estão em execução.
`appsSubmitted`	O número de aplicativos enviados ao YARN.
`mrTotalNodes`	O número de nós atualmente disponíveis para trabalhos MapReduce.
`mrActiveNodes`	O número de nós atualmente executando tarefas ou trabalhos do MapReduce.
`mrLostNodes`	O número de nós alocados para MapReduce que foram marcados em estado LOST.
`mrUnhealthyNodes`	O número de nós disponíveis para tarefas MapReduce marcadas em um estado UNHEALTHY.
`mrDecommissionedNodes`	O número de nós alocados para o aplicativo MapReduce que foram marcados em um estado DECOMMISSIONED.
`mrRebootedNodes`	O número de nós disponíveis para MapReduce que foram reinicializados e marcados em estado REBOOTED.
`corruptBlocks`	O número de blocos que o HDFS relata como corrompidos.
`memoryTotalBytes`	A quantidade total de memória no cluster.
`memoryReservedBytes`	A quantidade de memória reservada.
`memoryAvailableBytes`	A quantidade de memória disponível para ser alocada.
`memoryAllocatedBytes`	A quantidade de memória alocada para o cluster.
`yarnMemoryAvailablePercentage`	A porcentagem de memória restante disponível para o YARN
`underReplicatedBlocks`	O número de blocos que precisam ser replicados uma ou mais vezes.
`dfsPendingReplicationBlocks`	O status da replicação de bloco: blocos sendo replicados, idade das solicitações de replicação e solicitações de replicação malsucedidas.
`capacityRemainingBytes`	A quantidade de capacidade restante do disco HDFS.
`hbaseBackupFailed`	Se o último backup falhou. Isso é definido como 0 por padrão e atualizado para 1 se a tentativa de backup anterior falhar. Esta métrica é reportada apenas para cluster HBase.

Esta tradução de máquina é fornecida para sua comodidade.