Tutorial do NerdGraph: transmita seus dados para um AWS Kinesis Firehose, Azure Event Hub ou GCP Pub/Sub

Esta API permite que você crie uma regra de exportação de streaming para enviar dados para o AWS Kinesis Firehose.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    awsParameters: {
      awsAccountId: "YOUR_AWS_ACCOUNT_ID"
      deliveryStreamName: "FIREHOSE_STREAM_NAME"
      region: "SPECIFY_AWS_REGION"
      role: "firehose-role"
    }
  ) {
    id
    status
  }
}

Resposta: você recebe uma resposta com o ID da regra e o status. O status será CREATION_IN_PROGRESS inicialmente, e pode levar até seis minutos para que a regra conclua a criação.
Pontos a observar: antes que a regra termine de ser registrada, você não pode iniciar outra ação de mutação (como Enable, Disable ou Update) porque a regra está bloqueada para o processo de criação. Se você tentar outra ação de mutação antes que a regra conclua o processo de registro, receberá uma mensagem como: “A regra de exportação está sendo atualizada no momento por outra solicitação, aguarde e tente novamente mais tarde.”

Você pode usar Delete a qualquer momento.

A criação pode ser concluída e o status alterado a qualquer momento dentro dos cerca de seis minutos necessários para a criação da regra. O status mudará para ENABLED, DISABLED ou CREATION_FAILED.

Veja estes detalhes sobre os valores:

• ENABLED significa que a regra foi criada com sucesso e os dados começaram a ser transmitidos.
• CREATION_FAILED significa que a regra falhou na criação. Isso pode acontecer por vários motivos, mas geralmente ocorre devido à falha na política da AWS ou na validação do Azure SAS.
• DISABLED significa que a regra foi criada, mas ainda não está habilitada devido a motivos como limite de fluxo de filtro atingido ou falha na criação da regra de fluxo de filtro. Se o status ainda permanecer como CREATION_IN_PROGRESS após seis minutos, isso significa que a criação da regra falhou devido a um erro de sistema em nosso serviço. Você pode excluir a regra e tentar criar uma nova novamente.

Esta API permite que você recupere uma lista abrangente de todas as regras de stream associadas ao seu ID da conta.

Solicitação de amostra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          aws {
            awsAccountId
            region
            deliveryStreamName
            role
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API permite consultar informações sobre uma regra de fluxo específica fornecendo o ID da conta e o ID da regra.

Solicitação de amostra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          aws {
            awsAccountId
            deliveryStreamName
            region
            role
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API permite que você modifique uma regra de exportação de streaming existente.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    awsParameters: {
      awsAccountId: "YOUR_AWS_ACCOUNT_ID"
      deliveryStreamName: "FIREHOSE_STREAM_NAME"
      region: "SPECIFY_AWS_REGION"
      role: "firehose-role"
    }
  ) {
    id
    status
  }
}

Resposta: você recebe uma resposta com o ID e o status da regra.
Pontos a observar: ao atualizar, você receberá uma mensagem no campo de mensagem: “A regra de exportação está sendo atualizada e o processo pode levar alguns minutos para ser concluído. Verifique novamente mais tarde.” Pode levar até seis minutos para ser totalmente atualizada.

Você pode verificar se a regra foi atualizada chamando streamingRule para recuperar a regra. Durante o período em que a regra está sendo atualizada, ela fica bloqueada e nenhuma outra ação de mutação pode atuar sobre a regra. Se você estiver tentando executar outra ação de mutação na mesma regra, receberá uma mensagem dizendo: “A regra de exportação está sendo atualizada no momento por outra solicitação, aguarde e tente novamente mais tarde.” Um usuário pode atualizar uma regra de qualquer status, exceto uma regra excluída.

Esta API permite que você ative uma regra de streaming existente, facilitando a exportação contínua de dados para processamento em tempo real e integração com outros serviços.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportEnableRule(id: RULE_ID) {
    id
    status
    message
  }
}

Resposta: se você estiver tentando habilitar uma regra que está em outro estado, ela retornará uma mensagem de erro como: “A regra de exportação não pode ser habilitada ou desabilitada devido ao status não ser permitido.” Você não pode habilitar a regra se ela estiver bloqueada devido a outra mutação em andamento.

Esta API permite que você desative uma regra de streaming existente, interrompendo a exportação contínua de dados.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportDisableRule(id: RULE_ID) {
    id
    status
    message
  }
}

Resposta: ao tentar desativar uma regra que está em outro estado, é retornada uma mensagem de erro como: “The export rule can't be enabled or disabled due to status not being allowed.” Não é possível desativar a regra se ela estiver bloqueada devido à realização de outra mutação.

Esta API permite que você exclua uma regra de streaming e interrompa toda a exportação de dados relacionada a essa regra.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportDeleteRule(id: RULE_ID) {
    id
  }
}

Esta API permite criar uma regra de exportação de streaming para enviar dados para um Hub de Eventos do Azure.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    azureParameters: {
      eventHubConnectionString: "YOUR_EVENT_HUB_SAS_CONNECTION_STRING"
      eventHubName: "YOUR_EVENT_HUB_NAME"
    }
  ) {
    id
    status
  }
}

Resposta: você recebe uma resposta com o ID da regra e o status. O status será CREATION_IN_PROGRESS inicialmente e pode levar até seis minutos para que a regra conclua a criação.

Esta API permite que você recupere uma lista abrangente de todas as regras de stream associadas ao seu ID da conta.

Solicitação de amostra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          azure {
            eventHubConnectionString
            eventHubName
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API permite consultar informações sobre uma regra de fluxo específica fornecendo o ID da conta e o ID da regra.

Solicitação de amostra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          azure {
            eventHubConnectionString
            eventHubName
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API permite que você modifique uma regra de exportação de streaming existente.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    azureParameters: {
      eventHubConnectionString: "YOUR_EVENT_HUB_SAS_CONNECTION_STRING"
      eventHubName: "YOUR_EVENT_HUB_NAME"
    }
  ) {
    id
    status
  }
}

Resposta: Você recebe uma resposta com o ID e o status da regra.

Para ativar uma regra de streaming existente, facilitando a exportação contínua de dados para processamento em tempo real e integração com outros serviços, consulte aqui.

Para desabilitar uma regra de streaming existente, interrompendo a exportação contínua de dados, consulte aqui.

Para excluir uma regra de streaming e interromper toda a exportação de dados relacionada a essa regra, consulte aqui.

Esta API permite que você crie uma regra de exportação de streaming para enviar dados para o GCP Pub/Sub.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportCreateRule(
    accountId: YOUR_NR_ACCOUNT_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "SELECT * FROM NodeStatus"
      payloadCompression: DISABLED
    }
    gcpParameters: {
      gcpProjectId: "project-id"
      pubsubTopicId: "pub-sub-topic-id"
    }
  ) {
    id
    status
  }
}

Resposta: você recebe uma resposta com o ID da regra e o status. O status será CREATION_IN_PROGRESS inicialmente e pode levar até seis minutos para que a regra conclua a criação.

Esta API permite que você recupere uma lista abrangente de todas as regras de stream associadas ao seu ID da conta.

Solicitação de amostra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRules {
          gcp {
            gcpProjectId
            pubsubTopicId
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API permite consultar informações sobre uma regra de fluxo específica fornecendo o ID da conta e o ID da regra.

Solicitação de amostra

{
  actor {
    account(id: YOUR_NR_ACCOUNT_ID) {
      streamingExport {
        streamingRule(id: "RULE_ID") {
          gcp {
            gcpProjectId
            pubsubTopicId
          }
          createdAt
          description
          id
          message
          name
          nrql
          status
          updatedAt
          payloadCompression
        }
      }
    }
  }
}

Esta API permite que você modifique uma regra de exportação de streaming existente.

Parâmetro de entrada

Solicitação de amostra

mutation {
  streamingExportUpdateRule(
    id: RULE_ID
    ruleParameters: {
      description: "ADD_RULE_DESCRIPTION"
      name: "PROVIDE_RULE_NAME"
      nrql: "YOUR_NRQL_QUERY"
      payloadCompression: DISABLED
    }
    gcpParameters: {
      gcpProjectId: "project-id"
      pubsubTopicId: "pub-sub-topic-id"
    }
  ) {
    id
    status
  }
}

Resposta: Você recebe uma resposta com o ID e o status da regra.

Para ativar uma regra de streaming existente, facilitando a exportação contínua de dados para processamento em tempo real e integração com outros serviços, consulte aqui.

Para desabilitar uma regra de streaming existente, interrompendo a exportação contínua de dados, consulte aqui.

Para excluir uma regra de streaming e interromper toda a exportação de dados relacionada a essa regra, consulte aqui.

Os pontos de acesso funcionam como métodos separados pelos quais os objetos nos buckets S3 podem ser acessados e baixados. A AWS fornece um recurso chamado Object Lambda access points, que executa uma função do Lambda em cada objeto S3 acessado através do access point. Siga estas etapas para ativar esse ponto de acesso:

1. Navegue até esta página e clique no link para o repositório sem servidor.

2. Clique em Deploy.

3. Configure um ponto de acesso em seu bucket S3.

4. Crie um ponto de acesso do Object Lambda. Este ponto de acesso deve ter estas configurações:

   • O Supporting Access Point neste ponto de acesso Lambda precisará ser definido para o ponto de acesso que você configurou no bucket S3.
   • Em Transformation Configuration:
   • Selecione GetObject.
   • Especifique a função do Lambda DecompressGZFunction, ou outra função necessária se estiver usando um formato de compactação diferente.

A AWS descompactará automaticamente os objetos baixados do S3, se esses objetos tiverem o conjunto de metadados correto. Escrevemos uma função que aplica automaticamente esses metadados a cada novo objeto baixado para um objeto S3 definido. Veja como configurá-lo:

1. Navegue aqui, clone o repositório localmente e siga as etapas fornecidas no arquivo README para gerar um arquivo ZIP contendo a função do Lambda.
2. Crie uma função do IAM para a função.

• Ao criar a função, certifique-se de definir o tipo de entidade confiável como "serviços da AWS", com "Lambda" como seu caso de uso.
• Esta função deve ter uma política com estas permissões: s3:PutObject e s3:GetObject.

3. Na AWS, navegue até a página Função do Lambda.

4. Clique em Create function.

5. Selecione o ambiente de tempo de execução Java 11.

6. Clique em Change default execution role > Use an existing role. Insira aqui a função que você criou na etapa 2.

7. Role para baixo e clique em Create function.

8. Depois que a função for criada, clique em Upload from e selecione .zip or .jar file no dropdown.

9. Clique em Upload na caixa exibida e selecione o arquivo ZIP criado na etapa 1.

10. Quando o upload terminar, clique em Save para sair da caixa pop-up.

11. Edite Runtime settings adicionando o manipulador. Em nossa função fornecida, o manipulador é metadatasetter.App::handleRequest.

12. Tudo o que resta fazer agora é habilitar esta função do Lambda para ser acionada na criação do objeto S3. Clique em Add trigger para começar a configurar isso.

13. No dropdown, selecione S3 como sua fonte.

14. Insira o nome do bucket S3 ao qual você deseja aplicar os metadados no campo Bucket .

15. Remova o All object create events padrão dos tipos de eventos. Na dropdown de tipos de eventos, selecione PUT.

16. Marque a caixa Recursive invocation e clique em Add no canto inferior direito.

    A função do Lambda agora começará a adicionar automaticamente os metadados de compactação a todos os objetos S3 recém-adicionados.