O BigQuery é o data warehouse sem servidor do Google Cloud. A integração do New Relic com o BigQuery coleta métricas de consulta, execução, armazenamento e utilização de slots no escopo do projeto e do conjunto de dados.
As integrações do New Relic consultam os serviços do GCP de acordo com um intervalo de sondagem que varia por integração. A frequência de sondagem para o Google BigQuery é de 5 minutos. A resolução é 1 ponto de dados a cada minuto.
Importante
O BigQuery oferece suporte a intervalos de sondagem de 1 minuto para integrações do WIF em pré-visualização limitada. Para solicitar acesso, entre em contato com o suporte da New Relic.
Ativar tabela métrica
A coleta de métricas da tabela do BigQuery está desativada por padrão. Isso afeta a métrica listada em GcpBigQueryTableSample. Para coletar essas métricas, ative a configuração "Ativar métricas de tabela" no menu de configuração da integração do BigQuery.
Workload Identity Federation
Encontre e use dados
Após habilitar a integração, os recursos do BigQuery aparecem como entidades no explorador de entidades do New Relic. Para ver dashboards e gerenciar serviços, acesse one.newrelic.com > All capabilities > Infrastructure > GCP.
Todas as métricas do BigQuery disponíveis no monitoramento de nuvem do GCP são coletadas como métricas dimensionais no tipo de evento Metric. Métricas adicionais além desta tabela são coletadas automaticamente. Consulte a documentação de métricas do BigQuery do Google para ver a lista completa.
Entidade
Entidade
Tipo de entidade
Tipo de recurso
Projeto
GCPBIGQUERYPROJECT
bigquery_project
Conjunto de dados
GCPBIGQUERYDATASET
bigquery_dataset
Mesa
GCPBIGQUERYTABLE
bigquery_table
Dados métricos
Métricas principais — Projeto
Nome da métrica
Unidade
Descrição
gcp.bigquery.query.count
Contar
Número de consultas executadas no projeto, facetadas por
query_type
e
state
.
gcp.bigquery.query.execution_times
Segundos
Distribuição do tempo de execução da consulta em todo o projeto.
gcp.bigquery.slots.allocated_for_project
Contar
Número de slots atualmente alocados ao projeto.
gcp.bigquery.storage.uploaded_bytes
Bytes
Bytes enviados para o BigQuery no projeto.
gcp.bigquery.storage.uploaded_row_count
Contar
Número de linhas carregadas para o BigQuery no projeto.
Métricas-chave — Conjunto de dados
Nome da métrica
Unidade
Descrição
gcp.bigquery.storage.stored_bytes
Bytes
Total de bytes armazenados no conjunto de dados.
gcp.bigquery.storage.table_count
Contar
Número de tabelas no conjunto de dados.
gcp.bigquery.storage.stored_logical_bytes
Bytes
Bytes lógicos armazenados no conjunto de dados (tamanho não compactado).
gcp.bigquery.storage.stored_physical_bytes
Bytes
Bytes físicos armazenados no conjunto de dados (tamanho compactado em disco).
Métricas principais — Tabela
Nome da métrica
Unidade
Descrição
gcp.bigquery.storage.stored_bytes
Bytes
Número de bytes lógicos armazenados na tabela. O GCP rotula as 100 principais tabelas por conjunto de dados (por tamanho) com um rótulo
table
nesta métrica; o restante é agrupado sem rótulo de tabela.
gcp.bigquery.storage.uploaded_bytes
Bytes
Bytes carregados na tabela.
gcp.bigquery.storage.uploaded_bytes_billed
Bytes
Bytes faturados por dados carregados na tabela. Atualmente, apenas a API de streaming é faturada.
O New Relic também coleta métricas para os seguintes tipos de recursos do BigQuery. Esses tipos de recursos não criam entidades no explorador de entidades, portanto, faça a consulta de suas métricas diretamente no tipo de evento Metric.
Nome da métrica
Unidade
Descrição
gcp.bigquery.query.count
Contar
Consultas em andamento.
gcp.bigquery.query.execution_times
Segundos
Distribuição dos tempos de execução para consultas que foram concluídas com êxito no último intervalo de amostragem. Consultas incompletas e com falha não estão incluídas.
gcp.bigquery.query.scanned_bytes
Bytes
Bytes escaneados.
gcp.bigquery.query.scanned_bytes_billed
Bytes
Bytes verificados faturados.
gcp.bigquery.slots.allocated
Contar
Número de slots do BigQuery atualmente alocados para o projeto. A alocação de slots pode ser detalhada com base na reserva e no tipo de job. A precisão desta métrica pode ser baixa, especialmente o detalhamento por reserva. Considere usar gráficos de recursos em vez disso.
gcp.bigquery.slots.allocated_for_project
Contar
Número de slots do BigQuery atualmente alocados para jobs de consulta no projeto.
Número de slots do BigQuery alocados atualmente entre projetos na reserva. É importante notar que os dados da métrica são relatados apenas enquanto pelo menos um projeto estiver atribuído à reserva e consumindo slots. Como alternativa, é possível consultar informações de reservas em INFORMATION_SCHEMA, que não apresenta essas limitações.
gcp.bigquery.slots.total_available
Contar
(Obsoleto) Número total de slots do BigQuery disponíveis para o projeto. Se estiver usando a API BigQuery Reservations, considere usar bigquery.googleapis.com/slots/assigned e bigquery.googleapis.com/slots/max_assigned em vez disso.
Nome da métrica
Unidade
Descrição
gcp.bigquery.job.continuous.backlog_records
Contar
O número estimado de registros de backlog para cada estágio do trabalho contínuo.
O número estimado de bytes processados para cada etapa do job contínuo.
gcp.bigquery.job.continuous.output_watermark
Microssegundos
O timestamp mais recente, em microssegundos desde a época, até o qual todos os dados foram processados por esta etapa do job contínuo.
gcp.bigquery.job.continuous.records_read
Contar
O número de registros de entrada lidos para cada etapa do job contínuo.
gcp.bigquery.job.continuous.records_written
Contar
O número de registros de saída gravados para cada estágio do job contínuo.
gcp.bigquery.job.continuous.slots.used_time
Milissegundos
O total de milissegundos de slot usados pelo job contínuo.
Nome da métrica
Unidade
Descrição
gcp.bigquerystorage.write.concurrent_connections
Contar
Conexão simultânea por projeto para a API BigQuery Write. Para ser consistente com a cota de conexão simultânea, a métrica fica, por padrão, no projeto que iniciou as AppendRowsRequests (associado à chave de API ou à conta de serviço).
Acúmulo total de resultados de conexão com a API BigQuery Write.
gcp.bigquerystorage.write.server_side_latencies
Contar
A distribuição de latência (em milissegundos) no front-end da API BigQuery Write desde o recebimento de um AppendRowsRequest até o envio de um AppendRowsResponse.
gcp.bigquerystorage.write.transcoding_latencies
Contar
A distribuição de latência de transcodificação (em milissegundos) no frontend da API BigQuery Write.
gcp.bigquerystorage.write.uploaded_bytes_count
Contar
Acúmulo total de bytes ingeridos pela API BigQuery Write.
gcp.bigquerystorage.write.uploaded_row_count
Contar
Acúmulo total de linhas ingeridas pela API de gravação do BigQuery.
A distribuição de latência (em milissegundos) no front-end da API BigQuery Write desde o recebimento de um AppendRowsRequest até o envio de um AppendRowsResponse.
Para visualizar dados métricos para sua integração do Google BigQuery no New Relic, crie uma consulta NRQL para o eventoGcpBigQueryProjectSample, GcpBigQueryDatasetSample e GcpBigQueryTableSample e seu atributo.
GcpBigQueryProjectSample
Consulte o evento GcpBigQueryProjectSample no New Relic para visualizar os dados da métrica a seguir. A resolução é de um ponto de dados por minuto com um atraso de 8 minutos.
Atributo
Descrição
query.Count
Consulta durante o voo.
query.ExecutionTimes
Distribuição dos tempos de execução das consultas.
slots.Allocated
Número de vagas atualmente alocadas para o projeto.
slots.AllocatedForProject
Número de slots atualmente alocados para trabalhos de consulta no projeto.
slots.AllocatedForProjectAndJobType
Número de slots atualmente alocados para o projeto e tipo de trabalho.
slots.AllocatedForReservation
Número de vagas atualmente alocadas para o projeto na reserva.
slots.TotalAllocatedForReservation
Número de vagas atualmente alocadas entre projetos na reserva.
slots.TotalAvailable
Número total de vagas disponíveis para o projeto.
GcpBigQueryDatasetSample
Consulte o evento GcpBigQueryDatasetSample no New Relic para visualizar os dados da métrica a seguir. A resolução é um ponto de dados a cada 30 minutos com um atraso de 3 horas.
Atributo
Descrição
storage.StoredBytes
Quantidade de bytes armazenados.
storage.Tables
Número de tabelas.
GcpBigQueryTableSample
Consulte evento GcpBigQueryTableSample para visualizar dados da métrica seguinte. A resolução é de um ponto de dados por minuto com um atraso de 6 horas.
Atributo
Descrição
storage.UploadedBytes
Bytes carregados.
storage.UploadedBytesBilled
Bytes carregados cobrados. Atualmente apenas a API de streaming é cobrada.