Usando consultas agendadas no Timestream para LiveAnalytics - Amazon Timestream

Para recursos semelhantes aos do Amazon Timestream para, considere o Amazon Timestream LiveAnalytics para InfluxDB. Ele oferece ingestão de dados simplificada e tempos de resposta de consulta de um dígito em milissegundos para análises em tempo real. Saiba mais aqui.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando consultas agendadas no Timestream para LiveAnalytics

O recurso de consulta agendada no Amazon Timestream LiveAnalytics for é uma solução totalmente gerenciada, sem servidor e escalável para calcular e armazenar agregados, rollups e outras formas de dados pré-processados, normalmente usadas para painéis operacionais, relatórios comerciais, análises ad hoc e outros aplicativos. As consultas agendadas tornam a análise em tempo real mais eficiente e econômica, para que você possa obter informações adicionais de seus dados e continuar tomando melhores decisões de negócios.

Com as consultas programadas, você define as consultas analíticas em tempo real que computam agregados, rollups e outras operações nos dados, e o Amazon Timestream para executar essas consultas de forma LiveAnalytics periódica e automática e grava de forma confiável os resultados da consulta em uma tabela separada. Normalmente, os dados são calculados e atualizados nessas tabelas em alguns minutos.

Posteriormente, é possível direcionar seus painéis e relatórios para consultar as tabelas que armazenam dados agregados, em vez de recorrer às tabelas de origem, que são significativamente maiores. Isso leva a ganhos de desempenho e custo que podem exceder ordens de magnitude. Isso se deve ao fato de que as tabelas com dados agregados possuem significativamente menos informações do que as tabelas de origem, proporcionando consultas mais ágeis e um custo de armazenamento de dados reduzido.

Além disso, tabelas com consultas agendadas oferecem todas as funcionalidades existentes de um Timestream para tabela. LiveAnalytics Por exemplo, é possível consultar as tabelas usando SQL. É possível visualizar os dados armazenados nas tabelas usando o Grafana. Você também pode ingerir dados na tabela usando o Amazon Kinesis, o Amazon MSK AWS , o IoT Core e o Telegraf. É possível estabelecer políticas de retenção de dados nessas tabelas para gerenciar automaticamente o ciclo de vida dos dados.

Como a retenção de dados das tabelas que contêm dados agregados não está relacionada à retenção das tabelas de origem, é possível reduzir a retenção de dados das tabelas de origem e manter os dados agregados por um período muito maior, pagando apenas uma fração do custo de armazenamento de dados. As consultas programadas agilizam a análise em tempo real, tornando-a mais econômica e, consequentemente, mais acessível para diversos clientes. Isso permite que eles acompanhem seus aplicativos e façam decisões de negócios mais informadas com base em dados.

Benefícios da consulta agendada

Estes são os benefícios das consultas programadas:

  • Facilidade operacional: as consultas agendadas são sem servidor e totalmente gerenciadas.

  • Desempenho e custo: como as consultas agendadas pré-computam os agregados, os rollups ou outras operações de analytics em tempo real dos seus dados e armazenam os resultados em uma tabela, as consultas que acessam tabelas preenchidas por consultas agendadas contêm menos dados do que as tabelas de origem. Portanto, as consultas executadas nessas tabelas são mais rápidas e baratas. As tabelas preenchidas por cálculos programados possuem uma quantidade menor de dados em comparação com suas tabelas de origem, contribuindo assim para a redução dos custos de armazenamento. Também é possível reter esses dados por mais tempo no armazenamento de memória por uma fração do custo de reter os dados de origem no armazenamento de memória.

  • Interoperabilidade — As tabelas preenchidas por consultas agendadas oferecem todas as funcionalidades existentes do Timestream para LiveAnalytics tabelas e podem ser usadas com todos os serviços e ferramentas que funcionam com o Timestream for. LiveAnalytics Consulte Trabalhar com outros serviços para obter detalhes.

Casos de uso de consultas programadas

Você pode usar consultas agendadas para relatórios comerciais que resumem a atividade do usuário final em seus aplicativos, para que você possa treinar modelos de machine learning para personalização. Você também utilizar consultas programadas para alarmes que identificam anomalias, invasões na rede ou ações fraudulentas, permitindo que você adote medidas corretivas de forma imediata.

Além disso, é possível usar consultas programadas para uma governança de dados mais eficaz. Isso pode ser feito permitindo que apenas as consultas agendadas tenham acesso à tabela de origem e concedendo aos desenvolvedores acesso apenas às tabelas preenchidas por essas consultas. Isso minimiza o impacto de consultas não intencionais e de longa duração.

Exemplo: uso de análises em tempo real para detectar pagamentos fraudulentos e tomar melhores decisões comerciais

Considere um sistema de pagamento que processa transações enviadas de vários point-of-sale terminais distribuídos nas principais cidades metropolitanas dos Estados Unidos da América. Você quer usar o Amazon Timestream LiveAnalytics para armazenar e analisar os dados da transação, para que você possa detectar transações fraudulentas e executar consultas analíticas em tempo real. Essas consultas podem ajudá-lo a responder perguntas comerciais, como identificar os point-of-sale terminais mais movimentados e menos usados por hora, a hora mais movimentada do dia em cada cidade e a cidade com mais transações por hora.

O sistema processa aproximadamente 100 mil transações por minuto. Cada transação armazenada no Amazon Timestream LiveAnalytics é de 100 bytes. Você configurou 10 consultas que são realizadas a cada minuto para identificar diferentes formas de pagamentos fraudulentos. Você criou também 25 consultas que agregam e dividem/dividem seus dados em várias dimensões para ajudar a responder suas perguntas comerciais. Cada uma dessas consultas processa os dados da última hora.

Você criou um painel para exibir os dados gerados por essas consultas. O painel contém 25 widgets, é atualizado a cada hora e normalmente é acessado por 10 usuários a qualquer momento. Por fim, seu armazenamento de memória é configurado com um período de retenção de dados de duas horas e o armazenamento magnético está configurado para ter um período de retenção de dados de seis meses.

Nesse caso, é possível utilizar consultas de análise em tempo real, que recalculam as informações sempre que o painel é acessado e atualizado, ou optar por tabelas derivadas para o painel.. O custo da consulta para painéis baseados em consultas de análise em tempo real será de 120,70 USD por mês. Por outro lado, o custo das consultas de painel baseadas em tabelas derivadas será de 12,27 USD por mês (consulte Amazon Timestream para ver os preços). LiveAnalytics Nesse caso, o uso de tabelas derivadas reduz o custo da consulta em aproximadamente 10 vezes.