# Gerenciamento de dados Gerenciamento de dados **Topics** + [ # PERF 3. Como armazenar, gerenciar e acessar dados em sua workload? ](perf-03.md) # PERF 3. Como armazenar, gerenciar e acessar dados em sua workload? A solução de gerenciamento de dados ideal para um sistema específico varia conforme o tipo de dados (bloco, arquivo ou objeto), os padrões de acesso (aleatório ou sequencial), o throughput necessário, a frequência de acesso (online, offline, arquivamento), a frequência de atualização (WORM, dinâmica) e as restrições de disponibilidade e durabilidade. As workloads do Well-Architected usam datastores específicos que permitem que recursos diferentes melhorem a performance. **Topics** + [ # PERF03-BP01 Usar um datastore com propósitos específicos que melhor atenda aos requisitos de acesso e armazenamento de dados ](perf_data_use_purpose_built_data_store.md) + [ # PERF03-BP02 Avaliar as opções de configuração disponíveis para o datastore ](perf_data_evaluate_configuration_options_data_store.md) + [ # PERF03-BP03 Coletar e registrar métricas de performance do datastore ](perf_data_collect_record_data_store_performance_metrics.md) + [ # PERF03-BP04 Implementar estratégias para melhorar a performance da consulta no datastore ](perf_data_implement_strategies_to_improve_query_performance.md) + [ # PERF03-BP05 Implementar padrões de acesso a dados que utilizam cache ](perf_data_access_patterns_caching.md) # PERF03-BP01 Usar um datastore com propósitos específicos que melhor atenda aos requisitos de acesso e armazenamento de dados PERF03-BP01 Usar um datastore com propósitos específicos que melhor atenda aos requisitos de acesso e armazenamento de dados Entenda as características dos dados (como possibilidade de compartilhamento, tamanho, tamanho do cache, padrões de acesso, latência, throughput e persistência dos dados) a fim de selecionar os datastores com propósito específico (armazenamento ou banco de dados) para sua workload. **Práticas comuns que devem ser evitadas:** + Utilizar um único datastore porque há experiência e conhecimento internos de um tipo específico de solução de banco de dados. + Você pressupõe que todas as workloads têm requisitos de acesso e armazenamento de dados semelhantes. + Você não implementou um catálogo de dados para criar um inventário de seus ativos de dados. **Benefícios de implementar esta prática recomendada:** entender as características e os requisitos de dados permite que você determine a tecnologia de armazenamento mais eficiente e com melhor performance adequada às necessidades da workload. **Nível de risco exposto se esta prática recomendada não for estabelecida:** Alto ## Orientação para implementação Orientação para implementação Ao selecionar e implementar o armazenamento de dados, certifique-se de que as características de consulta, ajuste de escala e armazenamento atendam aos requisitos de dados da workload. A AWS fornece várias tecnologias de armazenamento de dados e banco de dados, incluindo armazenamento em blocos, armazenamento de objetos, armazenamento de streaming, sistema de arquivos, bancos de dados relacionais, de chave-valor, de documentos, na memória, de grafos, de séries temporais e ledger. Cada solução de gerenciamento de dados tem opções e configurações disponíveis para compatibilidade com seus casos de uso e modelos de dados. Ao compreender as características e os requisitos dos dados, você pode se separar da tecnologia de armazenamento monolítico e das abordagens restritivas e únicas para se concentrar no gerenciamento adequado dos dados. ### Etapas de implementação Etapas de implementação + Realize um inventário dos vários tipos de dados que existem na workload. + Entenda e documente as características e os requisitos dos dados, incluindo: + Tipo de dados (não estruturados, semiestruturados, relacionais) + Volume e crescimento de dados + Durabilidade dos dados: persistentes, efêmeros, transitórios + Requisitos de ACID (atomicidade, consistência, isolamento, durabilidade) + Padrões de acesso a dados (com muita leitura ou gravação) + Latência + Throughput + IOPS (operações de entrada/saída por segundo) + Período de retenção de dados + Conheça os diferentes datastores (serviços de [armazenamento](https://docs.aws.amazon.com/whitepapers/latest/aws-overview/storage-services.html) e [banco de dados](https://docs.aws.amazon.com/whitepapers/latest/aws-overview/database.html)) disponíveis para a workload na AWS que podem atender às características dos dados (conforme descrito em [PERF01-BP01 Conhecer e compreender os serviços e recursos de nuvem disponíveis](perf_architecture_understand_cloud_services_and_features.md). Alguns exemplos de tecnologias de armazenamento da AWS e suas principais características incluem: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/wellarchitected/latest/framework/perf_data_use_purpose_built_data_store.html) + Se você estiver criando uma plataforma de dados, utilize a [arquitetura de dados moderna](https://aws.amazon.com/big-data/datalakes-and-analytics/modern-data-architecture/) na AWS para integrar seu data lake, data warehouse e datastores específicos. + As principais questões que você precisa considerar ao escolher um datastore para sua workload são as seguintes: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/wellarchitected/latest/framework/perf_data_use_purpose_built_data_store.html) + Faça experimentos e testes comparativos em um ambiente de não produção para identificar qual datastore pode atender às necessidades da workload. ## Recursos Recursos **Documentos relacionados:** + [Tipos de volume do Amazon EBS](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSVolumeTypes.html) + [Armazenamento do Amazon EC2](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Storage.html) + [Amazon EFS: performance do Amazon EFS](https://docs.aws.amazon.com/efs/latest/ug/performance.html) + [Performance do Amazon FSx para Lustre](https://docs.aws.amazon.com/fsx/latest/LustreGuide/performance.html) + [Performance do Amazon FSx para Windows File Server](https://docs.aws.amazon.com/fsx/latest/WindowsGuide/performance.html) + [Amazon Glacier: documentação do Amazon Glacier](https://docs.aws.amazon.com/amazonglacier/latest/dev/introduction.html) + [Amazon S3: considerações sobre performance e taxa de solicitações](https://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html) + [Armazenamento na nuvem com a AWS](https://aws.amazon.com/products/storage/) + [Características de E/S do Amazon EBS](https://docs.aws.amazon.com/AWSEC2/latest/WindowsGuide/ebs-io-characteristics.html) + [Bancos de dados na nuvem com a AWS](https://aws.amazon.com/products/databases/?ref=wellarchitected) + [Cache de banco de dados da AWS](https://aws.amazon.com/caching/database-caching/?ref=wellarchitected) + [DynamoDB Accelerator](https://aws.amazon.com/dynamodb/dax/?ref=wellarchitected) + [Práticas recomendadas do Amazon Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Aurora.BestPractices.html?ref=wellarchitected) + [Performance do Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/dg/c_challenges_achieving_high_performance_queries.html?ref=wellarchitected) + [As 10 melhores dicas de performance para Amazon Athena](https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/?ref=wellarchitected) + [Práticas recomendadas do Amazon Redshift Spectrum](https://aws.amazon.com/blogs/big-data/10-best-practices-for-amazon-redshift-spectrum/?ref=wellarchitected) + [Práticas recomendadas do Amazon DynamoDB](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/BestPractices.html?ref=wellarchitected) + [Escolher entre o Amazon EC2 e o Amazon RDS](https://docs.aws.amazon.com/prescriptive-guidance/latest/migration-sql-server/comparison.html) + [Práticas recomendadas de implementação do Amazon ElastiCache](https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/BestPractices.html) **Vídeos relacionados:** + [AWS re:Invent 2023: Melhorar a eficiência do Amazon Elastic Block Store e ser mais econômico](https://www.youtube.com/watch?v=7-CB02rqiuw) + [AWS re:Invent 2023: Otimizar o preço e a performance do armazenamento com o Amazon Simple Storage Service](https://www.youtube.com/watch?v=RxgYNrXPOLw) + [AWS re:Invent 2023: Criar e otimizar data lakes no Amazon Simple Storage Service](https://www.youtube.com/watch?v=mpQa_Zm1xW8) + [AWS re:Invent 2022: Construir arquiteturas de dados modernos na AWS](https://www.youtube.com/watch?v=Uk2CqEt5f0o) + [AWS re:Invent 2022: Construir arquiteturas de data mesh na AWS](https://www.youtube.com/watch?v=nGRvlobeM_U) + [AWS re:Invent 2023: Mergulho profundo no Amazon Aurora e suas inovações](https://www.youtube.com/watch?v=je6GCOZ22lI) + [AWS re:Invent 2023: Modelagem de dados com o Amazon DynamoDB](https://www.youtube.com/watch?v=PVUofrFiS_A) + [AWS re:Invent 2022: Modernizar aplicações com bancos de dados com propósito específico](https://www.youtube.com/watch?v=V-DiplATdi0) + [Mergulho profundo no Amazon DynamoDB: padrões de design avançados (DAT403-R1)](https://www.youtube.com/watch?v=6yqfmXiZTlM) **Exemplos relacionados:** + [Workshop de bancos de dados com propósito específico na AWS](https://catalog.us-east-1.prod.workshops.aws/workshops/93f64257-52be-4c12-a95b-c0a1ff3b7e2b/en-US) + [Bancos de dados para desenvolvedores](https://catalog.workshops.aws/db4devs/en-US) + [Dia de imersão na arquitetura de dados moderna na AWS](https://catalog.us-east-1.prod.workshops.aws/workshops/32f3e732-d67d-4c63-b967-c8c5eabd9ebf/en-US) + [Criar um data mesh na AWS](https://catalog.us-east-1.prod.workshops.aws/workshops/23e6326b-58ee-4ab0-9bc7-3c8d730eb851/en-US) + [Exemplos do Amazon S](https://docs.aws.amazon.com/sdk-for-javascript/v2/developer-guide/s3-examples.html) + [Otimizar o padrão de dados usando o compartilhamento de dados do Amazon Redshift](https://wellarchitectedlabs.com/sustainability/300_labs/300_optimize_data_pattern_using_redshift_data_sharing/) + [Migrações de bancos de dados](https://github.com/aws-samples/aws-database-migration-samples) + [MS SQL Server: demonstração da replicação do AWS Database Migration Service (AWS DMS)](https://github.com/aws-samples/aws-dms-sql-server) + [Workshop prático de modernização de bancos de dados](https://github.com/aws-samples/amazon-rds-purpose-built-workshop) + [Exemplos do Amazon Neptune](https://github.com/aws-samples/amazon-neptune-samples) # PERF03-BP02 Avaliar as opções de configuração disponíveis para o datastore PERF03-BP02 Avaliar as opções de configuração disponíveis para o datastore Entenda e avalie os vários atributos e opções de configuração disponíveis para seus datastores a fim de otimizar o espaço de armazenamento e a performance da workload. **Práticas comuns que devem ser evitadas:** + Você só usa um tipo de armazenamento, como o Amazon EBS, para todas as workloads. + Você usa as IOPS provisionadas para todas as workloads sem testes reais em todos os níveis de armazenamento. + Você não sabe quais são as opções de configuração da solução de gerenciamento de dados escolhida. + Você conta somente com o aumento do tamanho da instância sem examinar outras opções de configuração. + Você não testa as características de ajuste de escala do datastore. **Benefícios de implementar esta prática recomendada:** a exploração e a experimentação das configurações de datastore permitem que você reduza o custo da infraestrutura, melhore a performance e diminua o esforço necessário para manter as workloads. **Nível de risco exposto se esta prática recomendada não for estabelecida:** Médio ## Orientação para implementação Orientação para implementação Uma workload pode ter um ou mais datastores usados com base nos requisitos de armazenamento e acesso aos dados. Para otimizar a eficiência de performance e custos, é necessário avaliar os padrões de acesso aos dados para determinar as configurações apropriadas do datastore. Ao explorar as opções de datastore, leve em consideração vários aspectos, como opções de armazenamento, memória, computação, réplica de leitura, requisitos de consistência, grupo de conexões e opções de armazenamento em cache. Experimente essas várias opções de configuração para melhorar as métricas de eficiência de performance. ### Etapas de implementação Etapas de implementação + Entenda as configurações atuais (como tipo de instância, tamanho do armazenamento ou versão do mecanismo de banco de dados) do datastore. + Analise a documentação e as práticas recomendadas da AWS para saber mais sobre as opções de configuração indicadas que podem ajudar a melhorar a performance do datastore. As principais opções de datastore a serem consideradas são: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/wellarchitected/latest/framework/perf_data_evaluate_configuration_options_data_store.html) + Realize experimentos e testes comparativos em um ambiente de não produção para identificar qual opção de configuração pode atender aos requisitos da workload. + Depois de experimentar, planeje a migração e valide as métricas de performance. + Use ferramentas de monitoramento da AWS (como o [Amazon CloudWatch](https://aws.amazon.com/cloudwatch/)) e de otimização (como a [Lente de Armazenamento do Amazon S3](https://aws.amazon.com/s3/storage-lens/)) para otimizar constantemente o datastore usando um padrão de uso real. ## Recursos Recursos **Documentos relacionados:** + [Armazenamento na nuvem com a AWS](https://aws.amazon.com/products/storage/?ref=wellarchitected) + [Tipos de volume do Amazon EBS](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSVolumeTypes.html) + [Armazenamento do Amazon EC2](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/Storage.html) + [Amazon EFS: performance do Amazon EFS](https://docs.aws.amazon.com/efs/latest/ug/performance.html) + [Performance do Amazon FSx para Lustre](https://docs.aws.amazon.com/fsx/latest/LustreGuide/performance.html) + [Performance do Amazon FSx para Windows File Server](https://docs.aws.amazon.com/fsx/latest/WindowsGuide/performance.html) + [Amazon Glacier: documentação do Amazon Glacier](https://docs.aws.amazon.com/amazonglacier/latest/dev/introduction.html) + [Amazon S3: considerações sobre performance e taxa de solicitações](https://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html) + [Características de E/S do Amazon EBS](https://docs.aws.amazon.com/AWSEC2/latest/WindowsGuide/ebs-io-characteristics.html) + [Bancos de dados na nuvem com a AWS](https://aws.amazon.com/products/databases/?ref=wellarchitected) + [Cache de banco de dados da AWS](https://aws.amazon.com/caching/database-caching/?ref=wellarchitected) + [DynamoDB Accelerator](https://aws.amazon.com/dynamodb/dax/?ref=wellarchitected) + [Práticas recomendadas do Amazon Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Aurora.BestPractices.html?ref=wellarchitected) + [Performance do Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/dg/c_challenges_achieving_high_performance_queries.html?ref=wellarchitected) + [As 10 melhores dicas de performance para Amazon Athena](https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/?ref=wellarchitected) + [Práticas recomendadas do Amazon Redshift Spectrum](https://aws.amazon.com/blogs/big-data/10-best-practices-for-amazon-redshift-spectrum/?ref=wellarchitected) + [Práticas recomendadas do Amazon DynamoDB](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/BestPractices.html?ref=wellarchitected) **Vídeos relacionados:** + [AWS re:Invent 2023: Melhorar a eficiência do Amazon Elastic Block Store e ser mais econômico](https://www.youtube.com/watch?v=7-CB02rqiuw) + [AWS re:Invent 2023: Otimizar o preço e a performance do armazenamento com o Amazon Simple Storage Service](https://www.youtube.com/watch?v=RxgYNrXPOLw) + [AWS re:Invent 2023: Criar e otimizar data lakes no Amazon Simple Storage Service](https://www.youtube.com/watch?v=mpQa_Zm1xW8) + [AWS re:Invent 2023: Novidades do armazenamento de arquivos da AWS](https://www.youtube.com/watch?v=yXIeIKlTFV0) + [AWS re:Invent 2023: Mergulho profundo no Amazon DynamoDB](https://www.youtube.com/watch?v=ld-xoehkJuU) **Exemplos relacionados:** + [Workshop de bancos de dados com propósito específico na AWS](https://catalog.us-east-1.prod.workshops.aws/workshops/93f64257-52be-4c12-a95b-c0a1ff3b7e2b/en-US) + [Bancos de dados para desenvolvedores](https://catalog.workshops.aws/db4devs/en-US) + [Dia de imersão na arquitetura de dados moderna na AWS](https://catalog.us-east-1.prod.workshops.aws/workshops/32f3e732-d67d-4c63-b967-c8c5eabd9ebf/en-US) + [Ajuste de escala automático do Amazon EBS](https://github.com/awslabs/amazon-ebs-autoscale) + [Exemplos do Amazon S](https://docs.aws.amazon.com/sdk-for-javascript/v2/developer-guide/s3-examples.html) + [Exemplos do Amazon DynamoDB](https://github.com/aws-samples/aws-dynamodb-examples) + [Exemplos de migração de banco de dados da AWS](https://github.com/aws-samples/aws-database-migration-samples) + [Workshop de modernização de bancos de dados](https://github.com/aws-samples/amazon-rds-purpose-built-workshop) + [Trabalhar com parâmetros no Amazon RDS para Postgress DB](https://github.com/awsdocs/amazon-rds-user-guide/blob/main/doc_source/Appendix.PostgreSQL.CommonDBATasks.Parameters.md) # PERF03-BP03 Coletar e registrar métricas de performance do datastore PERF03-BP03 Coletar e registrar métricas de performance do datastore Acompanhe e registre métricas de performance relevantes para o datastore a fim de entender a performance das suas soluções de gerenciamento de dados. Essas métricas podem ajudar você a otimizar o datastore, verificar se os requisitos da workload foram atendidos e fornecer uma visão geral clara da performance da workload. **Práticas comuns que devem ser evitadas:** + Você só usa a pesquisa manual de arquivos de log para métricas. + Você só publica métricas em ferramentas internas usadas pela equipe e não tem uma imagem abrangente da workload. + Você só usa as métricas comuns registradas pelo software de monitoramento selecionado. + Você só revisa as métricas quando há um problema. + Você só monitora as métricas no sistema e não captura as métricas de uso e acesso aos dados. **Benefícios de implementar esta prática recomendada:** o estabelecimento de uma linha de base de performance ajuda a compreender o comportamento normal e os requisitos das workloads. Padrões anormais podem ser identificados e depurados mais rapidamente, melhorando a performance e a confiabilidade do datastore. **Nível de risco exposto se esta prática recomendada não for estabelecida:** Alto ## Orientação para implementação Orientação para implementação Para monitorar a performance dos datastores, é necessário registrar várias métricas de performance ao longo de um período. Isso permite detectar anomalias e avaliar a performance em relação às métricas de negócios para verificar se as necessidades da workload estão sendo atendidas. As métricas devem incluir as do sistema subjacente que oferece suporte ao datastore e as do banco de dados. As métricas do sistema subjacente podem incluir métricas de utilização de CPU, memória, armazenamento em disco disponível, E/S de disco, taxa de acertos do cache e entrada e saída da rede, enquanto as métricas do datastore devem incluir transações por segundo, tempos de resposta, uso de índice, bloqueios de tabela, tempos limite de consultas e número de conexões abertas. Esses dados são essenciais para compreender a performance da workload e como a solução de gerenciamento de dados é usada. Use essas métricas como parte de uma abordagem orientada por dados para ajustar e otimizar os recursos da workload.  Use ferramentas, bibliotecas e sistemas que registram as medidas de performance relacionadas ao banco de dados. ## Etapas de implementação Etapas de implementação + Identifique as principais métricas de performance que o datastore deve monitorar. + [Métricas e dimensões do Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/metrics-dimensions.html) + [Monitorar métricas em uma instância do Amazon RDS](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/CHAP_Monitoring.html) + [Monitorar a workload de banco de dados com o Performance Insights no Amazon RDS](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_PerfInsights.html) + [Visão geral do monitoramento avançado](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_Monitoring.OS.overview.html) + [Métricas e dimensões do DynamoDB](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/metrics-dimensions.html) + [Monitorar o DynamoDB Accelerator](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DAX.Monitoring.html) + [Monitorar o Amazon MemoryDB com o Amazon CloudWatch](https://docs.aws.amazon.com/memorydb/latest/devguide/monitoring-cloudwatch.html) + [Que métricas devo monitorar?](https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/CacheMetrics.WhichShouldIMonitor.html) + [Monitorar a performance do cluster do Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/mgmt/metrics.html) + [Métricas e dimensões do Timestream](https://docs.aws.amazon.com/timestream/latest/developerguide/metrics-dimensions.html) + [Métricas do Amazon CloudWatch para o Amazon Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraMonitoring.Metrics.html) + [Registrar em log e monitorar o Amazon Keyspaces (para Apache Cassandra)](https://docs.aws.amazon.com/keyspaces/latest/devguide/monitoring.html) + [Monitorar recursos do Amazon Neptune](https://docs.aws.amazon.com/neptune/latest/userguide/monitoring.html) + Use uma solução aprovada de registro em log e monitoramento para coletar essas métricas. O [Amazon CloudWatch](https://aws.amazon.com/cloudwatch/) pode coletar métricas nos recursos em sua arquitetura. Você também pode coletar e publicar métricas personalizadas para descobrir métricas de negócio ou derivadas. Use o CloudWatch ou soluções de terceiros para definir alarmes que indicam quando os limites são violados. + Confira se o monitoramento do datastore pode se beneficiar de uma solução de machine learning que detecta anomalias de performance. + O [Amazon DevOps Guru para Amazon RDS](https://docs.aws.amazon.com/devops-guru/latest/userguide/working-with-rds.overview.how-it-works.html) fornece visibilidade dos problemas de performance e faz recomendações de ações corretivas. + Configure a retenção de dados em sua solução de monitoramento e de log para corresponder às suas metas operacionais e de segurança. + [Retenção de dados padrão para métricas do CloudWatch](https://aws.amazon.com/cloudwatch/faqs/#AWS_resource_.26_custom_metrics_monitoring) + [Retenção de dados padrão para CloudWatch Logs](https://aws.amazon.com/cloudwatch/faqs/#Log_management) ## Recursos Recursos **Documentos relacionados:** + [Cache de banco de dados da AWS](https://aws.amazon.com/caching/database-caching/) + [As 10 melhores dicas de performance para Amazon Athena](https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/) + [Práticas recomendadas do Amazon Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Aurora.BestPractices.html) + [DynamoDB Accelerator](https://aws.amazon.com/dynamodb/dax/) + [Práticas recomendadas do Amazon DynamoDB](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/BestPractices.html) + [Práticas recomendadas do Amazon Redshift Spectrum](https://aws.amazon.com/blogs/big-data/10-best-practices-for-amazon-redshift-spectrum/) + [Performance do Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/dg/c_challenges_achieving_high_performance_queries.html) + [Bancos de dados na nuvem com a AWS](https://aws.amazon.com/products/databases/) + [Insights de Performance do Amazon RDS](https://aws.amazon.com/rds/performance-insights/) **Vídeos relacionados:** + [AWS re:Invent 2022: Monitoramento de performance com o Amazon RDS e o Aurora, com destaque para Autodesk](https://www.youtube.com/watch?v=wokRbwK4YLo) + [Monitoramento e ajuste de performance de banco de dados com o Amazon DevOps Guru para Amazon RDS](https://www.youtube.com/watch?v=cHKuVH7YGBE) + [AWS re:Invent 2023: Novidades do armazenamento de arquivos na AWS](https://www.youtube.com/watch?v=yXIeIKlTFV0) + [AWS re:Invent 2023: Mergulho profundo no Amazon DynamoDB](https://www.youtube.com/watch?v=ld-xoehkJuU) + [AWS re:Invent 2023: Criar e otimizar data lakes no Amazon S3](https://www.youtube.com/watch?v=mpQa_Zm1xW8) + [AWS re:Invent 2023: Novidades do armazenamento de arquivos na AWS](https://www.youtube.com/watch?v=yXIeIKlTFV0) + [AWS re:Invent 2023: Mergulho profundo no Amazon DynamoDB](https://www.youtube.com/watch?v=ld-xoehkJuU) + [Práticas recomendadas para monitorar workloads do Redis no Amazon ElastiCache](https://www.youtube.com/watch?v=c-hTMLN35BY&ab_channel=AWSOnlineTechTalks) **Exemplos relacionados:** + [Framework de coleta de métricas de ingestão de conjunto de dados na AWS](https://github.com/awslabs/aws-dataset-ingestion-metrics-collection-framework) + [Workshop de monitoramento do Amazon RDS](https://www.workshops.aws/?tag=Enhanced%20Monitoring) + [Workshop de bancos de dados com propósito específico na AWS](https://catalog.us-east-1.prod.workshops.aws/workshops/93f64257-52be-4c12-a95b-c0a1ff3b7e2b/en-US) # PERF03-BP04 Implementar estratégias para melhorar a performance da consulta no datastore PERF03-BP04 Implementar estratégias para melhorar a performance da consulta no datastore Implemente estratégias para otimizar os dados e melhorar a consulta de dados a fim de permitir mais escalabilidade e performance eficiente para a workload. **Práticas comuns que devem ser evitadas:** + Você não particiona dados no datastore. + Você armazena dados em apenas um formato de arquivo no datastore. + Você não usa índices no datastore. **Benefícios de implementar esta prática recomendada:** a otimização da performance dos dados e das consultas ocasiona mais eficiência, menor custo e melhor experiência do usuário. **Nível de risco exposto se esta prática recomendada não for estabelecida:** Médio ## Orientação para implementação Orientação para implementação A otimização de dados e o ajuste de consultas são aspectos essenciais da eficiência de performance em um datastore, pois afetam não só a performance, mas também a capacidade de resposta de toda a workload na nuvem. Consultas não otimizadas podem ocasionar maior uso de recursos e gargalos, o que reduz a eficiência geral de um datastore. A otimização de dados inclui várias técnicas para garantir o armazenamento e o acesso eficientes aos dados. Esse processo também ajuda a melhorar a performance da consulta em um datastore. As principais estratégias incluem particionamento, compactação e desnormalização de dados, o que ajuda a otimizá-los para armazenamento e acesso. ### Etapas de implementação Etapas de implementação + Entenda e analise as consultas de dados críticos que são realizadas no datastore. + Identifique as consultas com execução lenta no datastore e use planos de consulta para entender o estado atual delas. + [Analisar o plano de consulta no Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/dg/c-analyzing-the-query-plan.html) + [Usar EXPLAIN e EXPLAIN ANALYZE no Athena](https://docs.aws.amazon.com/athena/latest/ug/athena-explain-statement.html) + Implemente estratégias para melhorar a performance da consulta. Algumas das principais estratégias incluem: + Usar um [formato de arquivo colunar](https://docs.aws.amazon.com/athena/latest/ug/columnar-storage.html) (como Parquet ou ORC). + Compactar os dados no datastore para reduzir o espaço de armazenamento e as operações de E/S. + Particionar os dados para dividi-los em partes menores e reduzir o tempo de verificação dos dados. + [Particionamento de dados no Athena](https://docs.aws.amazon.com/athena/latest/ug/partitions.html) + [Partições e distribuição de dados](https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/HowItWorks.Partitions.html) + Indexação de dados nas colunas comuns na consulta. + Use visões materializadas para consultas frequentes. + [Entender as visões materializadas](https://docs.aws.amazon.com/prescriptive-guidance/latest/materialized-views-redshift/understanding-materialized-views.html) + [Criar visões materializadas no Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/dg/materialized-view-overview.html) + Escolha a operação de junção correta para consulta. Ao unir duas tabelas, especifique a tabela maior no lado esquerdo da junção e a tabela menor no lado direito. + Solução de cache distribuído para melhorar a latência e reduzir o número de operações de E/S do banco de dados. + Manutenção regular, como [aspiração](https://docs.aws.amazon.com/prescriptive-guidance/latest/postgresql-maintenance-rds-aurora/autovacuum.html), reindexação e [estatísticas de execução](https://docs.aws.amazon.com/redshift/latest/dg/t_Analyzing_tables.html). + Experimente e teste estratégias em um ambiente de não produção. ## Recursos Recursos **Documentos relacionados:** + [Práticas recomendadas do Amazon Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Aurora.BestPractices.html?ref=wellarchitected) + [Performance do Amazon Redshift](https://docs.aws.amazon.com/redshift/latest/dg/c_challenges_achieving_high_performance_queries.html?ref=wellarchitected) + [As 10 melhores dicas de performance para Amazon Athena](https://aws.amazon.com/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/?ref=wellarchitected) + [Cache de banco de dados da AWS](https://aws.amazon.com/caching/database-caching/?ref=wellarchitected) + [Práticas recomendadas para implementar o Amazon ElastiCache](https://docs.aws.amazon.com/AmazonElastiCache/latest/UserGuide/BestPractices.html) + [Particionamento de dados no Athena](https://docs.aws.amazon.com/athena/latest/ug/partitions.html) **Vídeos relacionados:** + [AWS re:Invent 2023: Práticas recomendadas de otimização de custos de armazenamento na AWS](https://www.youtube.com/watch?v=8LVKNHcA6RY) + [AWS re:Invent 2022: Monitoramento de performance com o Amazon RDS e o Aurora, com destaque para Autodesk](https://www.youtube.com/watch?v=wokRbwK4YLo) + [Otimizar consultas do Amazon Athena com novas ferramentas de análise de consultas](https://www.youtube.com/watch?v=7JUyTqglmNU&ab_channel=AmazonWebServices) **Exemplos relacionados:** + [AWS Workshop de bancos de dados com propósito específico na ](https://catalog.us-east-1.prod.workshops.aws/workshops/93f64257-52be-4c12-a95b-c0a1ff3b7e2b/en-US) # PERF03-BP05 Implementar padrões de acesso a dados que utilizam cache PERF03-BP05 Implementar padrões de acesso a dados que utilizam cache Implemente padrões de acesso que possam se beneficiar do armazenamento em cache de dados para recuperação rápida de dados acessados com frequência. **Práticas comuns que devem ser evitadas:** + Armazenar em cache dados que mudam com frequência. + Depender dos dados em cache como se estivessem armazenados de forma durável e sempre disponíveis. + Não levar em conta a consistência dos seus dados em cache. + Não monitorar a eficiência da sua implementação de cache. **Benefícios de implementar esta prática recomendada:** armazenar dados em um cache pode melhorar a latência de leitura, o throughput de leitura, a experiência do usuário e a eficiência geral, além de reduzir custos. **Nível de risco exposto se esta prática recomendada não for estabelecida:** Médio ## Orientação para implementação Orientação para implementação Um cache é um componente de software ou hardware destinado a armazenar dados para que futuras solicitações dos mesmos dados possam ser atendidas com maior rapidez e eficiência. Os dados armazenados em um cache podem ser reconstruídos se perdidos, repetindo um cálculo anterior ou obtendo-os de outro datastore. O armazenamento de dados em cache pode ser uma das estratégias mais eficazes para melhorar a performance geral da aplicação e reduzir a carga sobre as fontes de dados primárias subjacentes. Os dados podem ser armazenados em vários níveis na aplicação, como dentro da aplicação e fazendo chamadas remotas, o que é conhecido como *cache do lado do cliente*, ou usando um serviço secundário rápido para armazenar os dados, conhecido como *cache remoto*. **Armazenamento em cache no lado do cliente** Com o armazenamento em cache no lado do cliente, cada cliente (uma aplicação ou serviço que consulta o datastore de backend) pode armazenar os resultados de suas consultas exclusivas localmente por um período especificado. Isso pode reduzir o número de solicitações na rede para um datastore ao verificar primeiro o cache do cliente local. Se os resultados não estiverem presentes, a aplicação poderá então consultar o datastore e armazenar esses resultados localmente. Esse padrão permite que cada cliente armazene dados no local mais próximo (o próprio cliente), resultando na menor latência possível. Os clientes também podem continuar a atender algumas consultas quando o datastore de backend não está disponível, aumentando a disponibilidade geral do sistema. Uma desvantagem dessa abordagem é que, quando vários clientes estão envolvidos, eles podem armazenar os mesmos dados em cache localmente. Isso resulta no uso de armazenamento duplicado e na inconsistência de dados entre esses clientes. Um cliente pode armazenar em cache os resultados de uma consulta e, um minuto depois, outro cliente pode executar a mesma consulta e obter um resultado diferente. **Armazenamento em cache remoto** Para resolver o problema de dados duplicados entre clientes, um serviço externo rápido ou *cache remoto* pode ser usado para armazenar os dados consultados. Em vez de verificar um datastore local, cada cliente verificará o cache remoto antes de consultar o datastore de backend. Essa estratégia permite respostas mais consistentes entre clientes, melhor eficiência nos dados armazenados e um volume maior de dados em cache, pois o espaço de armazenamento é dimensionado independentemente dos clientes. A desvantagem de um cache remoto é que o sistema geral pode ter uma latência maior, pois é necessário um salto de rede adicional para verificar o cache remoto. O cache do lado do cliente pode ser usado junto com o armazenamento em cache remoto para o armazenamento em vários níveis para melhorar a latência. ### Etapas de implementação Etapas de implementação + Identifique bancos de dados, APIs e serviços de rede que poderiam se beneficiar do armazenamento em cache. Serviços que têm workloads de leitura pesadas, uma alta taxa de leitura e gravação ou que são caros para escalar são candidatos ao armazenamento em cache. + [Armazenamento em cache de banco de dados](https://aws.amazon.com/caching/database-caching/) + [Habilitar o armazenamento em cache de APIs para melhorar a capacidade de resposta](https://docs.aws.amazon.com/apigateway/latest/developerguide/api-gateway-caching.html) + Identifique o tipo apropriado de estratégia de armazenamento em cache que melhor se adapte ao seu padrão de acesso. + [Estratégias de armazenamento em cache](https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/Strategies.html) + [Soluções de armazenamento em cache da AWS](https://aws.amazon.com/caching/aws-caching/) + Siga as [práticas recomendadas de armazenamento em cache](https://aws.amazon.com/caching/best-practices/) para seu datastore. + Configure uma estratégia de invalidação de cache, como um time-to-live (TTL), para todos os dados que equilibre a atualização dos dados e reduza a pressão sobre o datastore de backend. + Habilite recursos como novas tentativas automáticas de conexão, recuo exponencial, tempos limite no lado do cliente e pool de conexões no cliente, se disponíveis, pois eles podem melhorar a performance e a confiabilidade. + [Práticas recomendadas: clientes Redis e Amazon ElastiCache (Redis OSS)](https://aws.amazon.com/blogs/database/best-practices-redis-clients-and-amazon-elasticache-for-redis/) + Monitore a taxa de acertos de cache com uma meta de 80% ou mais. Valores mais baixos podem indicar tamanho insuficiente do cache ou um padrão de acesso que não se beneficia do armazenamento em cache. + [Que métricas devo monitorar?](https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/CacheMetrics.WhichShouldIMonitor.html) + [Práticas recomendadas para monitorar workloads do Redis no Amazon ElastiCache](https://www.youtube.com/watch?v=c-hTMLN35BY) + [Monitorar as práticas recomendadas com o Amazon ElastiCache (Redis OSS) usando o Amazon CloudWatch](https://aws.amazon.com/blogs/database/monitoring-best-practices-with-amazon-elasticache-for-redis-using-amazon-cloudwatch/) + Implemente a [replicação de dados](https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/Replication.Redis.Groups.html) para descarregar as leituras em várias instâncias e melhorar a performance e a disponibilidade da leitura de dados. ## Recursos Recursos **Documentos relacionados:** + [Usar a Lente do Well-Architected para o Amazon ElastiCache](https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/WellArchitechtedLens.html) + [Monitorar as práticas recomendadas com o Amazon ElastiCache (Redis OSS) usando o Amazon CloudWatch](https://aws.amazon.com/blogs/database/monitoring-best-practices-with-amazon-elasticache-for-redis-using-amazon-cloudwatch/) + [Que métricas devo monitorar?](https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/CacheMetrics.WhichShouldIMonitor.html) + [Whitepaper Performance em grande escala com o Amazon ElastiCache](https://docs.aws.amazon.com/whitepapers/latest/scale-performance-elasticache/scale-performance-elasticache.html) + [Desafios e estratégias de armazenamento em cache](https://aws.amazon.com/builders-library/caching-challenges-and-strategies/) **Vídeos relacionados:** + [Plano de aprendizado do Amazon ElastiCache](https://pages.awscloud.com/GLB-WBNR-AWS-OTT-2021_LP_0003-DAT_AmazonElastiCache.html) + [Design para o sucesso com as práticas recomendadas do Amazon ElastiCache ](https://youtu.be/_4SkEy6r-C4) + [AWS re:Invent 2020: Design para o sucesso com as práticas recomendadas do Amazon ElastiCache](https://www.youtube.com/watch?v=_4SkEy6r-C4) + [AWS re:Invent 2023 [LANÇAMENTO]: Introdução ao Amazon ElastiCache sem servidor](https://www.youtube.com/watch?v=YYStP97pbXo) + [AWS re:Invent 2022: Cinco excelentes formas de reimaginar sua camada de dados com o Redis](https://www.youtube.com/watch?v=CD1kvauvKII) + [AWS re:Invent 2021: Mergulho profundo no Amazon ElastiCache (Redis OSS)](https://www.youtube.com/watch?v=QEKDpToureQ) **Exemplos relacionados:** + [Como aumentar a performance de bancos de dados MySQL com o Amazon ElastiCache (Redis OSS)](https://aws.amazon.com/getting-started/hands-on/boosting-mysql-database-performance-with-amazon-elasticache-for-redis/)