View a markdown version of this page

Traitement des exportations de données - Exportations de données AWS
Configuration d'Amazon AthenaConfiguration d'Amazon RedshiftRequêtes SQL recommandées pour le traitement de CUR 2.0Requêtes SQL recommandées pour le traitement des exportations de données sur les émissions de carbone

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Traitement des exportations de données

Dans les sections suivantes, vous trouverez des informations sur le traitement de vos exportations de données.

Configuration d'Amazon Athena

Pour créer une table et des partitions pour Athéna à l'aide d'un AWS Glue Crawler

  1. Créez une exportation des émissions CUR 2.0 ou de carbone avec les options de livraison d'exportation de données suivantes :

    • Type de compression et format de fichier : Parquet - Parquet

    • Versionnage des fichiers : remplacer le fichier d'exportation de données existant

  2. Dans Athena, utilisez l'éditeur de bloc-notes avec Trino SQL et choisissez Create pour créer une table avec « AWS  Glue crawler ». À l'aide du flux de travail du robot Glue, pointez le robot Glue pour qu'il s'exécute sur le <bucket-name><prefix><export-name>dossier s3 ://///data afin de charger automatiquement toutes les partitions livrées pour l'exportation spécifiée vers Athena.

  3. Une fois le robot Glue terminé, vous pouvez utiliser Athena pour écrire des requêtes sur la table créée par le robot Glue.

Configuration d'Amazon Redshift

Amazon Redshift est un entrepôt de données dans le cloud accessible soit selon une capacité provisionnée, soit selon un modèle sans serveur. Amazon Redshift offre des performances de requête rapides pour le traitement de vos données à partir de Data Exports.

Pour plus d'informations sur la configuration de Redshift, consultez le guide de démarrage Amazon Redshift.

Après avoir chargé vos données d'exportation CUR 2.0 dans un outil d'analyse de données tel qu'Amazon Athena ou Amazon Redshift, vous pouvez les traiter afin d'obtenir des informations sur les coûts et l'utilisation. AWS Well-Architected Labs fournit une bibliothèque de requêtes CUR que vous pouvez utiliser pour traiter le CUR. Pour plus d'informations, voir Bibliothèque de requêtes AWS CUR.

Notez les deux informations suivantes concernant les requêtes SQL :

  • Les requêtes SQL Well-Architected Labs ne fonctionneront pas dans le champ de requête d'exportation de données, car Data Exports ne prend pas en charge les agrégations ni certaines autres syntaxes SQL utilisées dans ces requêtes.

  • Les requêtes SQL Well-Architected Labs ne fonctionneront que si vous n'avez pas renommé vos colonnes à partir des noms par défaut. En fonction de la requête, vous devrez peut-être interroger certaines colonnes du produit sous forme de colonnes distinctes à l'aide de l'opérateur point. Pour plus d'informations, voir Data Query : configurations de table et de requête SQL.

Requêtes SQL recommandées pour le traitement des exportations de données sur les émissions de carbone

Pour obtenir le total des émissions de carbone par payer_account_id :

SELECT payer_account_id, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name
GROUP BY payer_account_id
ORDER BY total_emissions DESC;

Pour obtenir le total des émissions de carbone par payer_account_id et par product_code :

SELECT payer_account_id, product_code, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data"-- change to your table name
GROUP BY payer_account_id, product_code
ORDER BY total_emissions DESC;

Pour obtenir le total des émissions de carbone par payer_account_id et par region_code :

SELECT payer_account_id, region_code, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name
GROUP BY payer_account_id, region_code
ORDER BY total_emissions DESC;