Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Utilisation des données S3 Storage Lens dans des tables S3 Amazon S3 Storage Lens peut exporter vos analyses et informations de stockage vers S3 Tables, ce qui vous permet d'interroger vos métriques Storage Lens à l'aide de SQL avec des services d' AWS analyse tels qu'Amazon Athena, Amazon EMR, SageMaker Amazon Studio SMStudio () et AWS d'autres outils d'analyse. Lorsque vous configurez S3 Storage Lens pour qu'il exporte vers S3 Tables, vos métriques sont automatiquement stockées dans des tables Apache Iceberg en lecture seule dans le bucket de tables géré par AWS`aws-s3` -managed. Cette intégration fournit un accès structuré aux données pour interroger les métriques de Storage Lens à l'aide du langage SQL standard, une intégration AWS analytique avec les services d'analyse, des fonctionnalités d'analyse historique et une optimisation des coûts sans frais supplémentaires pour l' AWS exportation vers des tables S3 gérées. **Topics** + [Exportation des métriques de S3 Storage Lens vers des tables S3](storage-lens-s3-tables-export.md) + [Dénomination des tables pour l'exportation de S3 Storage Lens vers S3 Tables](storage-lens-s3-tables-naming.md) + [Comprendre les schémas de table S3 Storage Lens](storage-lens-s3-tables-schemas.md) + [Autorisations pour les tables S3 Storage Lens](storage-lens-s3-tables-permissions.md) + [Interrogation des données de S3 Storage Lens à l'aide d'outils d'analyse](storage-lens-s3-tables-querying.md) + [Utilisation d'assistants IA avec les tables S3 Storage Lens](storage-lens-s3-tables-ai-tools.md) # Exportation des métriques de S3 Storage Lens vers des tables S3 Vous pouvez configurer Amazon S3 Storage Lens pour exporter vos analyses et informations de stockage vers S3 Tables. Lorsque vous activez l'exportation des tables S3, vos métriques sont automatiquement stockées dans des tables Apache Iceberg en lecture seule du bucket de `aws-s3` tables AWS géré, ce qui les rend interrogeables à l'aide de SQL avec des services d'analyse AWS tels qu'Amazon Athena, Amazon Redshift et Amazon EMR. **Note** L'exportation des métriques S3 Storage Lens vers des tables S3 AWS gérées par S3 est gratuite. Les frais standard s'appliquent au stockage des tables, à la gestion des tables et aux demandes sur les tables. Pour plus d’informations, consultez [Tarification Amazon S3](https://aws.amazon.com/s3/pricing). ## Activer l'exportation des tables S3 à l'aide de la console 1. Connectez-vous à la console AWS de gestion et ouvrez la console Amazon S3 à l'adresse [https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/). 1. Dans le volet de navigation de gauche, choisissez **Storage Lens**, puis **Storage Lens Dashboards**. 1. Dans la liste **des tableaux de bord de Storage Lens**, choisissez le tableau de bord que vous souhaitez modifier. 1. Choisissez **Modifier**. 1. Sur la page **Tableau de bord**, accédez à la section **Exportation et publication des métriques**. 1. Pour activer l'exportation de tables pour le **rapport de mesures par défaut**, sélectionnez **Table bucket** dans le type de bucket. 1. Pour activer le **rapport sur les métriques d'exportation de tables pour les préfixes étendus**, sélectionnez **Table bucket** dans le type de bucket. 1. Vérifiez la configuration du tableau de bord et cliquez sur **Soumettre**. **Note** Une fois que vous avez activé l'exportation des tables S3, la disponibilité des premières données dans les tables peut prendre jusqu'à 48 heures. **Note** L'exportation des métriques S3 Storage Lens vers des tables S3 AWS gérées par S3 est gratuite. Les frais standard s'appliquent au stockage des tables, à la gestion des tables, aux demandes sur les tables et à la surveillance. Vous pouvez activer ou désactiver l'exportation vers les tables S3 à l'aide de la console Amazon S3, de l'API Amazon S3 AWS CLI, du ou AWS SDKs. **Note** Par défaut, les enregistrements de vos tables S3 n'expirent pas. Pour minimiser les coûts de stockage de vos tables, vous pouvez activer et configurer l'expiration des enregistrements pour les tables. Avec cette option, Amazon S3 supprime automatiquement les enregistrements d'une table lorsqu'ils expirent. Voir : [Expiration des enregistrements pour les tables.](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-record-expiration.html) ## Activez l'exportation des tables S3 à l'aide du AWS CLI **Note** Avant d'exécuter les commandes suivantes, assurez-vous que vous disposez d'une version de la CLI à jour. Consultez la section [Installation ou mise à jour vers la dernière version du AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html). L'exemple suivant active l'exportation de tables S3 pour une configuration S3 Storage Lens « Rapport de métriques par défaut » à l'aide du AWS CLI. Pour utiliser cet exemple, remplacez les *user input placeholders* par vos propres informations. ``` aws s3control put-storage-lens-configuration --account-id=555555555555 --config-id=your-configuration-id --storage-lens-configuration '{ "Id":"your-configuration-id", "AccountLevel":{ "ActivityMetrics":{ "IsEnabled":true }, "BucketLevel":{ "ActivityMetrics":{ "IsEnabled":true } } }, "DataExport":{ "S3BucketDestination":{ "OutputSchemaVersion":"V_1", "Format":"CSV", "AccountId":"555555555555", "Arn":"arn:aws:s3:::my-export-bucket", "Prefix":"storage-lens-exports/" }, "StorageLensTableDestination":{ "IsEnabled":true } }, "IsEnabled":true }' ``` ## Activez l'exportation des tables S3 à l'aide du AWS SDKs L'exemple suivant active l'exportation de tables S3 pour une configuration S3 Storage Lens (« rapport de métriques par défaut ») à l'aide du AWS SDK pour Python (Boto3). Pour utiliser cet exemple, remplacez les *user input placeholders* par vos propres informations. ``` import boto3 s3control = boto3.client('s3control') response = s3control.put_storage_lens_configuration( AccountId='555555555555', ConfigId='your-configuration-id', StorageLensConfiguration={ 'Id': 'your-configuration-id', 'AccountLevel': { 'ActivityMetrics': { 'IsEnabled': True }, 'BucketLevel': { 'ActivityMetrics': { 'IsEnabled': True } } }, 'DataExport': { 'S3BucketDestination': { 'OutputSchemaVersion': 'V_1', 'Format': 'CSV', 'AccountId': '555555555555', 'Arn': 'arn:aws:s3:::my-export-bucket', 'Prefix': 'storage-lens-exports/' }, 'StorageLensTableDestination': { 'IsEnabled': True } }, 'IsEnabled': True } ) ``` Pour plus d'informations sur l'utilisation de AWS SDKs, voir [AWS SDKs et outils](https://aws.amazon.com/developer/tools/). ## Étapes suivantes Après avoir activé l'exportation des tables S3, vous pouvez : + En savoir plus sur [Dénomination des tables pour l'exportation de S3 Storage Lens vers S3 Tables](storage-lens-s3-tables-naming.md) + En savoir plus sur [Comprendre les schémas de table S3 Storage Lens](storage-lens-s3-tables-schemas.md) # Dénomination des tables pour l'exportation de S3 Storage Lens vers S3 Tables Lorsque vous exportez des métriques S3 Storage Lens vers des tables S3, les tables sont organisées selon les conventions du catalogue Apache Iceberg avec des modèles de dénomination spécifiques pour garantir la compatibilité et l'organisation. ## Structure de localisation des tables L'emplacement complet de la table suit le schéma suivant : ``` s3tablescatalog/aws-s3// ``` ### Nom du bucket de table **Seau de table :** `aws-s3` L'exportation vers S3 Storage Lens utilise le bucket de `aws-s3` table, qui est le bucket désigné pour les tables système AWS associées à S3. ### Nom du catalogue **Catalogue :** `s3tablescatalog/aws-s3` Les tables S3 Storage Lens sont stockées dans le catalogue S3 car Storage Lens fournit des informations sur trois types de ressources S3 : + Métriques de stockage + Propriétés de compartiment + Métriques d'utilisation de l'API ## Convention de dénomination des espaces de nommage Les espaces de noms organisent les tables au sein du catalogue. Pour S3 Storage Lens, l'espace de noms est dérivé de votre ID de configuration Storage Lens. ### Format d'espace de noms standard Pour une configuration Storage Lens IDs sans points (`.`) : ``` lens__exp ``` **Exemple :** Si votre ID de configuration est`my-lens-config`, l'espace de noms sera : ``` lens_my-lens-config_exp ``` ### Format d'espace de noms avec gestion des points ou des lettres majuscules La configuration de Storage Lens IDs peut contenir des points (`.`) ou des lettres majuscules (`A-Z`), mais les espaces de noms S3 Tables ne prennent en charge que les lettres minuscules, les chiffres, les traits d'union () et les traits de soulignement (`-`). `_` Lorsque votre ID de configuration contient des points, ils sont convertis en traits d'union, les lettres majuscules sont converties en lettres minuscules et un suffixe de hachage est ajouté pour garantir l'unicité : ``` lens__exp_<7-char-hash> ``` **Exemple :** Si votre ID de configuration est`my.LENS.config`, l'espace de noms sera : ``` lens_my-lens-config_exp_a1b2c3d ``` Où `a1b2c3d` se trouvent les 7 premiers caractères du hachage SHA-1 de l'ID de configuration d'origine. ## Exemples complets Pour une configuration Storage Lens avec ID `production-metrics` : + **Seau de table :** `aws-s3` + **Catalogue :** `s3tablescatalog/aws-s3` + **Espace de noms :** `lens_production-metrics_exp` + **Chemin complet :** `s3tablescatalog/aws-s3/lens_production-metrics_exp/` Pour une configuration Storage Lens avec ID `prod.us.east.metrics` : + **Seau de table :** `aws-s3` + **Catalogue :** `s3tablescatalog/aws-s3` + **Namespace :** `lens_prod-us-east-metrics_exp_f8e9a1b` (avec hachage) + **Chemin complet :** `s3tablescatalog/aws-s3/lens_prod-us-east-metrics_exp_f8e9a1b/` ## Types de table Le tableau suivant présente les différents types de tables créés pour les exportations S3 Storage Lens : | Catalogue | Namespace | Nom de la table S3 | Description | | --- | --- | --- | --- | | s3tablescatalog/aws-s3 | lentille\$1 \$1exp [\$1] | métriques de stockage par défaut | Ce tableau contient les statistiques de stockage pour la configuration de votre Storage Lens. | | s3tablescatalog/aws-s3 | lentille\$1 \$1exp [\$1] | mesures\$1d'activité par défaut | Ce tableau contient les mesures d'activité relatives à votre configuration Storage Lens. | | s3tablescatalog/aws-s3 | lentille\$1 \$1exp [\$1] | paramètres de stockage étendus | Ce tableau contient les métriques de stockage pour tous les préfixes de votre configuration Storage Lens. | | s3tablescatalog/aws-s3 | lentille\$1 \$1exp [\$1] | préfixes\$1activité\$1métriques étendues | Ce tableau contient les mesures d'activité pour tous les préfixes de votre configuration Storage Lens. | | s3tablescatalog/aws-s3 | lentille\$1 \$1exp [\$1] | Bucket\$1Property\$1Metrics | Ce tableau contient les mesures relatives aux propriétés des compartiments pour tous les compartiments de votre configuration Storage Lens. | ## Étapes suivantes + En savoir plus sur [Comprendre les schémas de table S3 Storage Lens](storage-lens-s3-tables-schemas.md) + En savoir plus sur [Autorisations pour les tables S3 Storage Lens](storage-lens-s3-tables-permissions.md) # Comprendre les schémas de table S3 Storage Lens Lorsque vous exportez des métriques S3 Storage Lens vers des tables S3, les données sont organisées en trois schémas de table distincts : les métriques de stockage, les métriques de propriété du bucket et les métriques d'activité. ## Schéma du tableau des métriques de stockage | Nom | Type | Description | | --- | --- | --- | | version\$1number | chaîne | Identifiant de version du schéma de la table | | configuration\$1id | chaîne | Nom de configuration S3 Storage Lens | | report\$1time | timestamptz | Date à laquelle le rapport S3 Storage Lens fait référence | | aws\$1account\$1id | chaîne | Identifiant du compte auquel l'entrée fait référence | | aws\$1region | chaîne | Région | | storage\$1class | chaîne | Classe de stockage | | record\$1type | chaîne | Type d'enregistrement, related quel est le niveau d'agrégation des données. Valeurs :ACCOUNT,BUCKET,PREFIX,STORAGE\$1LENS\$1GROUP\$1BUCKET,STORAGE\$1LENS\$1GROUP\$1ACCOUNT. | | record\$1value | chaîne | Disambiguité pour les types d'enregistrements contenant plus d'un enregistrement. Il est utilisé pour référencer le préfixe | | bucket\$1name | chaîne | Nom du compartiment | | object\$1count | long | Nombre d'objets stockés pour l'élément référencé actuel | | storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets stockés pour l'élément référencé actuel | | bucket\$1key\$1sse\$1kms\$1object\$1count | long | Nombre d'objets chiffrés à l'aide d'une clé gérée par le client enregistrée pour l'article référencé actuel | | bucket\$1key\$1sse\$1kms\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets chiffrés avec une clé gérée par le client stockée pour l'article référencé actuel | | current\$1version\$1object\$1count | long | Nombre d'objets de la version actuelle stockés pour l'élément référencé actuel | | current\$1version\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets de la version actuelle stockés pour l'élément référencé actuel | | delete\$1marker\$1object\$1count | long | Nombre d'objets marqueurs de suppression stockés pour l'élément référencé actuel | | delete\$1marker\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets de marqueur de suppression stockés pour l'élément référencé actuel | | encrypted\$1object\$1count | long | Nombre d'objets chiffrés stockés pour l'élément référencé actuel | | encrypted\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets chiffrés stockés pour l'élément référencé actuel | | incomplete\$1mpu\$1object\$1older\$1than\$17\$1days\$1count | long | Nombre d'objets de téléchargement partitionné incomplets datant de plus de 7 jours stockés pour l'article référencé actuel | | incomplete\$1mpu\$1storage\$1older\$1than\$17\$1days\$1bytes | DÉCIMAL (38,0) | Nombre d'octets de téléchargement partitionné incomplets stockés il y a plus de 7 jours pour l'élément référencé actuel | | incomplete\$1mpu\$1object\$1count | long | Nombre d'objets de téléchargement partitionné incomplets stockés pour l'élément référencé actuel | | incomplete\$1mpu\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets de téléchargement partitionné incomplets stockés pour l'élément référencé actuel | | non\$1current\$1version\$1object\$1count | long | Nombre d'objets de version non actuelle stockés pour l'élément référencé actuel | | non\$1current\$1version\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets de version non actuelle stockés pour l'élément référencé actuel | | object\$1lock\$1enabled\$1object\$1count | long | Nombre d'objets stockés pour les objets dont le verrouillage est activé dans l'élément référencé actuel | | object\$1lock\$1enabled\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets stockés pour les objets dont le verrouillage est activé dans l'élément référencé actuel | | replicated\$1object\$1count | long | Nombre d'objets répliqués pour l'élément référencé actuel | | replicated\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets répliqués pour l'élément référencé actuel | | replicated\$1object\$1source\$1count | long | Nombre d'objets répliqués en tant que source stockée pour l'élément référencé actuel | | replicated\$1storage\$1source\$1bytes | DÉCIMAL (38,0) | Nombre d'octets répliqués en tant que source pour l'élément référencé actuel | | sse\$1kms\$1object\$1count | long | Nombre d'objets chiffrés avec la clé SSE stockée pour l'élément référencé actuel | | sse\$1kms\$1storage\$1bytes | DÉCIMAL (38,0) | Nombre d'octets chiffrés avec la clé SSE stockée pour l'élément référencé actuel | | object\$10kb\$1count | long | Nombre d'objets dont la taille est égale à 0 Ko, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$10kb\$1to\$1128kb\$1count | long | Nombre d'objets dont la taille est supérieure à 0 Ko et inférieure à 128 Ko, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$1128kb\$1to\$1256kb\$1count | long | Nombre d'objets dont la taille est supérieure à 128 Ko et inférieure à 256 Ko, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$1256kb\$1to\$1512kb\$1count | long | Nombre d'objets dont la taille est supérieure à 256 Ko et inférieure à 512 Ko, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$1512kb\$1to\$11mb\$1count | long | Nombre d'objets dont la taille est supérieure à 512 Ko et inférieure à 1 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$11mb\$1to\$12mb\$1count | long | Nombre d'objets dont la taille est supérieure à 1 Mo et inférieure à 2 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$12mb\$1to\$14mb\$1count | long | Nombre d'objets dont la taille est supérieure à 2 Mo et inférieure à 4 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$14mb\$1to\$18mb\$1count | long | Nombre d'objets dont la taille est supérieure à 4 Mo et inférieure à 8 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$18mb\$1to\$116mb\$1count | long | Nombre d'objets dont la taille est supérieure à 8 Mo et inférieure à 16 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$116mb\$1to\$132mb\$1count | long | Nombre d'objets dont la taille est supérieure à 16 Mo et inférieure à 32 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$132mb\$1to\$164mb\$1count | long | Nombre d'objets dont la taille est supérieure à 32 Mo et inférieure à 64 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$164mb\$1to\$1128mb\$1count | long | Nombre d'objets dont la taille est supérieure à 64 Mo et inférieure à 128 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$1128mb\$1to\$1256mb\$1count | long | Nombre d'objets dont la taille est supérieure à 128 Mo et inférieure à 256 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$1256mb\$1to\$1512mb\$1count | long | Nombre d'objets dont la taille est supérieure à 256 Mo et inférieure à 512 Mo, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$1512mb\$1to\$11gb\$1count | long | Nombre d'objets dont la taille est supérieure à 512 Mo et inférieure à 1 Go, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$11gb\$1to\$12gb\$1count | long | Nombre d'objets dont la taille est supérieure à 1 Go et inférieure à 2 Go, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$12gb\$1to\$14gb\$1count | long | Nombre d'objets dont la taille est supérieure à 2 Go et inférieure à 4 Go, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | | object\$1larger\$1than\$14gb\$1count | long | Nombre d'objets de taille supérieure à 4 Go, y compris la version actuelle, les versions non actuelles, les téléchargements partitionnés incomplets et les marqueurs de suppression | ## Schéma du tableau des métriques des propriétés du bucket | Nom | Type | Description | | --- | --- | --- | | version\$1number | chaîne | Identifiant de version du schéma de la table | | configuration\$1id | chaîne | Nom de configuration S3 Storage Lens | | report\$1time | timestamptz | Date à laquelle le rapport S3 Storage Lens fait référence | | aws\$1account\$1id | chaîne | Identifiant du compte auquel l'entrée fait référence | | record\$1type | chaîne | Type d'enregistrement, lié au niveau d'agrégation des données. Valeurs :ACCOUNT,BUCKET,PREFIX,STORAGE\$1LENS\$1GROUP\$1BUCKET,STORAGE\$1LENS\$1GROUP\$1ACCOUNT. | | record\$1value | chaîne | Disambiguité pour les types d'enregistrements contenant plus d'un enregistrement. Il est utilisé pour référencer le préfixe. | | aws\$1region | chaîne | Région | | storage\$1class | chaîne | Classe de stockage | | bucket\$1name | chaîne | Nom du compartiment | | versioning\$1enabled\$1bucket\$1count | long | Nombre de compartiments dont la gestion des versions est activée pour l'élément référencé actuel | | mfa\$1delete\$1enabled\$1bucket\$1count | long | Nombre de compartiments pour lesquels la suppression MFA est activée pour l'élément référencé actuel | | sse\$1kms\$1enabled\$1bucket\$1count | long | Nombre de compartiments dans lesquels le KMS est activé pour l'article référencé actuel | | object\$1ownership\$1bucket\$1owner\$1enforced\$1bucket\$1count | long | Nombre de compartiments pour lesquels le propriétaire du bucket Object Ownership est appliqué à l'élément référencé actuel | | object\$1ownership\$1bucket\$1owner\$1preferred\$1bucket\$1count | long | Nombre de buckets dont le propriétaire du bucket Ownership est préféré pour l'article référencé actuel | | object\$1ownership\$1object\$1writer\$1bucket\$1count | long | Nombre de compartiments dotés d'un rédacteur d'objets Object Ownership pour l'élément référencé actuel | | transfer\$1acceleration\$1enabled\$1bucket\$1count | long | Nombre de compartiments dans lesquels l'accélération du transfert est activée pour l'article référencé actuel | | event\$1notification\$1enabled\$1bucket\$1count | long | Nombre de compartiments dans lesquels la notification d'événement est activée pour l'élément référencé actuel | | transition\$1lifecycle\$1rule\$1count | long | Nombre de règles de cycle de vie de transition pour l'élément référencé actuel | | expiration\$1lifecycle\$1rule\$1count | long | Nombre de règles relatives au cycle de vie d'expiration pour l'article référencé actuel | | non\$1current\$1version\$1transition\$1lifecycle\$1rule\$1count | long | Nombre de règles de cycle de vie de transition de version non actuelles pour l'élément référencé actuel | | non\$1current\$1version\$1expiration\$1lifecycle\$1rule\$1count | long | Nombre de règles de cycle de vie d'expiration des versions non actuelles pour l'élément référencé actuel | | abort\$1incomplete\$1multipart\$1upload\$1lifecycle\$1rule\$1count | long | Nombre de règles relatives au cycle de vie des chargements partitionnés incomplets pour l'article référencé actuel | | expired\$1object\$1delete\$1marker\$1lifecycle\$1rule\$1count | long | Nombre de règles relatives au cycle de vie du marqueur de suppression d'objets expirant pour l'élément référencé actuel | | same\$1region\$1replication\$1rule\$1count | long | Nombre de règles de réplication dans la même région pour l'élément référencé actuel | | cross\$1region\$1replication\$1rule\$1count | long | Nombre de règles de réplication entre régions pour l'élément référencé actuel | | same\$1account\$1replication\$1rule\$1count | long | Nombre de règles de réplication pour le même compte pour l'élément référencé actuel | | cross\$1account\$1replication\$1rule\$1count | long | Nombre de règles de réplication entre comptes pour l'élément référencé actuel | | invalid\$1destination\$1replication\$1rule\$1count | long | Nombre de compartiments dont la réplication de destination n'est pas valide pour l'élément référencé actuel | ## Schéma du tableau des mesures d'activité | Nom | Type | Description | | --- | --- | --- | | version\$1number | chaîne | Identifiant de version du schéma de la table | | configuration\$1id | chaîne | Nom de configuration S3 Storage Lens | | report\$1time | timestamptz | Date à laquelle le rapport S3 Storage Lens fait référence | | aws\$1account\$1id | chaîne | Identifiant du compte auquel l'entrée fait référence | | aws\$1region | chaîne | Région | | storage\$1class | chaîne | Classe de stockage | | record\$1type | chaîne | Type d'enregistrement, lié au niveau d'agrégation des données. Valeurs :ACCOUNT,BUCKET,PREFIX,STORAGE\$1LENS\$1GROUP\$1BUCKET,STORAGE\$1LENS\$1GROUP\$1ACCOUNT. | | record\$1value | chaîne | Disambiguité pour les types d'enregistrements contenant plus d'un enregistrement. Il est utilisé pour référencer le préfixe | | bucket\$1name | chaîne | Nom du compartiment | | all\$1request\$1count | long | Nombre de \$1toutes\$1 demandes pour l'élément référencé actuel | | all\$1sse\$1kms\$1encrypted\$1request\$1count | long | Nombre de demandes chiffrées KMS pour l'élément référencé actuel | | all\$1unsupported\$1sig\$1request\$1count | long | Nombre de demandes de signature non prises en charge pour l'article référencé actuel | | all\$1unsupported\$1tls\$1request\$1count | long | Nombre de demandes TLS non prises en charge pour l'élément référencé actuel | | bad\$1request\$1error\$1400\$1count | long | Nombre de 400 erreurs de demande erronées pour l'élément référencé actuel | | delete\$1request\$1count | long | Nombre de demandes de suppression pour l'élément référencé actuel | | downloaded\$1bytes | décimal (0,0) | Nombre d'octets téléchargés pour l'élément référencé actuel | | error\$14xx\$1count | long | Nombre d'erreurs 4xx pour l'élément référencé actuel | | error\$15xx\$1count | long | Nombre d'erreurs 5xx pour l'élément référencé actuel | | forbidden\$1error\$1403\$1count | long | Nombre de 403 erreurs interdites pour l'article référencé en cours | | get\$1request\$1count | long | Nombre de demandes d'obtention pour l'élément référencé actuel | | head\$1request\$1count | long | Nombre de demandes par tête pour l'article référencé en cours | | internal\$1server\$1error\$1500\$1count | long | Nombre de 500 erreurs internes au serveur pour l'élément référencé actuel | | list\$1request\$1count | long | Nombre de demandes de liste pour l'élément référencé actuel | | not\$1found\$1error\$1404\$1count | long | Nombre de 404 erreurs non trouvées pour l'article référencé actuel | | ok\$1status\$1200\$1count | long | Nombre de 200 demandes OK pour l'article référencé actuel | | partial\$1content\$1status\$1206\$1count | long | Nombre de 206 demandes de contenu partiel pour l'élément référencé actuel | | post\$1request\$1count | long | Nombre de demandes de publication pour l'article référencé actuel | | put\$1request\$1count | long | Nombre de demandes de vente pour l'article référencé actuel | | select\$1request\$1count | long | Nombre de demandes de sélection pour l'élément référencé actuel | | select\$1returned\$1bytes | décimal (0,0) | Nombre d'octets renvoyés par les demandes de sélection pour l'élément référencé actuel | | select\$1scanned\$1bytes | décimal (0,0) | Nombre d'octets analysés par des demandes de sélection pour l'élément référencé actuel | | service\$1unavailable\$1error\$1503\$1count | long | Nombre de 503 erreurs de service non disponibles pour l'article référencé actuel | | uploaded\$1bytes | décimal (0,0) | Nombre d'octets téléchargés pour l'élément référencé actuel | | average\$1first\$1byte\$1latency | long | Temps moyen par demande entre le moment où un compartiment S3 reçoit une demande complète et le moment où il commence à renvoyer la réponse, mesuré au cours des dernières 24 heures | | average\$1total\$1request\$1latency | long | Temps moyen écoulé par requête entre le premier octet reçu et le dernier octet envoyé à un compartiment S3, mesuré au cours des dernières 24 heures | | read\$10kb\$1request\$1count | long | Nombre de GetObject demandes dont la taille des données est de 0 Ko, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$10kb\$1to\$1128kb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 0 Ko et allant jusqu'à 128 Ko, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$1128kb\$1to\$1256kb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 128 Ko et allant jusqu'à 256 Ko, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$1256kb\$1to\$1512kb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 256 Ko et allant jusqu'à 512 Ko, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$1512kb\$1to\$11mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 512 Ko et allant jusqu'à 1 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$11mb\$1to\$12mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 1 Mo et allant jusqu'à 2 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$12mb\$1to\$14mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 2 Mo et allant jusqu'à 4 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$14mb\$1to\$18mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 4 Mo et allant jusqu'à 8 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$18mb\$1to\$116mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 8 Mo et allant jusqu'à 16 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$116mb\$1to\$132mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 16 Mo et allant jusqu'à 32 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$132mb\$1to\$164mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 32 Mo et allant jusqu'à 64 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$164mb\$1to\$1128mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 64 Mo et allant jusqu'à 128 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$1128mb\$1to\$1256mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 128 Mo et allant jusqu'à 256 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$1256mb\$1to\$1512mb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 256 Mo et allant jusqu'à 512 Mo, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$1512mb\$1to\$11gb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 512 Mo et allant jusqu'à 1 Go, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$11gb\$1to\$12gb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 1 Go et allant jusqu'à 2 Go, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$12gb\$1to\$14gb\$1request\$1count | long | Nombre de GetObject demandes avec des tailles de données supérieures à 2 Go et allant jusqu'à 4 Go, y compris les demandes basées sur des plages et les demandes d'objets entiers | | read\$1larger\$1than\$14gb\$1request\$1count | long | Nombre de GetObject demandes dont la taille des données est supérieure à 4 Go, y compris les demandes basées sur des plages et les demandes d'objets entiers | | write\$10kb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données de 0 Ko | | write\$10kb\$1to\$1128kb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 0 Ko et jusqu'à 128 Ko | | write\$1128kb\$1to\$1256kb\$1request\$1count | long | Nombre de PutObject CreateMultipartUpload demandes et de tailles de données supérieures à 128 Ko et allant jusqu'à 256 Ko UploadPart | | write\$1256kb\$1to\$1512kb\$1request\$1count | long | Nombre de PutObject CreateMultipartUpload demandes et de tailles de données supérieures à 256 Ko et allant jusqu'à 512 Ko UploadPart | | write\$1512kb\$1to\$11mb\$1request\$1count | long | Nombre de PutObject UploadPart, et de CreateMultipartUpload demandes avec des tailles de données supérieures à 512 Ko et jusqu'à 1 Mo | | write\$11mb\$1to\$12mb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 1 Mo et jusqu'à 2 Mo | | write\$12mb\$1to\$14mb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 2 Mo et jusqu'à 4 Mo | | write\$14mb\$1to\$18mb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 4 Mo et jusqu'à 8 Mo | | write\$18mb\$1to\$116mb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 8 Mo et jusqu'à 16 Mo | | write\$116mb\$1to\$132mb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 16 Mo et jusqu'à 32 Mo | | write\$132mb\$1to\$164mb\$1request\$1count | long | Nombre de PutObject UploadPart, et de CreateMultipartUpload demandes avec des tailles de données supérieures à 32 Mo et jusqu'à 64 Mo | | write\$164mb\$1to\$1128mb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 64 Mo et jusqu'à 128 Mo | | write\$1128mb\$1to\$1256mb\$1request\$1count | long | Nombre de PutObject CreateMultipartUpload demandes et de tailles de données supérieures à 128 Mo et inférieures à 256 Mo UploadPart | | write\$1256mb\$1to\$1512mb\$1request\$1count | long | Nombre de PutObject CreateMultipartUpload demandes et de tailles de données supérieures à 256 Mo et allant jusqu'à 512 Mo UploadPart | | write\$1512mb\$1to\$11gb\$1request\$1count | long | Nombre de PutObject UploadPart, et de CreateMultipartUpload demandes avec des tailles de données supérieures à 512 Mo et jusqu'à 1 Go | | write\$11gb\$1to\$12gb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 1 Go et jusqu'à 2 Go | | write\$12gb\$1to\$14gb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 2 Go et jusqu'à 4 Go | | write\$1larger\$1than\$14gb\$1request\$1count | long | Nombre de PutObject UploadPart, et CreateMultipartUpload demandes avec des tailles de données supérieures à 4 Go | | concurrent\$1put\$1503\$1error\$1count | long | Nombre de 503 erreurs générées en raison d'écritures simultanées sur le même objet | | cross\$1region\$1request\$1count | long | Nombre de demandes provenant d'un client d'une région différente de celle d'origine du bucket | | cross\$1region\$1transferred\$1bytes | décimal (0,0) | Nombre d'octets transférés à partir d'appels dans une région différente de celle d'origine du bucket | | cross\$1region\$1without\$1replication\$1request\$1count | long | Nombre de demandes provenant d'un client d'une région différente de celle d'origine du bucket, à l'exception des demandes de réplication entre régions | | cross\$1region\$1without\$1replication\$1transferred\$1bytes | décimal (0,0) | Nombre d'octets transférés à partir d'appels dans une région différente de celle d'origine du bucket, à l'exclusion des octets de réplication entre régions | | inregion\$1request\$1count | long | Nombre de demandes provenant d'un client de la même région que la région d'origine du bucket | | inregion\$1transferred\$1bytes | décimal (0,0) | Nombre d'octets transférés à partir d'appels provenant de la même région que la région d'origine du bucket | | unique\$1objects\$1accessed\$1daily\$1count | long | Nombre d'objets auxquels on a accédé au moins une fois au cours des dernières 24 heures | ## Étapes suivantes + En savoir plus sur [Autorisations pour les tables S3 Storage Lens](storage-lens-s3-tables-permissions.md) + Démarrage de [Interrogation des données de S3 Storage Lens à l'aide d'outils d'analyse](storage-lens-s3-tables-querying.md) + Consultez le [Glossaire des métriques Amazon S3 Storage Lens](storage_lens_metrics_glossary.md) pour obtenir des définitions détaillées des métriques # Autorisations pour les tables S3 Storage Lens Pour utiliser les données S3 Storage Lens exportées vers S3 Tables, vous devez disposer des autorisations Gestion des identités et des accès AWS (IAM) appropriées. Cette rubrique traite des autorisations requises pour exporter des métriques et gérer le chiffrement. ## Autorisations pour l'exportation des métriques vers les tables S3 Pour créer et utiliser des tables et des compartiments de tables S3 Storage Lens, vous devez disposer de certaines `s3tables` autorisations. Pour configurer S3 Storage Lens sur S3 Tables, vous devez au minimum disposer des `s3tables` autorisations suivantes : + `s3tables:CreateTableBucket`— Cette autorisation vous permet de créer un bucket de table AWS géré. Toutes les métriques S3 Storage Lens de votre compte sont stockées dans un bucket de table AWS géré unique nommé`aws-s3`. + `s3tables:PutTableBucketPolicy`— S3 Storage Lens utilise cette autorisation pour définir une politique de compartiment de table qui autorise l'`systemtables.s3.amazonaws.com`accès au compartiment afin que les journaux puissent être livrés. **Important** Si vous supprimez les autorisations pour le principal de service`systemtables.s3.amazonaws.com`, S3 Storage Lens ne sera pas en mesure de mettre à jour les tables S3 avec les données basées sur votre configuration. Nous vous recommandons d'ajouter d'autres politiques de contrôle d'accès en plus de la politique déjà fournie, au lieu de modifier la politique prédéfinie ajoutée lors de la configuration de votre compartiment de table. **Note** Une table S3 distincte pour chaque type d'exportation de métriques est créée pour chaque configuration de Storage Lens. Si vous avez plusieurs configurations de Storage Lens dans la région, des tables distinctes sont créées pour les configurations supplémentaires. Par exemple, trois types de tables sont disponibles pour votre compartiment de tables S3. ## Autorisations pour les tables chiffrées AWS KMS Toutes les données des tables S3, y compris les métriques S3 Storage Lens, sont cryptées par défaut avec le cryptage SSE-S3. Vous pouvez choisir de chiffrer votre rapport sur les métriques de Storage Lens à l'aide de AWS KMS clés (SSE-KMS). Si vous choisissez de chiffrer vos rapports métriques S3 Storage Lens à l'aide de clés KMS, vous devez disposer d'autorisations supplémentaires. 1. L'utilisateur ou le rôle IAM nécessite les autorisations suivantes. Vous pouvez accorder ces autorisations à l'aide de la console IAM à [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)l'adresse. + `kms:DescribeKey`sur la AWS KMS clé utilisée 1. En ce qui concerne la politique relative à la AWS KMS clé, vous devez disposer des autorisations suivantes. Vous pouvez accorder ces autorisations à l'aide de la AWS KMS console située à l'adresse [https://console.aws.amazon.com/kms.](https://console.aws.amazon.com/kms) Pour utiliser cette stratégie, remplacez ` user input placeholders ` par vos propres informations. ``` { "Version": "2012-10-17", "Statement": [ { "Sid": "EnableSystemTablesKeyUsage", "Effect": "Allow", "Principal": { "Service": "systemtables.s3.amazonaws.com" }, "Action": [ "kms:DescribeKey", "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "arn:aws:kms:us-east-1:111122223333:key/key-id", "Condition": { "StringEquals": { "aws:SourceAccount": "111122223333" } } }, { "Sid": "EnableKeyUsage", "Effect": "Allow", "Principal": { "Service": "maintenance.s3tables.amazonaws.com" }, "Action": [ "kms:GenerateDataKey", "kms:Decrypt" ], "Resource": "arn:aws:kms:us-east-1:111122223333:key/key-id", "Condition": { "StringLike": { "kms:EncryptionContext:aws:s3:arn": "/*" } } } ] } ``` ## Rôle lié au service pour S3 Storage Lens S3 Storage Lens utilise un rôle lié à un service pour écrire des métriques dans les tables S3. Ce rôle est automatiquement créé lorsque vous activez l'exportation des tables S3 pour la première fois dans votre compte. Le rôle lié au service dispose des autorisations suivantes : + `s3tables:CreateTable`- Pour créer des tables dans le compartiment de `aws-s3` tables + `s3tables:PutTableData`- Pour écrire des données métriques dans des tables + `s3tables:GetTable`- Pour récupérer les métadonnées d'une table Il n'est pas nécessaire de créer ou de gérer manuellement ce rôle lié à un service. Pour en savoir plus sur l’utilisation des rôles liés à un service, consultez [Utilisation des rôles liés à un service](https://docs.aws.amazon.com/IAM/latest/UserGuide/using-service-linked-roles.html) dans le *Guide de l’utilisateur IAM*. ## Bonnes pratiques en matière d'autorisations Suivez ces bonnes pratiques lors de la configuration des autorisations pour les tables S3 Storage Lens : + **Utiliser le moindre privilège** : accordez uniquement les autorisations requises pour des tâches spécifiques. Par exemple, si les utilisateurs doivent uniquement interroger des données, n'accordez pas les autorisations nécessaires pour modifier les configurations de Storage Lens. + **Utiliser des rôles IAM : utilisez des rôles** IAM plutôt que des clés d'accès à long terme pour les applications et les services qui accèdent aux tables S3 Storage Lens. + **Activer AWS CloudTrail** : activez la CloudTrail journalisation pour surveiller l'accès aux tables S3 Storage Lens et suivre les modifications des autorisations. + **Utiliser des politiques basées sur les ressources** : dans la mesure du possible, utilisez des politiques basées sur les ressources pour contrôler l'accès à des tables ou à des espaces de noms spécifiques. + **Vérifiez régulièrement les autorisations** : passez régulièrement en revue et auditez les politiques IAM et les autorisations de Lake Formation pour vous assurer qu'elles respectent le principe du moindre privilège. ## Permissions de dépannage ### Accès refusé lors de l'activation de l'exportation des tables S3 **Problème :** vous recevez un message d'erreur « accès refusé » lorsque vous essayez d'activer l'exportation des tables S3. **Solution :** Vérifiez que votre utilisateur ou rôle IAM dispose de l'`s3:PutStorageLensConfiguration`autorisation et des autorisations S3 Tables nécessaires. ### Accès refusé lors de l'interrogation de tables **Problème :** vous recevez un message d'erreur « accès refusé » lorsque vous interrogez les tables S3 Storage Lens dans Amazon Athena. **Solution :** vérifiez que : + L'intégration des analyses est activée dans le compartiment de `aws-s3` table + Les autorisations de Lake Formation sont correctement configurées + Votre utilisateur ou rôle IAM dispose des autorisations Amazon Athena nécessaires ### Erreurs de chiffrement KMS **Problème :** vous recevez des erreurs liées au KMS lorsque vous accédez à des tables chiffrées. **Solution :** vérifiez que : + Votre politique IAM inclut les autorisations KMS requises + La politique des clés KMS accorde des autorisations au principal du service S3 Storage Lens + La clé KMS se trouve dans la même région que la configuration de votre Storage Lens ## Étapes suivantes + En savoir plus sur [Définition d’autorisations Amazon S3 Storage Lens](storage_lens_iam_permissions.md) + En savoir plus sur [Interrogation des données de S3 Storage Lens à l'aide d'outils d'analyse](storage-lens-s3-tables-querying.md) + En savoir plus sur [Utilisation d'assistants IA avec les tables S3 Storage Lens](storage-lens-s3-tables-ai-tools.md) # Interrogation des données de S3 Storage Lens à l'aide d'outils d'analyse Avant de pouvoir interroger les données S3 Storage Lens exportées vers S3 Tables à l'aide de services AWS d'analyse tels qu'Amazon Athena ou Amazon EMR, vous devez activer l'intégration des analyses dans le compartiment de table « aws-s3 » AWS géré par -managed et configurer les autorisations. AWS Lake Formation **Important** L'activation de l'intégration des analyses dans le bucket de table « aws-s3 » est une étape obligatoire qui est souvent oubliée. Sans cette configuration, vous ne pourrez pas interroger vos tables S3 Storage Lens à l'aide des services AWS d'analyse. ## Conditions préalables Avant de commencer, assurez-vous d'avoir : + Une configuration S3 Storage Lens avec exportation de tables S3 activée. Pour plus d’informations, consultez [Exportation des métriques de S3 Storage Lens vers des tables S3](storage-lens-s3-tables-export.md). + Accès à Amazon Athena ou à un autre service d'analyse. + A attendu 24 à 48 heures après avoir activé l'exportation pour que les premières données soient disponibles. ## Présentation de l’intégration Pour obtenir des informations détaillées sur l'intégration des tables S3 aux services AWS d'analyse, notamment les prérequis, la configuration des rôles IAM et step-by-step les procédures, consultez la section [Intégration des tables Amazon S3 aux services AWS d'analyse](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-integrating-aws.html). Après avoir activé l'exportation des tables S3 et configuré l'intégration des analyses, vous pouvez interroger vos données S3 Storage Lens à l'aide de services AWS d'analyse tels qu'Amazon Athena, Amazon Redshift et Amazon EMR. Cela vous permet d'effectuer des analyses personnalisées, de créer des tableaux de bord et de tirer des informations de vos données de stockage à l'aide du SQL standard. ## Effectuer des requêtes avec Amazon Athena Amazon Athena est un service de requête interactif sans serveur qui facilite l'analyse des données à l'aide du langage SQL standard. Procédez comme suit pour interroger les données S3 Storage Lens dans Athena. **Note** Dans tous les exemples de requête, remplacez `lens_my-config_exp` par votre espace de noms de configuration Storage Lens actuel. Pour plus d'informations sur la dénomination des espaces de noms, consultez[Dénomination des tables pour l'exportation de S3 Storage Lens vers S3 Tables](storage-lens-s3-tables-naming.md). ### Exemple : interrogez les principaux consommateurs de stockage La requête suivante identifie les 10 compartiments les plus utilisés en termes de consommation de stockage : ``` SELECT bucket_name, storage_class, SUM(storage_bytes) / POWER(1024, 3) AS storage_gb, SUM(object_count) AS objects FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."default_storage_metrics" WHERE report_time = ( SELECT MAX(report_time) FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."default_storage_metrics" ) AND record_type = 'BUCKET' AND bucket_name != '' GROUP BY bucket_name, storage_class ORDER BY storage_gb DESC LIMIT 10 ``` ### Exemple : analyse de la croissance du stockage au fil du temps La requête suivante analyse la croissance du stockage au cours des 30 derniers jours : ``` SELECT CAST(report_time AS date) AS report_date, SUM(storage_bytes) / POWER(1024, 3) AS total_storage_gb FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."default_storage_metrics" WHERE report_time >= current_date - interval '30' day AND record_type = 'ACCOUNT' GROUP BY CAST(report_time AS date) ORDER BY report_date DESC; ``` ### Exemple : identifier les téléchargements partitionnés incomplets La requête suivante permet de trouver des buckets contenant des chargements partitionnés incomplets datant de plus de 7 jours : ``` SELECT bucket_name, SUM(incomplete_mpu_storage_older_than_7_days_bytes) / POWER(1024, 3) AS wasted_storage_gb, SUM(incomplete_mpu_object_older_than_7_days_count) AS wasted_objects FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."default_storage_metrics" WHERE report_time = ( SELECT MAX(report_time) FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."default_storage_metrics" ) AND record_type = 'BUCKET' AND incomplete_mpu_storage_older_than_7_days_bytes > 0 GROUP BY bucket_name ORDER BY wasted_storage_gb DESC; ``` ### Exemple : trouver des candidats pour des données non traitées La requête suivante identifie les préfixes sans activité au cours des 100 derniers jours qui sont stockés dans des niveaux de stockage à chaud : ``` WITH recent_activity AS ( SELECT DISTINCT bucket_name, record_value AS prefix_path FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."expanded_prefixes_activity_metrics" WHERE report_time >= current_date - interval '100' day AND record_type = 'PREFIX' AND all_request_count > 0 ) SELECT s.bucket_name, s.record_value AS prefix_path, s.storage_class, SUM(s.storage_bytes) / POWER(1024, 3) AS storage_gb FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."expanded_prefixes_storage_metrics" s LEFT JOIN recent_activity r ON s.bucket_name = r.bucket_name AND s.record_value = r.prefix_path WHERE s.report_time = ( SELECT MAX(report_time) FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."expanded_prefixes_storage_metrics" ) AND s.record_type = 'PREFIX' AND s.storage_class IN ('STANDARD', 'REDUCED_REDUNDANCY') AND s.storage_bytes > 1073741824 -- > 1GB AND r.prefix_path IS NULL -- No recent activity GROUP BY s.bucket_name, s.record_value, s.storage_class ORDER BY storage_gb DESC LIMIT 20; ``` ### Exemple : analyser les modèles de demandes La requête suivante analyse les modèles de demandes pour comprendre la fréquence d'accès : ``` SELECT bucket_name, SUM(all_request_count) AS total_requests, SUM(get_request_count) AS get_requests, SUM(put_request_count) AS put_requests, ROUND(100.0 * SUM(get_request_count) / NULLIF(SUM(all_request_count), 0), 2) AS get_percentage, SUM(downloaded_bytes) / POWER(1024, 3) AS downloaded_gb FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."default_activity_metrics" WHERE report_time >= current_date - interval '7' day AND record_type = 'BUCKET' AND bucket_name != '' GROUP BY bucket_name HAVING SUM(all_request_count) > 0 ORDER BY total_requests DESC LIMIT 10; ``` ## Interrogation avec Apache Spark sur Amazon EMR Amazon EMR fournit un framework Hadoop géré qui facilite le traitement de grandes quantités de données à l'aide d'Apache Spark. Vous pouvez utiliser le connecteur Iceberg pour lire directement les tables S3 Storage Lens. ### Lisez les tables S3 avec Spark Utilisez le code Python suivant pour lire les données S3 Storage Lens avec Spark : ``` from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("S3StorageLensAnalysis") \ .config("spark.sql.catalog.s3tablescatalog", "org.apache.iceberg.spark.SparkCatalog") \ .config("spark.sql.catalog.s3tablescatalog.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog") \ .getOrCreate() # Read S3 Storage Lens data df = spark.read \ .format("iceberg") \ .load("s3tablescatalog/aws-s3.lens_my-config_exp.default_storage_metrics") # Analyze data df.filter("record_type = 'BUCKET'") \ .groupBy("bucket_name", "storage_class") \ .sum("storage_bytes") \ .orderBy("sum(storage_bytes)", ascending=False) \ .show(10) ``` ## Bonnes pratiques d'optimisation des requêtes Suivez ces bonnes pratiques pour optimiser les performances des requêtes et réduire les coûts : + **Filtrer par report\$1time** : incluez toujours des filtres de date pour réduire la quantité de données numérisées. Cela est particulièrement important pour les tables dont la durée de conservation est longue. ``` WHERE report_time >= current_date - interval '7' day ``` + **Utilisez les filtres record\$1type** : spécifiez le niveau d'agrégation approprié (ACCOUNT, BUCKET, PREFIX) pour n'interroger que les données dont vous avez besoin. ``` WHERE record_type = 'BUCKET' ``` + **Inclure des clauses LIMIT** : utilisez LIMIT pour les requêtes exploratoires afin de contrôler la taille des résultats et de réduire les coûts des requêtes. ``` LIMIT 100 ``` + **Filtrer les enregistrements vides** : utilisez des conditions pour exclure les enregistrements vides ou à valeur nulle. ``` WHERE storage_bytes > 0 ``` + **Utiliser les données les plus récentes** : lors de l'analyse de l'état actuel, filtrez en fonction du dernier report\$1time pour éviter de scanner les données historiques. ``` WHERE report_time = (SELECT MAX(report_time) FROM table_name) ``` ### Exemple de modèle de requête optimisé La requête suivante illustre les meilleures pratiques en matière d'optimisation : ``` SELECT bucket_name, SUM(storage_bytes) / POWER(1024, 3) AS storage_gb FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."default_storage_metrics" WHERE report_time >= current_date - interval '7' day -- Date filter AND record_type = 'BUCKET' -- Record type filter AND storage_bytes > 0 -- Non-empty filter AND bucket_name != '' -- Non-empty filter GROUP BY bucket_name ORDER BY storage_gb DESC LIMIT 100; -- Result limit ``` ## Résolution des problèmes ### La requête ne renvoie aucun résultat **Problème :** votre requête se termine correctement mais ne renvoie aucun résultat. **Solution :** + Vérifiez que les données sont disponibles en vérifiant le dernier report\$1time : ``` SELECT MAX(report_time) AS latest_data FROM "s3tablescatalog/aws-s3"."lens_my-config_exp"."default_storage_metrics"; ``` + Assurez-vous d'utiliser le nom d'espace de noms correct. `SHOW TABLES IN `lens_my-config_exp`;`À utiliser pour répertorier les tables disponibles. + Attendez 24 à 48 heures après avoir activé l'exportation des tables S3 pour que les premières données soient disponibles. ### Erreurs d’accès refusé **Problème :** vous recevez des messages d'erreur de refus d'accès lors de l'exécution de requêtes. **Solution :** Vérifiez que AWS Lake Formation les autorisations sont correctement configurées. Pour plus d'informations, consultez la section [Intégration des tables Amazon S3 aux services AWS d'analyse.](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-integrating-aws.html) ## Étapes suivantes + En savoir plus sur [Utilisation d'assistants IA avec les tables S3 Storage Lens](storage-lens-s3-tables-ai-tools.md) + Consultez les définitions [Glossaire des métriques Amazon S3 Storage Lens](storage_lens_metrics_glossary.md) des mesures + Explorez [Cas d’utilisation des métriques Amazon S3 Storage Lens](storage-lens-use-cases.md) pour plus d'idées d'analyse + En savoir plus sur [Amazon Athena pour les requêtes sans](https://docs.aws.amazon.com/athena/latest/ug/what-is.html) serveur # Utilisation d'assistants IA avec les tables S3 Storage Lens Vous pouvez utiliser des assistants d'intelligence artificielle et des outils d'intelligence artificielle conversationnels pour interagir avec les données de votre S3 Storage Lens exportées vers S3 Tables en langage naturel. En tirant parti du protocole MCP (Model Context Protocol) et du serveur MCP pour les tables Amazon S3, vous pouvez interroger, analyser et obtenir des informations à partir de vos données de stockage sans avoir à écrire de requêtes SQL. ## Présentation de Le protocole MCP (Model Context Protocol) est un moyen standardisé permettant aux applications d'IA d'accéder aux informations contextuelles et de les utiliser. Le serveur MCP pour Amazon S3 Tables fournit des outils qui permettent aux assistants IA d'interagir avec les données de vos tables S3 à l'aide d'interfaces en langage naturel. Cela démocratise l'accès aux données et permet aux individus, quel que soit leur niveau de compétence technique, de travailler avec les métriques S3 Storage Lens. Avec le serveur MCP pour tables S3, vous pouvez utiliser le langage naturel pour : + Répertorier les buckets, les espaces de noms et les tables S3 + Interrogez les métriques de S3 Storage Lens et obtenez des informations + Analyser les tendances et les modèles de stockage + Identifier les opportunités d'optimisation des coûts + Génération de rapports et de visualisations ## Assistants IA pris en charge Le serveur MCP pour les tables S3 fonctionne avec différents assistants d'intelligence artificielle qui prennent en charge le protocole Model Context, notamment : + **Kiro** - Un assistant de codage AI avec support MCP intégré + **Amazon Q Developer** : assistant basé sur AWS l'IA pour les développeurs + **Cline** - Un assistant de codage AI avec intégration MCP + **Claude Desktop** - L'application de bureau d'Anthropic avec support MCP + **Cursor** - Un éditeur de code basé sur l'IA **Important** Les requêtes SQL et les recommandations générées par l'IA doivent être examinées et validées avant utilisation. Vérifiez que les requêtes sont adaptées à votre structure de données, à votre cas d'utilisation et à vos exigences de performances. Testez toujours les recommandations dans un environnement hors production avant de les mettre en œuvre en production. ## Configuration de Kiro avec les tables S3 Storage Lens Kiro est un assistant de codage basé sur l'IA qui permet une intégration parfaite avec les tables S3 via le serveur MCP. Kiro peut vous aider à installer et à configurer le serveur MCP directement via son interface, ce qui simplifie le processus de configuration. Pour plus d'informations sur Kiro, consultez [Kiro AI.](https://kiro.ai/) ### Conditions préalables Avant de commencer, assurez-vous d'avoir : + Kiro est installé sur votre système. Téléchargez depuis [https://kiro.ai/](https://kiro.ai/) + AWS CLI configuré avec les informations d'identification appropriées + Une configuration S3 Storage Lens avec exportation de tables S3 activée + Autorisations pour interroger les tables S3. Pour de plus amples informations, veuillez consulter [Autorisations pour les tables S3 Storage Lens](storage-lens-s3-tables-permissions.md). ### Étape 1 : Installation du serveur MCP S3 Tables Vous pouvez installer le serveur MCP S3 Tables de deux manières : **Option 1 : utilisation de la gestion de serveur MCP intégrée de Kiro** Kiro peut vous aider à découvrir et à installer des serveurs MCP directement via son interface : 1. Ouvrez Kiro 1. Accédez à l'interface de gestion du serveur MCP (généralement via les paramètres ou la palette de commandes) 1. Recherchez « S3 Tables » ou « awslabs.s3- » tables-mcp-server 1. Suivez les instructions de Kiro pour installer et configurer le serveur **Option 2 : installation manuelle à l'aide d'UVX** Vous pouvez également installer manuellement le serveur MCP à l'aide d'un `uvx` exécuteur de paquets Python : ``` uvx awslabs.s3-tables-mcp-server@latest ``` Pour plus d'informations sur l'installation du serveur MCP, consultez la documentation du [serveur MCP AWS S3 Tables](https://awslabs.github.io/mcp/servers/s3-tables-mcp-server). ### Étape 2 : Configuration des paramètres Kiro MCP Créez ou mettez à jour votre fichier de configuration Kiro MCP `~/.kiro/settings/mcp.json` à l'adresse suivante : ``` { "mcpServers": { "awslabs.s3-tables-mcp-server": { "command": "uvx", "args": ["awslabs.s3-tables-mcp-server@latest"], "env": { "AWS_PROFILE": "your-aws-profile", "AWS_REGION": "us-east-1" } } } } ``` Remplacez `your-aws-profile` par le nom AWS CLI de votre profil et `us-east-1` par votre AWS région. ### Étape 3 : vérifier la configuration Après avoir configuré le serveur MCP, redémarrez Kiro et vérifiez que les outils S3 Tables sont disponibles. Vous pouvez vérifier les serveurs MCP disponibles dans les paramètres de Kiro ou en demandant à Kiro de répertorier les outils disponibles. ## Exemples de cas d'utilisation avec des assistants basés sur l'IA Les exemples suivants montrent comment utiliser des instructions en langage naturel avec des assistants d'intelligence artificielle pour interagir avec les données S3 Storage Lens. ### Exemple 1 : Interrogez les principaux consommateurs de stockage **Invite :** « Montrez-moi les 10 compartiments les plus utilisés en termes de consommation de stockage à partir de mes données S3 Storage Lens. » L'assistant AI utilisera le serveur MCP pour interroger vos tables S3 Storage Lens et renvoyer les résultats, notamment les noms des compartiments, les classes de stockage et les quantités de stockage. ### Exemple 2 : analyser la croissance du stockage **Prompt :** « Analysez la croissance de mon stockage au cours des 30 derniers jours et indiquez-moi la tendance. » L'assistant AI interrogera le tableau des métriques de stockage, calculera les totaux de stockage quotidiens et présentera la tendance de croissance. ### Exemple 3 : Identifier les opportunités d'optimisation des coûts **Invite :** « Trouvez des compartiments contenant des téléchargements partitionnés incomplets datant de plus de 7 jours et qui gaspillent de l'espace de stockage. » L'assistant AI interrogera le tableau des métriques de stockage pour détecter les téléchargements partitionnés incomplets et fournira une liste de compartiments susceptibles de permettre des économies de coûts. ### Exemple 4 : Trouver des candidats à des données non fiables **Demande :** « Identifiez les préfixes qui n'ont pas été actifs au cours des 100 derniers jours et qui sont stockés dans des niveaux de stockage à chaud. » L'assistant AI analysera à la fois les indicateurs de stockage et d'activité afin d'identifier les données susceptibles d'être déplacées vers des niveaux de stockage plus froids afin d'optimiser les coûts. ### Exemple 5 : génération de rapports de stockage **Demande :** « Créez un rapport récapitulatif de mon stockage S3 indiquant le stockage total, le nombre d'objets et les modèles de demandes de la semaine dernière. » L'assistant AI interrogera plusieurs tables, agrégera les données et générera un rapport complet. ## Bonnes pratiques d'utilisation des assistants basés sur l'IA Suivez ces bonnes pratiques lorsque vous utilisez des assistants d'intelligence artificielle avec des données S3 Storage Lens : + **Soyez précis dans vos instructions** : fournissez des instructions claires et spécifiques sur les données que vous souhaitez analyser et les informations que vous recherchez. + **Vérifiez les requêtes générées par l'IA** : passez toujours en revue et validez les requêtes SQL et les recommandations générées par l'assistant IA avant de les exécuter ou de prendre des mesures. Les assistants d'intelligence artificielle peuvent parfois produire des requêtes ou des recommandations incorrectes qui doivent être vérifiées par rapport à votre cas d'utilisation et à vos données spécifiques. + **Utilisez les autorisations appropriées** - Assurez-vous que les informations d'identification IAM utilisées par l'assistant AI disposent uniquement des autorisations nécessaires. Pour une analyse en lecture seule, accordez uniquement les autorisations SELECT. + **Surveillez l'utilisation** : suivez les requêtes exécutées par les assistants IA AWS CloudTrail pour conserver des pistes d'audit. + **Commencez par des requêtes simples** : commencez par des requêtes simples pour comprendre comment l'assistant IA interprète vos instructions, puis passez à une analyse plus complexe. ## Journalisation et traçabilité Lorsque vous utilisez le serveur MCP S3 Tables avec des assistants d'intelligence artificielle, vous disposez de plusieurs méthodes pour auditer les opérations : + **Journaux locaux** : le serveur MCP enregistre les demandes et les réponses localement. Vous pouvez spécifier un répertoire de journaux à l'aide de l'option `--log-dir` de configuration. + **AWS CloudTrail**- Toutes les opérations de S3 Tables via le serveur MCP PyIceberg utiliseront `awslabs/mcp/s3-tables-mcp-server/` comme chaîne d'agent utilisateur. Vous pouvez filtrer CloudTrail les journaux par cet agent utilisateur pour suivre les actions effectuées par les assistants IA. + **Historique des assistants IA** - Les assistants IA tels que Kiro et Cline tiennent à jour des journaux d'historique qui enregistrent les demandes en langage naturel, les réponses LLM et les instructions fournies au serveur MCP. ## Considérations sur la sécurité Lorsque vous utilisez des assistants d'intelligence artificielle avec des données S3 Storage Lens, suivez les meilleures pratiques de sécurité suivantes : + **Utilisez le moindre privilège d'accès** : accordez aux assistants IA uniquement les autorisations minimales requises pour leurs tâches. + **Activer la MFA** : utilisez l'authentification multifactorielle pour les AWS comptes auxquels les assistants IA accèdent. + **Vérifiez régulièrement les autorisations** : vérifiez régulièrement les autorisations accordées aux assistants IA et révoquez les accès inutiles. + **Utiliser des informations d'identification distinctes** - Envisagez d'utiliser des AWS informations d'identification distinctes pour accéder à l'assistant AI afin de faciliter le suivi et l'audit. + **Évitez de partager des données sensibles** - Soyez prudent lorsque vous partagez des informations sensibles dans les instructions adressées aux assistants intelligents, en particulier lorsque vous utilisez des services d'IA basés sur le cloud. ## Résolution des problèmes ### L'assistant AI ne peut pas se connecter aux tables S3 **Problème :** L'assistant AI indique qu'il ne peut pas se connecter aux tables S3 ou que le serveur MCP ne répond pas. **Solution :** + Vérifiez que le serveur MCP est correctement installé à l'aide de `uvx awslabs.s3-tables-mcp-server@latest --version` + Vérifiez que vos AWS informations d'identification sont correctement configurées + Assurez-vous que le AWS profil et la région du fichier de configuration MCP sont corrects ### Erreurs d’accès refusé **Problème :** l'assistant AI reçoit des erreurs de refus d'accès lorsqu'il interroge les tables S3 Storage Lens. **Solution :** + Vérifiez que l'intégration des analyses est activée dans le compartiment de `aws-s3` table + Vérifiez que les autorisations de Lake Formation sont correctement configurées + Assurez-vous que les AWS informations d'identification disposent des autorisations IAM nécessaires ### Résultats incorrects ou inattendus **Problème :** L'assistant AI renvoie des résultats incorrects ou inattendus. **Solution :** + Passez en revue la requête SQL générée par l'assistant AI + Vérifiez que vous utilisez le nom d'espace de noms correct pour votre configuration Storage Lens + Vérifiez que les données sont disponibles en interrogeant le dernier report\$1time + Affinez votre demande pour être plus précis sur ce que vous souhaitez analyser ## Ressources supplémentaires Pour plus d'informations sur l'utilisation des assistants IA avec les tables S3, consultez les ressources suivantes : + [Kiro AI](https://kiro.ai/) - Assistant de codage AI avec support MCP intégré + [Implémentation de l'IA conversationnelle pour les tables S3 à l'aide du protocole MCP (Model Context Protocol) - Storage](https://aws.amazon.com/blogs/storage/implementing-conversational-ai-for-s3-tables-using-model-context-protocol-mcp/) Blog AWS + [AWS Documentation du serveur MCP S3 Tables](https://awslabs.github.io/mcp/servers/s3-tables-mcp-server) + [Spécification du protocole de contexte du modèle](https://modelcontextprotocol.io/)