Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Interrogation directe des données Amazon Security Lake dans Service OpenSearch
Cette section explique le processus de création et de configuration d'une intégration de source de données dans Amazon OpenSearch Service, vous permettant ainsi d'interroger et d'analyser efficacement vos données stockées dans Security Lake.
Dans les pages suivantes, vous allez apprendre à configurer une source de données à requête directe Security Lake, à définir les prérequis nécessaires et à suivre les step-by-step procédures à l'aide du. AWS Management Console
Rubriques
Tarification
Amazon OpenSearch Service propose une tarification par unité de OpenSearch calcul (OCU) pour les requêtes directes de Security Lake. Lorsque vous effectuez des requêtes directes, vous devez payer des frais OCUs par heure, indiqués comme type d'utilisation de l' DirectQuery OCU sur votre facture. Amazon Security Lake vous facturera également des frais distincts.
Les requêtes directes sont de deux types : les requêtes de vue interactives et les requêtes de vue indexées.
-
Les requêtes interactives sont utilisées pour renseigner le sélecteur de données et effectuer des analyses sur vos données dans Security Lake. OpenSearch Le service gère chaque requête avec une tâche préchauffée distincte, sans maintenir de session prolongée.
-
Les requêtes de vues indexées utilisent le calcul pour maintenir les vues indexées dans OpenSearch Service. Ces requêtes prennent généralement plus de temps car elles ingèrent une quantité variable de données dans un index nommé. Pour les sources de données connectées à Security Lake, les données indexées sont stockées dans une collection OpenSearch sans serveur où vous êtes facturé pour les données indexées (IndexingOCU), les données recherchées (SearchOCU) et les données stockées en Go.
Pour plus d'informations, consultez les sections Direct Query et Serverless d'Amazon OpenSearch Service Pricing
Limitations
Les restrictions suivantes s'appliquent aux requêtes directes dans Security Lake :
-
L'intégration directe des requêtes à Security Lake n'est disponible que sur les collections OpenSearch de services et sur OpenSearch l'interface utilisateur.
-
OpenSearch Les collections sans serveur ont des limites de charge utile en réseau de 100 MiB.
-
La gestion des tables pour Security Lake est effectuée dans Lake Formation.
-
Security Lake prend uniquement en charge les vues matérialisées sous forme de vues indexées. Les index de couverture ne sont pas pris en charge.
-
AWS CloudFormation les modèles ne sont pas encore pris en charge.
-
OpenSearch Les instructions SQL et OpenSearch PPL présentent des limites différentes lors de l'utilisation d' OpenSearch index par rapport à l'utilisation de requêtes directes. La requête directe prend en charge les commandes avancées telles que JOINs les sous-requêtes et les recherches, tandis que la prise en charge de ces commandes sur les OpenSearch index est limitée, voire inexistante. Pour de plus amples informations, veuillez consulter Commandes SQL et PPL prises en charge.
Recommandations
Nous recommandons ce qui suit lorsque vous utilisez des requêtes directes dans Security Lake :
-
Vérifiez l'état de votre Security Lake et assurez-vous qu'il fonctionne correctement sans aucun problème. Pour connaître les étapes de résolution des problèmes détaillées, consultez la section Résolution des problèmes liés à l'état du lac de données dans le guide de l'utilisateur d'Amazon Security Lake.
-
Vérifiez l'accès à votre requête :
-
Si vous interrogez Security Lake à partir d'un compte différent du compte d'administrateur délégué de Security Lake, configurez un abonné avec accès aux requêtes dans Security Lake.
-
Si vous interrogez Security Lake depuis le même compte, vérifiez s'il y a des messages dans Security Lake concernant l'enregistrement de vos compartiments S3 gérés auprès de ce compte. LakeFormation
-
-
Explorez les modèles de requêtes et les tableaux de bord prédéfinis pour démarrer votre analyse.
-
Familiarisez-vous avec Open Cybersecurity Schema Framework (OCSF) et Security Lake :
-
Consultez les exemples de mappage de schéma pour les AWS sources du référentiel OCSF GitHub
-
Apprenez à interroger Security Lake de manière efficace en consultant les requêtes Security Lake pour la version AWS source 2 (OCSF 1.1.0)
-
Améliorez les performances des requêtes en utilisant des partitions :
accountidregion, ettime_dt
-
-
Familiarisez-vous avec la syntaxe SQL, prise en charge par Security Lake pour les requêtes. Pour de plus amples informations, veuillez consulter Commandes et fonctions OpenSearch SQL prises en charge.
-
Limitez vos requêtes pour vous assurer de ne pas récupérer trop de données.
Quotas
| Description | Value | Limite souple ? | Remarques |
|---|---|---|---|
| Limite TPS au niveau du compte pour les requêtes directes APIs | 3 TPS | Oui | |
| Nombre maximum de sources de données | 20 | Oui | La limite est par Compte AWS. |
| Nombre maximum d'index ou de vues matérialisées automatiquement actualisés | 30 | Oui |
La limite s'applique par source de données. Inclut uniquement les indices et les vues matérialisées (MVs) dont l'actualisation automatique est définie sur true. |
| Nombre maximal de requêtes simultanées | 30 | Oui |
La limite s'applique aux requêtes en attente ou en cours d'exécution. Inclut des requêtes interactives (par exemple, des commandes de récupération de données telles que |
| Nombre maximal d'OCU simultanés par requête | 512 | Oui |
OpenSearch Unités de calcul (OCU). Limite basée sur 15 exécuteurs et 1 pilote, chacun doté de 16 vCPU et de 32 Go de mémoire. Représente la puissance de traitement simultanée. |
| Durée maximale d'exécution des requêtes en minutes | 30 | Non | S'applique uniquement aux requêtes interactives (par exemple, les commandes de récupération de données telles queSELECT). Pour les REFRESH requêtes, la limite est de 6 heures. |
| Période de purge des requêtes périmées IDs | 90 jours | Oui |
Il s'agit de la période après laquelle le OpenSearch Service purge les métadonnées des requêtes pour les anciennes entrées. Par exemple, appel GetDirectQuery ou GetDirectQueryResult échec pour des requêtes datant de plus de 90 jours. |
Soutenu Régions AWS
Régions AWS Les éléments suivants sont pris en charge pour les requêtes directes dans Security Lake :
-
Asie-Pacifique (Mumbai)
-
Asie-Pacifique (Singapour)
-
Asie-Pacifique (Sydney)
-
Asie-Pacifique (Tokyo)
-
Canada (Centre)
-
Europe (Francfort)
-
Europe (Irlande)
-
Europe (Stockholm)
-
USA Est (Virginie du Nord)
-
USA Est (Ohio)
-
USA Ouest (Oregon)
-
Europe (Paris)
-
Europe (Londres)
-
Amérique du Sud (Sao Paulo)
