本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
直接查询 OpenSearch 服务中的 Amazon Security Lake 数据
本节将引导您完成在 Amazon Ser OpenSearch vice 中创建和配置数据源集成的过程,使您能够高效地查询和分析存储在 Security Lake 中的数据。
在接下来的页面中,您将学习如何设置 Security Lake 直接查询数据源、浏览必要的先决条件,以及如何使用执行 step-by-step程序。 AWS 管理控制台
主题
定价
亚马逊 OpenSearch 服务为安全湖直接查询提供 OpenSearch 计算单位 (OCU) 定价。当你运行直接查询时,你会产生 OCUs 每小时的费用,这些费用列为账单上的 DirectQuery OCU 使用类型。您还将单独向亚马逊安全湖收取费用。
直接查询分为两种类型:交互式查询和索引视图查询。
-
交互式查询用于填充数据选择器并对 Security Lake 中的数据进行分析。 OpenSearch Service 使用单独的预热任务处理每个查询,而无需维护延长的会话。
-
索引视图查询使用计算来维护服务中的索引视图。 OpenSearch 此类查询通常耗时更长,因为其将不同数量的数据量摄取到指定索引中。对于与 Security Lake 连接的数据源,索引数据存储在 OpenSearch 无服务器集合中,您需要按索引数据 (IndexingOCU)、搜索的数据 (SearchOCU) 和以 GB 为单位存储的数据付费。
有关更多信息,请参阅 Amazon OpenSearch 服务定价
限制
以下限制适用于在 Security Lake 中进行直接查询:
-
与 Security Lake 的直接查询集成仅适用于 OpenSearch 服务集合和 OpenSearch 用户界面。
-
OpenSearch 无服务器集合的网络有效载荷限制为 100 MiB。
-
Security Lake 的表管理在 Lake Formation 中执行。
-
Security Lake 仅支持将实体化视图作为索引视图。不支持覆盖索引。
-
AWS CloudFormation 尚不支持模板。
-
OpenSearch 与使用直接查询相比,SQ OpenSearch L 和 PPL 语句在使用 OpenSearch 索引时有不同的限制。直接查询支持子查询和查找等 JOINs高级命令,而 OpenSearch 索引上对这些命令的支持有限或根本不存在。有关更多信息,请参阅 支持的 SQL 和 PPL 命令。
建议
在 Security Lake 中使用直接查询时,我们建议采取以下措施:
-
检查 Security Lake 状态,确保其运行顺畅且无任何问题。有关详细的故障排除步骤,请参阅《Amazon Security Lake 用户指南》中的数据湖状态故障排除。
-
验证查询访问权限:
-
如果您使用与 Security Lake 委派管理员账户不同的账户查询 Security Lake,则在 Security Lake 中设置具有查询权限的订阅用户。
-
如果您使用同一个账户查询 Security Lake,请查看 Security Lake 中是否有任何关于向其注册托管 S3 存储桶的 LakeFormation消息。
-
-
浏览查询模板和预构建控制面板,快速开始分析。
-
熟悉开放式网络安全架构框架(OCSF)和 Security Lake:
-
查看 OCSF GitHub
存储库中 AWS 源的架构映射示例 -
通过访问AWS 源版本 2 的 Security Lake 查询 (OCSF 1.1.0),了解如何有效地查询 Security L ake
-
使用分区提高查询性能:
accountid、region和time_dt
-
-
熟悉 SQL 语法,Security Lake 支持使用该语法进行查询。有关更多信息,请参阅 支持 OpenSearch 的 SQL 命令和函数。
-
对查询设置限制,确保不会提取太多数据。
配额
| 说明 | 值 | 软限制? | 注意 |
|---|---|---|---|
| 跨直接查询的账户级 TPS 限制 APIs | 3 TPS | 是 | |
| 最大数据来源数 | 20 | 是 | 限额为每个 AWS 账户。 |
| 最大自动刷新索引或实体化视图数 | 30 | 是 |
限制适用于每个数据来源。 仅包括自动刷新设置为 true 的索引和实例化视图 (MVs)。 |
| 最大并发查询数 | 30 | 是 |
限制适用于处于待处理或运行状态的查询。 包括交互式查询(例如,数据检索命令,如 |
| 每次查询的最大并发 OCU 数 | 512 | 是 |
OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。 |
| 最大查询执行时间,以分钟为单位 | 30 | 否 | 仅适用于交互式查询(例如数据检索命令,如 SELECT)。对于 REFRESH 查询,限制为 6 小时。 |
| 清除陈旧查询的期限 IDs | 90 天 | 是 |
这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery或 GetDirectQueryResult 失败。 |
支持的 AWS 区域
Secur AWS 区域 ity Lake 支持以下方式进行直接查询:
-
亚太地区(孟买)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
-
欧洲地区(巴黎)
-
欧洲地区(伦敦)
-
南美洲(圣保罗)