本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
直接查询 OpenSearch 服务中的 Amazon Security Lake 数据
本节将引导您完成在 Amazon Ser OpenSearch vice 中创建和配置数据源集成的过程,使您能够高效地查询和分析存储在 Security Lake 中的数据。
在接下来的内容中,您将学习如何设置 Security Lake 直接查询数据来源,了解必要的先决条件,并通过 AWS 管理控制台逐步完成操作流程。
主题
定价
亚马逊 OpenSearch 服务为安全湖直接查询提供 OpenSearch 计算单位 (OCU) 定价。当你运行直接查询时,你会产生每小时 OCU 的费用,在账单上列为 DirectQuery OCU 使用类型。您还将单独向亚马逊安全湖收取费用。
直接查询分为两种类型:交互式查询和索引视图查询。
-
交互式查询用于填充数据选择器并对 Security Lake 中的数据进行分析。 OpenSearch Service 使用单独的预热任务处理每个查询,而无需维护延长的会话。
-
索引视图查询使用计算来维护服务中的索引视图。 OpenSearch 此类查询通常耗时更长,因为其将不同数量的数据量摄取到指定索引中。对于与 Security Lake 连接的数据源,索引数据存储在 OpenSearch 无服务器集合中,您需要按索引数据 (IndexingOCU)、搜索的数据 (SearchOCU) 和以 GB 为单位存储的数据付费。
有关更多信息,请参阅 Amazon OpenSearch 服务定价
限制
以下限制适用于在 Security Lake 中进行直接查询:
-
与 Security Lake 的直接查询集成仅适用于 OpenSearch 服务集合和 OpenSearch 用户界面。
-
OpenSearch 无服务器集合的网络有效载荷限制为 100 MiB。
-
Security Lake 的表管理在 Lake Formation 中执行。
-
Security Lake 仅支持将实体化视图作为索引视图。不支持覆盖索引。
-
AWS CloudFormation 尚不支持模板。
-
OpenSearch 与使用直接查询相比,SQ OpenSearch L 和 PPL 语句在使用 OpenSearch 索引时有不同的限制。直接查询支持诸如 JOIN、子查询和查找之类的高级命令,而 OpenSearch 索引上对这些命令的支持有限或根本不存在。有关更多信息,请参阅 支持的 SQL 和 PPL 命令。
建议
在 Security Lake 中使用直接查询时,我们建议采取以下措施:
-
检查 Security Lake 状态,确保其运行顺畅且无任何问题。有关详细的故障排除步骤,请参阅《Amazon Security Lake 用户指南》中的数据湖状态故障排除。
-
验证查询访问权限:
-
如果您使用与 Security Lake 委派管理员账户不同的账户查询 Security Lake,则在 Security Lake 中设置具有查询权限的订阅用户。
-
如果您使用同一个账户查询 Security Lake,请查看 Security Lake 中是否有任何关于向其注册托管 S3 存储桶的 LakeFormation消息。
-
-
浏览查询模板和预构建控制面板,快速开始分析。
-
熟悉开放式网络安全架构框架(OCSF)和 Security Lake:
-
查看 OCSF GitHub
存储库中 AWS 源的架构映射示例 -
通过访问AWS 源版本 2 的 Security Lake 查询 (OCSF 1.1.0),了解如何有效地查询 Security L ake
-
使用分区提高查询性能:
accountid、region和time_dt
-
-
熟悉 SQL 语法,Security Lake 支持使用该语法进行查询。有关更多信息,请参阅 支持 OpenSearch 的 SQL 命令和函数。
-
对查询设置限制,确保不会提取太多数据。
配额
| 说明 | 值 | 软限制? | 注意 |
|---|---|---|---|
| Account-level 直接查询 API 的 TPS 限制 | 3 TPS | 是 | |
| 最大数据来源数 | 20 | 是 | 限制是按照 AWS 账户。 |
| 最大自动刷新索引或实体化视图数 | 30 | 是 |
限制适用于每个数据来源。 仅包含自动刷新设置为 true 的索引和实体化视图(MV)。 |
| 最大并发查询数 | 30 | 是 |
限制适用于处于待处理或运行状态的查询。 包括交互式查询(例如,数据检索命令,如 |
| 每次查询的最大并发 OCU 数 | 512 | 是 |
OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。 |
| 最大查询执行时间,以分钟为单位 | 30 | 否 | 仅适用于交互式查询(例如数据检索命令,如 SELECT)。对于 REFRESH 查询,限制为 6 小时。 |
| 清除过期查询 ID 的时间间隔 | 90 天 | 是 |
这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery或 GetDirectQueryResult 失败。 |
支持 AWS 区域
Secur AWS 区域 ity Lake 支持以下方式进行直接查询:
-
亚太地区(孟买)
-
亚太地区(新加坡)
-
亚太地区(悉尼)
-
亚太地区(东京)
-
加拿大(中部)
-
欧洲地区(法兰克福)
-
欧洲地区(爱尔兰)
-
欧洲地区(斯德哥尔摩)
-
美国东部(弗吉尼亚州北部)
-
美国东部(俄亥俄州)
-
美国西部(俄勒冈州)
-
欧洲地区(巴黎)
-
欧洲地区(伦敦)
-
南美洲(圣保罗)