View a markdown version of this page

直接查询 OpenSearch 服务中的 Amazon Security Lake 数据 - 亚马逊 OpenSearch 服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

直接查询 OpenSearch 服务中的 Amazon Security Lake 数据

本节将引导您完成在 Amazon Ser OpenSearch vice 中创建和配置数据源集成的过程,使您能够高效地查询和分析存储在 Security Lake 中的数据。

在接下来的内容中,您将学习如何设置 Security Lake 直接查询数据来源,了解必要的先决条件,并通过 AWS 管理控制台逐步完成操作流程。

定价

亚马逊 OpenSearch 服务为安全湖直接查询提供 OpenSearch 计算单位 (OCU) 定价。当你运行直接查询时,你会产生每小时 OCU 的费用,在账单上列为 DirectQuery OCU 使用类型。您还将单独向亚马逊安全湖收取费用。

直接查询分为两种类型:交互式查询和索引视图查询。

  • 交互式查询用于填充数据选择器并对 Security Lake 中的数据进行分析。 OpenSearch Service 使用单独的预热任务处理每个查询,而无需维护延长的会话。

  • 索引视图查询使用计算来维护服务中的索引视图。 OpenSearch 此类查询通常耗时更长,因为其将不同数量的数据量摄取到指定索引中。对于与 Security Lake 连接的数据源,索引数据存储在 OpenSearch 无服务器集合中,您需要按索引数据 (IndexingOCU)、搜索的数据 (SearchOCU) 和以 GB 为单位存储的数据付费。

有关更多信息,请参阅 Amazon OpenSearch 服务定价中的 “直接查询” 和 “无服务器” 部分。

限制

以下限制适用于在 Security Lake 中进行直接查询:

  • 与 Security Lake 的直接查询集成仅适用于 OpenSearch 服务集合和 OpenSearch 用户界面。

  • OpenSearch 无服务器集合的网络有效载荷限制为 100 MiB。

  • Security Lake 的表管理在 Lake Formation 中执行。

  • Security Lake 仅支持将实体化视图作为索引视图。不支持覆盖索引。

  • AWS CloudFormation 尚不支持模板。

  • OpenSearch 与使用直接查询相比,SQ OpenSearch L 和 PPL 语句在使用 OpenSearch 索引时有不同的限制。直接查询支持诸如 JOIN、子查询和查找之类的高级命令,而 OpenSearch 索引上对这些命令的支持有限或根本不存在。有关更多信息,请参阅 支持的 SQL 和 PPL 命令

建议

在 Security Lake 中使用直接查询时,我们建议采取以下措施:

配额

说明 软限制? 注意
Account-level 直接查询 API 的 TPS 限制 3 TPS
最大数据来源数 20 限制是按照 AWS 账户。
最大自动刷新索引或实体化视图数 30

限制适用于每个数据来源。

仅包含自动刷新设置为 true 的索引和实体化视图(MV)。

最大并发查询数 30

限制适用于处于待处理或运行状态的查询。

包括交互式查询(例如,数据检索命令,如 SELECT)和索引查询(例如,CREATE/ALTER/DROP 之类的操作)。

每次查询的最大并发 OCU 数 512

OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。

最大查询执行时间,以分钟为单位 30 仅适用于交互式查询(例如数据检索命令,如 SELECT)。对于 REFRESH 查询,限制为 6 小时。
清除过期查询 ID 的时间间隔 90 天

这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery或 GetDirectQueryResult 失败。

支持 AWS 区域

Secur AWS 区域 ity Lake 支持以下方式进行直接查询:

  • 亚太地区(孟买)

  • 亚太地区(新加坡)

  • 亚太地区(悉尼)

  • 亚太地区(东京)

  • 加拿大(中部)

  • 欧洲地区(法兰克福)

  • 欧洲地区(爱尔兰)

  • 欧洲地区(斯德哥尔摩)

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

  • 欧洲地区(巴黎)

  • 欧洲地区(伦敦)

  • 南美洲(圣保罗)