View a markdown version of this page

直接查询 OpenSearch 服务中的 Amazon Security Lake 数据 - 亚马逊 OpenSearch 服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

直接查询 OpenSearch 服务中的 Amazon Security Lake 数据

本节将引导您完成在 Amazon Ser OpenSearch vice 中创建和配置数据源集成的过程,使您能够高效地查询和分析存储在 Security Lake 中的数据。

在接下来的页面中,您将学习如何设置 Security Lake 直接查询数据源、浏览必要的先决条件,以及如何使用执行 step-by-step程序。 AWS 管理控制台

定价

亚马逊 OpenSearch 服务为安全湖直接查询提供 OpenSearch 计算单位 (OCU) 定价。当你运行直接查询时,你会产生 OCUs 每小时的费用,这些费用列为账单上的 DirectQuery OCU 使用类型。您还将单独向亚马逊安全湖收取费用。

直接查询分为两种类型:交互式查询和索引视图查询。

  • 交互式查询用于填充数据选择器并对 Security Lake 中的数据进行分析。 OpenSearch Service 使用单独的预热任务处理每个查询,而无需维护延长的会话。

  • 索引视图查询使用计算来维护服务中的索引视图。 OpenSearch 此类查询通常耗时更长,因为其将不同数量的数据量摄取到指定索引中。对于与 Security Lake 连接的数据源,索引数据存储在 OpenSearch 无服务器集合中,您需要按索引数据 (IndexingOCU)、搜索的数据 (SearchOCU) 和以 GB 为单位存储的数据付费。

有关更多信息,请参阅 Amazon OpenSearch 服务定价中的 “直接查询” 和 “无服务器” 部分。

限制

以下限制适用于在 Security Lake 中进行直接查询:

  • 与 Security Lake 的直接查询集成仅适用于 OpenSearch 服务集合和 OpenSearch 用户界面。

  • OpenSearch 无服务器集合的网络有效载荷限制为 100 MiB。

  • Security Lake 的表管理在 Lake Formation 中执行。

  • Security Lake 仅支持将实体化视图作为索引视图。不支持覆盖索引。

  • AWS CloudFormation 尚不支持模板。

  • OpenSearch 与使用直接查询相比,SQ OpenSearch L 和 PPL 语句在使用 OpenSearch 索引时有不同的限制。直接查询支持子查询和查找等 JOINs高级命令,而 OpenSearch 索引上对这些命令的支持有限或根本不存在。有关更多信息,请参阅 支持的 SQL 和 PPL 命令

建议

在 Security Lake 中使用直接查询时,我们建议采取以下措施:

配额

说明 软限制? 注意
跨直接查询的账户级 TPS 限制 APIs 3 TPS
最大数据来源数 20 限额为每个 AWS 账户。
最大自动刷新索引或实体化视图数 30

限制适用于每个数据来源。

仅包括自动刷新设置为 true 的索引和实例化视图 (MVs)。

最大并发查询数 30

限制适用于处于待处理或运行状态的查询。

包括交互式查询(例如,数据检索命令,如 SELECT)和索引查询(例如,CREATE/ALTER/DROP 之类的操作)。

每次查询的最大并发 OCU 数 512

OpenSearch 计算单位 (OCU)。限制基于 15 个执行器和 1 个驱动程序,每个执行器配备 16 个 vCPU 和 32 GB 内存。表示并发处理能力。

最大查询执行时间,以分钟为单位 30 仅适用于交互式查询(例如数据检索命令,如 SELECT)。对于 REFRESH 查询,限制为 6 小时。
清除陈旧查询的期限 IDs 90 天

这是 OpenSearch 服务清除较旧条目的查询元数据的时间段。例如,对于超过 90 天的查询,调用 GetDirectQuery或 GetDirectQueryResult 失败。

支持的 AWS 区域

Secur AWS 区域 ity Lake 支持以下方式进行直接查询:

  • 亚太地区(孟买)

  • 亚太地区(新加坡)

  • 亚太地区(悉尼)

  • 亚太地区(东京)

  • 加拿大(中部)

  • 欧洲地区(法兰克福)

  • 欧洲地区(爱尔兰)

  • 欧洲地区(斯德哥尔摩)

  • 美国东部(弗吉尼亚州北部)

  • 美国东部(俄亥俄州)

  • 美国西部(俄勒冈州)

  • 欧洲地区(巴黎)

  • 欧洲地区(伦敦)

  • 南美洲(圣保罗)