View a markdown version of this page

用户后台会话 - Amazon EMR
配置用户后台会话默认用户后台会话持续时间禁用用户后台会话的影响更改用户后台会话持续时间注意事项

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

用户后台会话

用户后台会话使长时间运行的分析和机器学习流程即使在用户已从笔记本界面注销后仍能继续进行。此功能是通过 EMR Serverless 与 IAM Identity Center 的可信身份传播功能集成来实现的。本节介绍用户后台会话的配置选项和行为。

注意

用户后台会话适用于通过 Amazon SageMaker Unified Studio 等笔记本界面启动的 Spark 工作负载。启用或禁用此功能仅影响新的 Livy 会话；现有活动的 Livy 会话不受影响。

配置用户后台会话

必须在两个级别上启用用户后台会话才能正常运行：

  1. IAM 身份中心实例级别 — 通常由 IdC 管理员配置

  2. EMR 无服务器应用程序级别 — 由 EMR 无服务器应用程序管理员配置

为 EMR 无服务器应用程序启用用户后台会话

要为 EMR Serverless 应用程序启用用户后台会话，必须在创建或更新应用程序identityCenterConfiguration时将userBackgroundSessionsEnabledtrue参数设置为。

先决条件

  • 您用于 EMR Serverless 应用程序的 IAM 角色必须具有权限。 create/update sso:PutApplicationSessionConfiguration此权限允许 EMR Serverless 在 EMR Serverless 托管 IdC 应用程序级别启用用户后台会话。

  • 您的 EMR Serverless 应用程序必须使用版本标签 7.8 或更高版本，并且必须启用可信身份传播。

要启用用户后台会话，请使用 AWS CLI

aws emr-serverless create-application \
    --name "my-analytics-app" \
    --type "SPARK" \
    --release-label "emr-7.8.0" \
    --identity-center-configuration '{"identityCenterInstanceArn": "arn:aws:sso:::instance/ssoins-1234567890abcdef", "userBackgroundSessionsEnabled": true}'

要更新现有应用程序，请执行以下操作：

aws emr-serverless update-application \
    --application-id applicationId \
    --identity-center-configuration '{"identityCenterInstanceArn": "arn:aws:sso:::instance/ssoins-1234567890abcdef", "userBackgroundSessionsEnabled": true}'

配置矩阵

有效的用户后台会话配置取决于 EMR Serverless 应用程序设置和 IAM Identity Center 实例级别设置：

用户后台会话配置矩阵
userBackgroundSession 已启用 IAM 身份中心 已启用 EMR 无服务器 userBackgroundSessions 行为
是 TRUE 用户后台会话已启用
是 FALSE 会话过期，用户注销
否 TRUE 应用程序 creation/update 因异常而失败
否 FALSE 会话过期，用户注销

默认用户后台会话持续时间

默认情况下，在 IAM Identity Center 中，所有用户后台会话的持续时间限制为 7 天。管理员可以在 IAM Identity Center 控制台中修改此持续时间。此设置在 IAM Identity Center 实例级别应用，会影响该实例内所有受支持的 IAM Identity Center 应用程序。

  • 持续时间可以设置为从 15 分钟到 90 天之间的任何值。

  • 此设置在 IAM Identity Center 控制台的 “设置” → “身份验证” → “配置” 下配置（“非交互式作业” 部分）

注意

EMR Serverless Livy 会话的单独最大持续时间限制为 24 小时。当达到 Livy 会话限制或用户后台会话持续时间时（以先到者为准），会话将终止。

禁用用户后台会话的影响

在 IAM 身份中心禁用用户后台会话时：

现有的 Livy 会话

如果它们是在启用用户后台会话的情况下启动的，则可以不间断地继续运行。这些会话将继续使用其现有的后台会话令牌，直到这些会话自然终止或被明确停止。

全新 Livy 会话

将使用标准的可信身份传播流程，并在用户注销或交互式会话到期（例如关闭 Amazon SageMaker Unified Studio JupyterLab 笔记本时）时终止。

更改用户后台会话持续时间

在 IAM Identity Center 中修改用户后台会话的持续时间设置时：

现有的 Livy 会话

继续以与启动时相同的后台会话持续时间运行。

全新 Livy 会话

将使用新的会话时长进行后台会话。

注意事项

会话终止条件

使用用户后台会话时，Livy 会话将继续运行，直到出现以下情况之一：

  • 用户后台会话过期（基于 IdC 配置，最长 90 天）

  • 管理员已手动撤销用户后台会话

  • Livy 会话达到其空闲超时（默认值：上次执行语句后 1 小时）

  • Livy 会话已达到其最大持续时间（24 小时）

  • 用户明确停止或重新启动笔记本内核

数据持久性

使用用户后台会话时：

  • 用户注销后无法重新连接到笔记本界面查看结果

  • 将您的 Spark 语句配置为在执行完成之前将结果写入永久存储（例如 Amazon S3）

成本影响

  • 即使用户结束了 Amazon SageMaker Unified Studio 会 JupyterLab 话，任务仍将继续运行直至完成，并且将在完成的整个运行期间产生费用。

  • 监控您的活动后台会话，以避免因忘记或放弃会话而产生不必要的费用。

功能可用性

EMR Serverless 的用户后台会话可用于：

  • 仅限 Spark 引擎（不支持 Hive 引擎）

  • 仅限 Livy 交互式会话（不支持批处理作业和流式处理作业）

  • EMR Serverless 版本标签 7.8 及更高版本