View a markdown version of this page

使用者背景工作階段 - Amazon EMR
設定使用者背景工作階段預設使用者背景工作階段持續時間停用使用者背景工作階段的影響變更使用者背景工作階段持續時間考量事項

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用者背景工作階段

使用者背景工作階段可讓長時間執行的分析和機器學習流程繼續，即使使用者已從筆記本界面登出也一樣。此功能是透過 EMR Serverless 與 IAM Identity Center 受信任身分傳播功能的整合來實作。本節說明使用者背景工作階段的組態選項和行為。

注意

使用者背景工作階段適用於透過筆記本界面啟動的 Spark 工作負載，例如 Amazon SageMaker Unified Studio。啟用或停用此功能只會影響新的 Livy 工作階段；現有的作用中 Livy 工作階段不會受到影響。

設定使用者背景工作階段

使用者背景工作階段必須在兩個層級啟用，才能正常運作：

  1. IAM Identity Center 執行個體層級 – 通常由 IdC 管理員設定

  2. EMR Serverless 應用程式層級 – 由 EMR Serverless 應用程式管理員設定

為 EMR Serverless 應用程式啟用使用者背景工作階段

若要啟用 EMR Serverless 應用程式的使用者背景工作階段，您必須在建立或更新應用程式identityCenterConfiguration時，在 true中將 userBackgroundSessionsEnabled 參數設定為 。

先決條件

  • 用於建立/更新 EMR Serverless 應用程式的 IAM 角色必須具有 sso:PutApplicationSessionConfiguration許可。此許可允許 EMR Serverless 在 EMR Serverless 受管 IdC 應用程式層級啟用使用者背景工作階段。

  • 您的 EMR Serverless 應用程式必須使用發行標籤 7.8 或更新版本，且必須啟用受信任身分傳播。

使用 啟用使用者背景工作階段 AWS CLI

aws emr-serverless create-application \
    --name "my-analytics-app" \
    --type "SPARK" \
    --release-label "emr-7.8.0" \
    --identity-center-configuration '{"identityCenterInstanceArn": "arn:aws:sso:::instance/ssoins-1234567890abcdef", "userBackgroundSessionsEnabled": true}'

若要更新現有的應用程式：

aws emr-serverless update-application \
    --application-id applicationId \
    --identity-center-configuration '{"identityCenterInstanceArn": "arn:aws:sso:::instance/ssoins-1234567890abcdef", "userBackgroundSessionsEnabled": true}'

組態矩陣

有效的使用者背景工作階段組態取決於 EMR Serverless 應用程式設定和 IAM Identity Center 執行個體層級設定：

使用者背景工作階段組態矩陣
IAM Identity Center userBackgroundSession 已啟用 EMR Serverless userBackgroundSessionsEnabled Behavior (行為)
是 TRUE 已啟用使用者背景工作階段
是 FALSE 工作階段會隨著使用者登出而過期
否 TRUE 應用程式建立/更新失敗並出現例外狀況
否 FALSE 工作階段會隨著使用者登出而過期

預設使用者背景工作階段持續時間

根據預設，所有使用者背景工作階段在 IAM Identity Center 中的持續時間限制為 7 天。管理員可以在 IAM Identity Center 主控台中修改此持續時間。此設定適用於 IAM Identity Center 執行個體層級，影響該執行個體內所有支援的 IAM Identity Center 應用程式。

  • 持續時間可以設定為 15 分鐘到 90 天之間的任何值。

  • 此設定是在 IAM Identity Center 主控台的設定 → 身分驗證 → 設定 （非互動式任務區段） 下進行設定

注意

EMR Serverless Livy 工作階段有單獨的持續時間上限 24 小時。工作階段會在達到 Livy 工作階段限制或使用者背景工作階段持續時間時終止，以先到者為準。

停用使用者背景工作階段的影響

在 IAM Identity Center 中停用使用者背景工作階段時：

現有的 Livy 工作階段

如果啟動時已啟用使用者背景工作階段，請繼續執行而不會中斷。這些工作階段將繼續使用其現有的背景工作階段字符，直到其自然終止或明確停止為止。

新的 Livy 工作階段

將使用標準信任的身分傳播流程，並在使用者登出或其互動式工作階段過期時終止 （例如關閉 Amazon SageMaker Unified Studio JupyterLab 筆記本時）。

變更使用者背景工作階段持續時間

在 IAM Identity Center 中修改使用者背景工作階段的持續時間設定時：

現有的 Livy 工作階段

繼續執行與啟動時相同的背景工作階段持續時間。

新的 Livy 工作階段

將為背景工作階段使用新的工作階段持續時間。

考量事項

工作階段終止條件

使用使用者背景工作階段時，Livy 工作階段會繼續執行，直到發生下列其中一種情況：

  • 使用者背景工作階段過期 （根據 IdC 組態，最多 90 天）

  • 管理員會手動撤銷使用者背景工作階段

  • Livy 工作階段達到閒置逾時 （預設值：上次執行陳述式後 1 小時）

  • Livy 工作階段達到其最長持續時間 (24 小時）

  • 使用者明確停止或重新啟動筆記本核心

資料持久性

使用使用者背景工作階段時：

  • 使用者一旦登出，就無法重新連線至其筆記本介面以檢視結果

  • 設定您的 Spark 陳述式，在執行完成之前將結果寫入持久性儲存體 （例如 Amazon S3)

成本影響

  • 即使使用者結束其 Amazon SageMaker Unified Studio JupyterLab 工作階段，任務仍會繼續執行至完成，並在整個執行期間產生費用。

  • 監控您的作用中背景工作階段，以避免忘記或放棄的工作階段產生不必要的成本。

功能可用性

EMR Serverless 的使用者背景工作階段可用於：

  • 僅限 Spark 引擎 （不支援 Hive 引擎）

  • 僅限 Livy 互動式工作階段 （不支援批次任務和串流任務）

  • EMR Serverless 發行標籤 7.8 及更新版本