管理查詢處理容量 - Amazon Athena

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

管理查詢處理容量

您可以使用容量保留,為您在 Athena 中執行的查詢取得專用無伺服器處理容量。透過容量保留,您可以利用工作負載管理功能,協助您排定優先順序、控制和擴展最重要的工作負載。例如,您可以新增容量來控制可同時執行的查詢數量、選擇可使用容量的工作負載,以及在工作負載之間共用容量。容量是無伺服器且由 Athena 完全管理,只要您需要,就會為您保留。設定非常簡單,不需要變更 SQL 查詢。

若要取得查詢的處理能力,您可建立容量保留、指定所需的資料處理單位 (DPU) 數目,然後將一或多個工作群組指派給保留。

當您使用容量保留時,工作群組扮演著重要角色。工作群組可讓您將查詢組織成邏輯分組或使用案例。透過容量保留,您可以選擇性地將容量指派給工作群組,以便控制每個工作群組的查詢行為方式以及計費方式。如需有關工作群組的詳細資訊,請參閱 使用工作群組來控制查詢存取和成本

將工作群組指派給容量保留可讓您優先處理這些查詢,因為它們會在預留容量上執行,且不計入您的 DDL 和 DML 查詢配額。例如,您可以將容量分配給用於時間敏感財務報告查詢的工作群組,以將這些查詢與其他工作群組中較不重要的查詢隔離。這可讓您預測關鍵工作負載的查詢執行,同時允許其他工作負載獨立執行。

您可以結合使用容量保留和工作群組,以滿足不同的需求。以下為一些範例案例:

  • 隔離重要的查詢 – 為了確保重要的工作負載具有所需的容量,請建立容量保留,並將其工作群組指派給保留。只有來自指派工作群組的查詢會使用保留的處理容量。例如,為了確保可靠執行支援生產應用程式的查詢,請將這些查詢的生產工作群組指派給容量保留。開發查詢時,請使用與保留無關的個別工作群組,並在就緒時將查詢移至生產工作群組。

  • 在類似的工作負載之間共用容量 – 多個工作負載可以從一個保留中共用容量。這可讓您實現這些工作負載的可預測成本,並控制其並行。例如,如果您的排程工作負載可容忍延遲的查詢執行開始時間,您可以將其工作群組指派給單一保留。這樣可以釋放 DDL 和 DML 查詢配額,以便在相同帳戶中執行的互動式查詢,確保這些查詢以最少的延遲開始。

了解 DPU

容量是以資料處理單位 (DPU) 為單位測量而得。DPUs代表 Athena 用來代表您存取和處理資料的無伺服器運算和記憶體資源。一個 DPU 通常提供 4 個 vCPUs和 16 GB 的記憶體。您持有DPUs 數量會影響您可以同時執行的查詢數量。例如,具有 256 個 DPU 的保留所支援的並行查詢數量大約是具有 128 個 DPU 的保留的兩倍。

如需有關估算容量需求的資訊,請參閱 判斷容量需求。如需定價資訊,請參閱 Amazon Athena 定價

考量和限制

  • 您可以根據掃描的資料,在同一帳戶中同時使用容量保留和每個查詢計費。

  • 在容量保留上執行的查詢不會計入您的 DDL 和 DML 查詢配額。

  • 如果您的容量忙於處理其他查詢,新提交的查詢會排入佇列,直到容量可用為止。佇列中允許的時間上限為 10 小時。

  • 一個工作群組一次可以指派給一個容量保留。您總共可以將 20 個工作群組指派給單一保留。當您將多個工作群組指派給保留時,容量會跨工作群組共用,並根據其提交順序配置給查詢。由於 Athena 如何動態分配容量給查詢,執行順序可能會有所不同。

  • Athena 會根據 DML 查詢的複雜性,自動將 4 到 124 DPUs 配置給 DML 查詢。DDL 查詢各使用 4 DPUs。如需詳細資訊,請參閱下列主題:

  • 每個容量保留所需的 DPUs 數目下限為 4。如需定價資訊,請參閱 Amazon Athena 定價

  • 您可建立多達 100 個容量保留,每個帳戶和區域可建立多達 1,000 個 DPU 總數目上限。如果您的使用案例需要 1,000 個以上的 DPU,請聯絡 athena-feedback@amazon.com

  • 無法保證容量請求,且可能需要 30 分鐘才能完成。容量無法轉移至另一個容量保留 AWS 帳戶,或 AWS 區域。

  • DPUConsumed CloudWatch 指標是以工作群組為單位,而非保留區為單位。因此,如果您將工作群組從一個保留區移至另一個保留區,則 DPUConsumed 指標會包含該工作群組屬於第一個保留區時的資料。如需有關使用 Athena 中的 CloudWatch 指標的詳細資訊,請參閱 使用 CloudWatch 監控 Athena 查詢指標

  • 若要刪除已指派給保留的工作群組,請先從保留中移除該工作群組。

  • 不支援設定為使用 Apache Spark 的工作群組。

  • 容量保留不適用於下列商業 AWS 區域:

    • 以色列 (特拉維夫)

    • 中東 (阿拉伯聯合大公國)

    • Middle East (Bahrain)

    • 亞太區域 (紐西蘭)