View a markdown version of this page

考慮事項と制限事項 - Amazon Athena
Apache Spark バージョン 3.5Pyspark エンジンバージョン 3

考慮事項と制限事項

Apache Spark バージョン 3.5

リリースバージョン Apache Spark バージョン 3.5 の考慮事項と制限事項は次のとおりです。

  • このリリースバージョンは以下の AWS リージョン で利用できます。

    • アジアパシフィック (ムンバイ)

    • アジアパシフィック (ソウル)

    • アジアパシフィック (シンガポール)

    • アジアパシフィック (シドニー)

    • アジアパシフィック (東京)

    • カナダ (中部)

    • 欧州 (フランクフルト)

    • 欧州 (アイルランド)

    • 欧州 (ロンドン)

    • 欧州 (パリ)

    • 欧州 (ストックホルム)

    • 南米 (サンパウロ)

    • 米国東部 (バージニア北部)

    • 米国東部 (オハイオ)

    • 米国西部 (オレゴン)

  • このエンジンバージョンは、Athena コンソール内ノートブックとノートブック API をサポートしていません。代わりに、このバージョンは Amazon SageMaker AI Unified Studio ノートブックと統合されます。互換性のある Spark Connect クライアントを使用することもできます。

  • 計算 API - StartCalculationExecution、ListCalculationExecutions、GetCalculationExecution は、このリリースではサポートされていません。

  • ワークグループを PySpark エンジンバージョン 3 から Apache Spark バージョン 3.5 にアップグレードすることはできません。

Pyspark エンジンバージョン 3

リリースバージョン Pyspark エンジンバージョン 3 の考慮事項と制限事項は次のとおりです。

  • このリリースバージョンは以下の AWS リージョン で利用できます。

    • アジアパシフィック (ムンバイ)

    • アジアパシフィック (シンガポール)

    • アジアパシフィック (シドニー)

    • アジアパシフィック (東京)

    • 欧州 (フランクフルト)

    • 欧州 (アイルランド)

    • 米国東部 (バージニア北部)

    • 米国東部 (オハイオ)

    • 米国西部 (オレゴン)

  • AWS Lake Formation はサポートされていません。

  • パーティション射影を使用するテーブルはサポートされていません。

  • Apache Spark 対応のワークグループでは Athena ノートブックエディターを使用できますが、Athena クエリエディターを使用することはできません。Athena SQL ワークグループのみが、Athena クエリエディターを使用できます。

  • クロスエンジンビューのクエリはサポートされていません。Athena SQL で作成されたビューでは、Athena for Spark がクエリを実行することはできません。2 つのエンジンのビューは実装方法が異なるため、エンジン間の使用に互換性がありません。

  • MLlib (Apache Spark 機械学習ライブラリ) および pyspark.ml パッケージはサポートされていません。サポートされている Python ライブラリのリストについては、「プリインストールされている Python ライブラリのリスト」を参照してください。

  • 現在、Athena for Spark セッションで pip install はサポートされていません。

  • 1 つのノートブックで許可されるアクティブなセッションは 1 つのみです。

  • 複数のユーザーがコンソールを使用してワークグループ内の既存のセッションを開く場合、同じノートブックにアクセスします。混同を避けるため、自分で作成したセッションのみを開いてください。

  • Amazon Athena で使用する Apache Spark アプリケーションのホスティングドメイン (例:analytics-gateway.us-east-1.amazonaws.com) は、インターネットの「パブリックサフィックスリスト (PSL)」に登録されています。ドメインに機密性の高いクッキーを設定する必要がある場合、ドメインをクロスサイトリクエストフォージェリ (CSRF) 攻撃から保護できるように、__Host- プレフィックスを付けたクッキーを使用することをお勧めします。詳細については、Mozilla.org のデベロッパー向けドキュメントの「クッキーの設定」ページを参照してください。

  • Athena での Spark ノートブック、セッション、ワークグループのトラブルシューティングについては、「Athena for Spark をトラブルシューティングする」を参照してください。