Considerações e limitações - Amazon Athena
Versão 3.5 do Apache SparkVersão 3 do mecanismo Pyspark

Considerações e limitações

Versão 3.5 do Apache Spark

Confira a seguir as considerações e limitações da versão de lançamento do Apache Spark versão 3.5:

  • Essa versão de lançamento está disponível nas seguintes Regiões da AWS:

    • Ásia-Pacífico (Mumbai)

    • Ásia-Pacífico (Seul)

    • Ásia-Pacífico (Singapura)

    • Ásia-Pacífico (Sydney)

    • Ásia-Pacífico (Tóquio)

    • Canadá (Central)

    • Europa (Frankfurt)

    • Europa (Irlanda)

    • Europa (Londres)

    • Europa (Paris)

    • Europa (Estocolmo)

    • América do Sul (São Paulo)

    • Leste dos EUA (Norte da Virgínia)

    • Leste dos EUA (Ohio)

    • Oeste dos EUA (Oregon)

  • Essa versão do mecanismo não é compatível com cadernos no console do Athena ou APIs de cadernos. Em vez disso, essa versão vem integrada aos cadernos do Estúdio Unificado Amazon SageMaker AI. Você também pode usar clientes Spark Connect compatíveis.

  • As APIs de cálculo: StartCalculationExecution, ListCalculationExecutions e GetCalculationExecution não são compatíveis com esta versão.

  • Você não pode atualizar um grupo de trabalho da versão 3 do mecanismo PySpark para a versão 3.5 do Apache Spark.

Versão 3 do mecanismo Pyspark

Confira abaixo as considerações e limitações da versão de lançamento do mecanismo Pyspark versão 3:

  • Essa versão de lançamento está disponível nas seguintes Regiões da AWS:

    • Ásia-Pacífico (Mumbai)

    • Ásia-Pacífico (Singapura)

    • Ásia-Pacífico (Sydney)

    • Ásia-Pacífico (Tóquio)

    • Europa (Frankfurt)

    • Europa (Irlanda)

    • Leste dos EUA (N. da Virgínia)

    • Leste dos EUA (Ohio)

    • Oeste dos EUA (Oregon)

  • AWS Lake FormationNão há suporte ao .

  • Tabelas que usam projeção de partição não são compatíveis.

  • Grupos de trabalho habilitados para o Apache Spark podem usar o editor de cadernos do Athena, mas não o editor de consultas do Athena. Somente os grupos de trabalho do Athena podem usar o editor de consultas do Athena.

  • Não há suporte para consultas de visualização entre mecanismos. As visualizações criadas pelo SQL do Athena não podem ser consultadas pelo Athena para Spark. Como as visualizações dos dois mecanismos são implementadas de maneira diferente, elas não são compatíveis para uso entre mecanismos.

  • Não há compatibilidade com MLLib (biblioteca de machine learning do Apache Spark) e com o pacote pyspark.ml. Para obter uma lista de bibliotecas Python compatíveis, consulte a Lista de bibliotecas Python pré-instaladas.

  • No momento, pip install não é compatível com as sessões do Athena para Spark.

  • Somente uma sessão ativa por caderno é permitida.

  • Quando vários usuários usam o console para abrir uma sessão existente em um grupo de trabalho, eles acessam o mesmo caderno. Para evitar confusão, abra apenas sessões criadas por você mesmo.

  • Os domínios de hospedagem para aplicações do Apache Spark que você pode usar com o Amazon Athena (por exemplo, analytics-gateway.us-east-1.amazonaws.com) estão registrados na Lista Public Suffix List (PSL) da Internet. Se você precisar definir cookies confidenciais em seus domínios, recomendamos que use cookies com um prefixo __Host- para ajudar a defender o domínio contra tentativas de falsificação de solicitações entre sites (CSRF). Para obter mais informações, consulte a página Set-Cookie na documentação da Mozilla.org. para desenvolvedores.

  • Para obter informações sobre como solucionar problemas relacionados com cadernos, sessões e grupos de trabalho do Spark no Athena, consulte Solucionar problemas do Athena para Spark.