本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 使用 Amazon EMR on EKS 配置 Apache Livy 的安全性
<a name="job-runs-apache-livy-security"></a>

有关使用 Amazon EMR on EKS 配置 Apache Livy 安全性的更多信息，请参阅以下主题。这些选项包括使用传输层安全性、基于角色的访问控制（基于个人在组织中的角色进行访问）以及使用 IAM 角色（根据授予的权限提供对资源的访问）。

**Topics**
+ [

# 使用 TLS/SSL 设置安全的 Apache Livy 端点
](job-runs-apache-livy-secure-endpoint.md)
+ [

# 使用基于角色的访问控制（RBAC）设置 Apache Livy 和 Spark 应用程序权限
](job-runs-apache-livy-rbac.md)
+ [

# 使用服务账户的 IAM 角色（IRSA）设置访问权限
](job-runs-apache-livy-irsa.md)

# 使用 TLS/SSL 设置安全的 Apache Livy 端点
<a name="job-runs-apache-livy-secure-endpoint"></a>

请参阅以下章节，详细了解如何在 EKS 上使用 TLS 和 SSL 加密设置 Apache end-to-end Livy for Amazon EMR。

## 设置 TLS 和 SSL 加密
<a name="job-runs-apache-livy-security-tls"></a>

要在 Apache Livy 端点上设置 SSL 加密，请按照以下步骤操作。
+ [安装 Secrets Store CSI 驱动程序以及机 AWS 密和配置提供程序 (ASCP)](https://docs.aws.amazon.com/secretsmanager/latest/userguide/integrating_csi_driver.html) — Secrets Store CSI 驱动程序和 ASCP 可以安全地存储 Livy 的 JKS 证书和密码，Livy 服务器舱需要这些证书和密码才能启用 SSL。您也可以只安装 Secrets Store CSI Driver，然后使用任何其他受支持的密钥提供程序。
+ [创建 ACM 证书](https://docs.aws.amazon.com/acm/latest/userguide/gs-acm-request-public.html)：该证书是确保客户端与 ALB 端点之间安全连接所必需的。
+ 为 AWS Secrets Manager — 设置 JKS 证书、密钥密码和密钥库密码，这是保护 ALB 端点和 Livy 服务器之间连接所必需的。
+ 向 Livy 服务帐户添加从中检索机密的权限 AWS Secrets Manager — Livy 服务器需要这些权限才能从 ASCP 检索机密并添加 Livy 配置来保护 Livy 服务器。要向服务账户添加 IAM 权限，请参阅“使用服务账户的 IAM 角色（IRSA）设置访问权限”。

### 使用密钥和密钥库密码设置 JKS 证书 AWS Secrets Manager
<a name="job-runs-apache-livy-jks-certificate"></a>

按照以下步骤使用密钥和密钥库密码设置 JKS 证书

1. 为 Livy 服务器生成密钥库文件。

   ```
   keytool -genkey -alias <host> -keyalg RSA -keysize 2048 –dname CN=<host>,OU=hw,O=hw,L=<your_location>,ST=<state>,C=<country> –keypass <keyPassword> -keystore <keystore_file> -storepass <storePassword> --validity 3650
   ```

1. 创建证书。

   ```
   keytool -export -alias <host> -keystore mykeystore.jks -rfc -file mycertificate.cert -storepass <storePassword>
   ```

1. 创建信任存储库文件。

   ```
   keytool -import -noprompt -alias <host>-file <cert_file> -keystore <truststore_file> -storepass <truststorePassword>
   ```

1. 将 JKS 证书保存在中。 AWS Secrets Manager将 `livy-jks-secret` 替换为您的密钥，将 `fileb://mykeystore.jks` 替换为密钥库 JKS 证书的路径。

   ```
   aws secretsmanager create-secret \ 
   --name livy-jks-secret \
   --description "My Livy keystore JKS secret" \
   --secret-binary fileb://mykeystore.jks
   ```

1. 将密钥库和密钥密码保存在 Secrets Manager 中。确保使用您自己的参数。

   ```
   aws secretsmanager create-secret \
   --name livy-jks-secret \
   --description "My Livy key and keystore password secret" \
   --secret-string "{\"keyPassword\":\"<test-key-password>\",\"keyStorePassword\":\"<test-key-store-password>\"}"
   ```

1. 使用以下命令创建 Livy 服务器命名空间。

   ```
   kubectl create ns <livy-ns>
   ```

1. 为具有 JKS 证书和密码的 Livy 服务器创建 `ServiceProviderClass` 对象。

   ```
   cat >livy-secret-provider-class.yaml << EOF
   apiVersion: secrets-store.csi.x-k8s.io/v1
   kind: SecretProviderClass
   metadata:
     name: aws-secrets
   spec:
     provider: aws
     parameters:
       objects: |
           - objectName: "livy-jks-secret"
             objectType: "secretsmanager"
           - objectName: "livy-passwords"
             objectType: "secretsmanager"
                        
   EOF
   kubectl apply -f livy-secret-provider-class.yaml -n <livy-ns>
   ```

## 开始使用启用 SSL 的 Apache Livy
<a name="job-runs-apache-livy-ssl-enabled-getting-started"></a>

在 Livy 服务器上启用 SSL 后，必须设置 `serviceAccount` 才能访问 AWS Secrets Manager上的 `keyStore` 和 `keyPasswords` 密钥。

1. 创建 Livy 服务器命名空间。

   ```
   kubectl create namespace <livy-ns>
   ```

1. 设置 Livy 服务账户以访问 Secrets Manager 中的密钥。有关设置 IRSA 的更多信息，请参阅[在安装 Apache Livy 过程中设置 IRSA](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/job-runs-apache-livy-irsa.html#job-runs-apache-livy-irsa)。

   ```
   aws ecr get-login-password \--region region-id | helm registry login \
   --username AWS \
   --password-stdin ECR-registry-account.dkr.ecr.region-id.amazonaws.com
   ```

1. 安装 Livy。对于 Helm 图表 --version 参数，请使用 Amazon EMR 发行版标签，例如： `7.1.0`您还必须将自己的 Amazon ECR 注册账户编号和地区编号替换为自己 IDs的。您可以[按地区 AWS 区域 从 Amazon ECR 注册账户](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/docker-custom-images-tag.html#docker-custom-images-ECR)中找到相应的`ECR-registry-account`值。

   ```
   helm install <livy-app-name> \
     oci://895885662937.dkr.ecr.region-id.amazonaws.com/livy \
     --version 7.12.0 \
     --namespace livy-namespace-name \
     --set image=<ECR-registry-account.dkr.ecr>.<region>.amazonaws.com/livy/emr-7.12.0:latest \
     --set sparkNamespace=spark-namespace \
     --set ssl.enabled=true
     --set ssl.CertificateArn=livy-acm-certificate-arn
     --set ssl.secretProviderClassName=aws-secrets
     --set ssl.keyStoreObjectName=livy-jks-secret
     --set ssl.keyPasswordsObjectName=livy-passwords
     --create-namespace
   ```

1. 继续执行[在 Amazon EMR on EKS 上安装 Apache Livy](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/job-runs-apache-livy-setup.html#job-runs-apache-livy-install) 的第 5 步。

# 使用基于角色的访问控制（RBAC）设置 Apache Livy 和 Spark 应用程序权限
<a name="job-runs-apache-livy-rbac"></a>

为了部署 Livy，Amazon EMR on EKS 会创建一个服务器服务账户和角色，以及一个 Spark 服务账户和角色。这些角色必须具有必要的 RBAC 权限才能完成设置和运行 Spark 应用程序。

**服务器服务账户和角色的 RBAC 权限**

Amazon EMR on EKS 会创建 Livy 服务器服务账户和角色，来管理 Spark 作业的 Livy 会话，以及路由进出入口和其他资源的流量。

此服务账户的默认名称为 `emr-containers-sa-livy`。必须拥有以下权限。

```
rules:
- apiGroups:
  - ""
  resources:
  - "namespaces"
  verbs:
  - "get"
- apiGroups:
  - ""
  resources:
  - "serviceaccounts"
    "services"
    "configmaps"
    "events"
    "pods"
    "pods/log"
  verbs:
  - "get"
    "list"
    "watch"
    "describe"
    "create"
    "edit"
    "delete"
    "deletecollection"
    "annotate"
    "patch"
    "label"
 - apiGroups:
   - ""
   resources:
   - "secrets"
   verbs:
   - "create"
     "patch"
     "delete"
     "watch"
 - apiGroups:
   - ""
   resources:
   - "persistentvolumeclaims"
   verbs:
   - "get"
     "list"
     "watch"
     "describe"
     "create"
     "edit"
     "delete"
     "annotate"
     "patch"
     "label"
```

**Spark 服务账户和角色的 RBAC 权限**

Spark 驱动程序 Pod 需要一个与该 Pod 位于同一命名空间的 Kubernetes 服务账户。该服务账户需要拥有权限才能管理执行程序容器组（pod）和驱动程序容器组（pod）所需的任何资源。除非命名空间中的默认服务账户具有所需的权限，否则驱动程序会失败并退出。需要以下 RBAC 权限。

```
rules:
- apiGroups:
  - ""
    "batch"
    "extensions"
    "apps"
  resources:
  - "configmaps"
    "serviceaccounts"
    "events"
    "pods"
    "pods/exec"
    "pods/log"
    "pods/portforward"
    "secrets"
    "services"
    "persistentvolumeclaims"
    "statefulsets"
  verbs:
  - "create"
    "delete"
    "get"
    "list"
    "patch"
    "update"
    "watch"
    "describe"
    "edit"
    "deletecollection"
    "patch"
    "label"
```

# 使用服务账户的 IAM 角色（IRSA）设置访问权限
<a name="job-runs-apache-livy-irsa"></a>

默认情况下，Livy 服务器和 Spark 应用程序的驱动程序和执行器无权访问 AWS 资源。服务器服务帐户和 spark 服务帐户控制 Livy 服务器和 Spark 应用程序的 pod 对 AWS 资源的访问权限。要授予访问权限，您需要将服务账户映射到具有必要 AWS 权限的 IAM 角色。

您可以在安装 Apache Livy 之前、安装过程中或安装完成后设置 IRSA 映射。

## 在安装 Apache Livy 过程中设置 IRSA（适用于服务器服务账户）
<a name="job-runs-apache-livy-irsa"></a>

**注意**  
只有服务器服务账户支持此映射。

1. 确保已完成[设置适用于 Amazon EMR on EKS 的 Apache Livy](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/job-runs-apache-livy-setup.html)，并正在[使用 Amazon EMR on EKS 安装 Apache Livy](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/job-runs-apache-livy-install.html)。

1. 为 Livy 服务器创建 Kubernetes 命名空间。在此示例中，应用程序名称为 `livy-ns`。

1. 创建一个 IAM 策略，其中包含您希望 Pod 访问的权限。 AWS 服务 以下示例创建了一个 IAM 策略，用于获取 Spark 入口点的 Amazon S3 资源。

   ```
   cat >my-policy.json <<EOF{
   "Version": "2012-10-17",		 	 	 
       "Statement": [
           {
   "Effect": "Allow",
               "Action": "s3:GetObject",
               "Resource": "arn:aws:s3:::my-spark-entrypoint-bucket"
           }
       ]
   }
   EOF
   
   aws iam create-policy --policy-name my-policy --policy-document file://my-policy.json
   ```

1. 使用以下命令将您的 AWS 账户 ID 设置为变量。

   ```
   account_id=$(aws sts get-caller-identity --query "Account" --output text)
   ```

1. 将集群的 OpenID Connect（OIDC）身份提供程序设置为环境变量。

   ```
   oidc_provider=$(aws eks describe-cluster --name my-cluster --region $AWS_REGION --query "cluster.identity.oidc.issuer" --output text | sed -e "s/^https:\/\///")
   ```

1. 为服务账户的命名空间和名称设置变量。务必使用您自己的值。

   ```
   export namespace=default
   export service_account=my-service-account
   ```

1. 使用以下命令创建信任策略文件。如果要向命名空间内的所有服务账户授予角色访问权限，请复制以下命令，将 `StringEquals` 替换为 `StringLike`，将 `$service_account` 替换为 `*`。

   ```
   cat >trust-relationship.json <<EOF
   {
     "Version": "2012-10-17",		 	 	 
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "arn:aws:iam::$account_id:oidc-provider/$oidc_provider"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "$oidc_provider:aud": "sts.amazonaws.com",
             "$oidc_provider:sub": "system:serviceaccount:$namespace:$service_account"
           }
         }
       }
     ]
   }
   EOF
   ```

1. 创建角色。

   ```
   aws iam create-role --role-name my-role --assume-role-policy-document file://trust-relationship.json --description "my-role-description"
   ```

1. 使用以下 Helm install 命令设置 `serviceAccount.executionRoleArn` 以映射 IRSA。以下是 Helm install 命令的示例。您可以[按地区 AWS 区域 从 Amazon ECR 注册账户](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/docker-custom-images-tag.html#docker-custom-images-ECR)中找到相应的`ECR-registry-account`值。

   ```
   helm install livy-demo \
     oci://895885662937.dkr.ecr.us-west-2.amazonaws.com/livy \
     --version 7.12.0 \
     --namespace livy-ns \
     --set image=ECR-registry-account.dkr.ecr.region-id.amazonaws.com/livy/emr-7.12.0:latest \
     --set sparkNamespace=spark-ns \
     --set serviceAccount.executionRoleArn=arn:aws:iam::123456789012:role/my-role
   ```

## 将 IRSA 映射到 Spark 服务账户
<a name="job-runs-apache-livy-irsa-spark"></a>

将 IRSA 映射到 Spark 服务账户之前，请确保已完成以下项目：
+ 确保已完成[设置适用于 Amazon EMR on EKS 的 Apache Livy](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/job-runs-apache-livy-setup.html)，并正在[使用 Amazon EMR on EKS 安装 Apache Livy](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/job-runs-apache-livy-install.html)。
+ 您的集群必须具有现有的 IAM OpenID Connect（OIDC）提供程序。要查看您是否拥有提供程序或如何创建，请参阅[为集群创建 IAM OIDC 提供程序](https://docs.aws.amazon.com/eks/latest/userguide/enable-iam-roles-for-service-accounts.html)。
+ 确保您已安装 0.171.0 或更高版本的 `eksctl` CLI 或 AWS CloudShell。要安装或更新 `eksctl`，请参阅 `eksctl` 文档中的[安装](https://eksctl.io/installation/)。

按照以下步骤将 IRSA 映射到 Spark 服务账户：

1. 使用以下命令获取 Spark 服务账户。

   ```
   SPARK_NAMESPACE=<spark-ns>
   LIVY_APP_NAME=<livy-app-name>
   kubectl --namespace $SPARK_NAMESPACE describe sa -l "app.kubernetes.io/instance=$LIVY_APP_NAME" | awk '/^Name:/ {print $2}'
   ```

1. 为服务账户的命名空间和名称设置变量。

   ```
   export namespace=default
   export service_account=my-service-account
   ```

1. 使用以下命令为 IAM 角色创建信任策略文件。下面的示例允许命名空间内的所有服务账户使用该角色。为此，请将 `StringEquals` 替换为 `StringLike`，将 `$service_account` 替换为 \$1。

   ```
   cat >trust-relationship.json <<EOF
   {
     "Version": "2012-10-17",		 	 	 
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "arn:aws:iam::$account_id:oidc-provider/$oidc_provider"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "$oidc_provider:aud": "sts.amazonaws.com",
             "$oidc_provider:sub": "system:serviceaccount:$namespace:$service_account"
           }
         }
       }
     ]
   }
   EOF
   ```

1. 创建角色。

   ```
   aws iam create-role --role-name my-role --assume-role-policy-document file://trust-relationship.json --description "my-role-description"
   ```

1. 使用以下 `eksctl` 命令映射服务器或 Spark 服务账户。务必使用您自己的值。

   ```
    eksctl create iamserviceaccount --name spark-sa \
    --namespace spark-namespace --cluster livy-eks-cluster \
    --attach-role-arn arn:aws:iam::0123456789012:role/my-role \
    --approve --override-existing-serviceaccounts
   ```