

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 使用 Flink Native Kubernetes
<a name="jobruns-flink-native-kubernetes"></a>

Amazon EMR 6.13.0 及更高版本都支持 Flink Native Kubernetes 作为命令行工具，而您可以使用该工具向 Amazon EMR on EKS 集群提交和执行 Flink 应用程序。

**Topics**
+ [设置 Amazon EMR on EKS 的 Flink Native Kubernetes](jobruns-flink-native-kubernetes-setup.md)
+ [Amazon EMR on EKS 的 Flink Native Kubernetes 入门](jobruns-flink-native-kubernetes-getting-started.md)
+ [原生 Kubernetes 的 Flink JobManager 服务账号安全要求](jobruns-flink-native-kubernetes-security-requirements.md)

# 设置 Amazon EMR on EKS 的 Flink Native Kubernetes
<a name="jobruns-flink-native-kubernetes-setup"></a>

先执行以下任务来完成设置，才能在 Amazon EMR on EKS 上使用 Flink CLI 运行应用程序。如果已注册 Amazon Web Services（AWS）并且一直在使用 Amazon EKS，您基本上就准备好使用 Amazon EMR on EKS 了。跳过已完成的先决条件，转到下一个先决条件。
+ **[安装或更新到最新版本的 AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html)** — 如果您已经安装了 AWS CLI，请确认您安装的是最新版本。
+ **[开始使用 Amazon EKS - eksctl](https://docs.aws.amazon.com/eks/latest/userguide/getting-started-eksctl.html)**：按照以下步骤在 Amazon EKS 中创建带有节点的新 Kubernetes 集群。
+ **[选择 Amazon EMR 基础映像 URI](docker-custom-images-tag.md)（6.13.0 或更高版本）**：Amazon EMR 6.13.0 及更高版本都支持 Flink Kubernetes 命令。
+ 确认 JobManager 服务帐号具有创建和监视 TaskManager pod 的相应权限。有关更多信息，请参阅[原生 Kubernetes 的 Flink JobManager 服务账号安全要求](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/jobruns-flink-native-kubernetes-security-requirements.html)。
+ 设置本地 [AWS 凭证配置文件](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html)。
+ [为 Amazon EKS 集群创建或更新 kubeconfig 文件](https://docs.aws.amazon.com/eks/latest/userguide/create-kubeconfig.html)，如果要在该集群上运行 Flink 应用程序。

# Amazon EMR on EKS 的 Flink Native Kubernetes 入门
<a name="jobruns-flink-native-kubernetes-getting-started"></a>

这些步骤展示了如何配置和运行 Flink 应用程序并为其设置服务账户。Flink Native Kubernetes 用于在运行的 Kubernetes 集群上部署 Flink。

## 配置和运行 Flink 应用程序
<a name="jobruns-flink-native-kubernetes-getting-started-run-application"></a>

Amazon EMR 6.13.0 及更高版本都支持 Flink Native Kubernetes 在 Amazon EKS 集群上运行 Flink 应用程序。要运行 Flink 应用程序，请按照下述步骤操作：

1. 在使用 Flink Native Kubernetes 命令运行 Flink 应用程序之前，请先完成 [设置 Amazon EMR on EKS 的 Flink Native Kubernetes](jobruns-flink-native-kubernetes-setup.md) 中的步骤。

1. [下载并安装 Flink](https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/try-flink/local_installation)。

1. 设置以下环境变量的值。

   ```
   #Export the FLINK_HOME environment variable to your local installation of Flink
   export FLINK_HOME=/usr/local/bin/flink #Will vary depending on your installation
   export NAMESPACE=flink
   export CLUSTER_ID=flink-application-cluster
   export IMAGE=<123456789012.dkr.ecr.sample-AWS 区域-.amazonaws.com/flink/emr-6.13.0-flink:latest>
   export FLINK_SERVICE_ACCOUNT=emr-containers-sa-flink
   export FLINK_CLUSTER_ROLE_BINDING=emr-containers-crb-flink
   ```

1. 创建服务账户来管理 Kubernetes 资源。

   ```
   kubectl create serviceaccount $FLINK_SERVICE_ACCOUNT -n $NAMESPACE
   kubectl create clusterrolebinding $FLINK_CLUSTER_ROLE_BINDING --clusterrole=edit --serviceaccount=$NAMESPACE:$FLINK_SERVICE_ACCOUNT
   ```

1. 运行 `run-application` CLI 命令。

   ```
   $FLINK_HOME/bin/flink run-application \
       --target kubernetes-application \
       -Dkubernetes.namespace=$NAMESPACE \
       -Dkubernetes.cluster-id=$CLUSTER_ID \
       -Dkubernetes.container.image.ref=$IMAGE \
       -Dkubernetes.service-account=$FLINK_SERVICE_ACCOUNT \
       local:///opt/flink/examples/streaming/Iteration.jar
   2022-12-29 21:13:06,947 INFO  org.apache.flink.kubernetes.utils.KubernetesUtils            [] - Kubernetes deployment requires a fixed port. Configuration blob.server.port will be set to 6124
   2022-12-29 21:13:06,948 INFO  org.apache.flink.kubernetes.utils.KubernetesUtils            [] - Kubernetes deployment requires a fixed port. Configuration taskmanager.rpc.port will be set to 6122
   2022-12-29 21:13:07,861 WARN  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Please note that Flink client operations(e.g. cancel, list, stop, savepoint, etc.) won't work from outside the Kubernetes cluster since 'kubernetes.rest-service.exposed.type' has been set to ClusterIP.
   2022-12-29 21:13:07,868 INFO  org.apache.flink.kubernetes.KubernetesClusterDescriptor      [] - Create flink application cluster flink-application-cluster successfully, JobManager Web Interface: http://flink-application-cluster-rest.flink:8081
   ```

1. 检查创建好的 Kubernetes 资源。

   ```
   kubectl get all -n <namespace>
   NAME READY STATUS RESTARTS AGE
   pod/flink-application-cluster-546687cb47-w2p2z 1/1 Running 0 3m37s
   pod/flink-application-cluster-taskmanager-1-1 1/1 Running 0 3m24s
   
   NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
   service/flink-application-cluster ClusterIP None <none> 6123/TCP,6124/TCP 3m38s
   service/flink-application-cluster-rest ClusterIP 10.100.132.158 <none> 8081/TCP 3m38s
   
   NAME READY UP-TO-DATE AVAILABLE AGE
   deployment.apps/flink-application-cluster 1/1 1 1 3m38s
   
   NAME DESIRED CURRENT READY AGE
   replicaset.apps/flink-application-cluster-546687cb47 1 1 1 3m38s
   ```

1. 端口转发到 8081。

   ```
   kubectl port-forward service/flink-application-cluster-rest 8081 -n <namespace>
   Forwarding from 127.0.0.1:8081 -> 8081
   ```

1. 在本地访问 Flink UI。  
![\[访问 Flink UI。\]](http://docs.aws.amazon.com/zh_cn/emr/latest/EMR-on-EKS-DevelopmentGuide/images/jobruns-flink-native-kubernetes-ui.png)

1. 删除 Flink 应用程序。

   ```
   kubectl delete deployment.apps/flink-application-cluster -n <namespace>
   deployment.apps "flink-application-cluster" deleted
   ```

有关向 Flink 提交应用程序的更多信息，请参阅 Apache Flink 文档中的 [Native Kubernetes](https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/native_kubernetes/)。

# 原生 Kubernetes 的 Flink JobManager 服务账号安全要求
<a name="jobruns-flink-native-kubernetes-security-requirements"></a>

Flink JobManager 容器使用 Kubernetes 服务账号访问 Kubernetes API 服务器来创建和监视 Pod。 TaskManager JobManager 服务帐号必须拥有对 create/delete TaskManager pod 的相应权限，并允许 to watch 领导者 ConfigMaps 检索集群 ResourceManager 中 JobManager 和的地址。 TaskManager 

以下规则适用于此服务账户。

```
rules:
- apiGroups:
  - ""
  resources:
  - pods
  verbs:
  - "*"
- apiGroups:
  - ""
  resources:
  - services
  verbs:
  - "*"
- apiGroups:
  - ""
  resources:
  - configmaps
  verbs:
  - "*"
- apiGroups:
  - "apps"
  resources:
  - deployments
  verbs:
  - "*"
```