本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 将本地 Cloudera 工作负载迁移到 Cloudera Data Platform on AWS
<a name="migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws"></a>

*Battulga Purevragchaa 和 Nidhi Gupta，Amazon Web Services*

*Nijjwol Lamsal，Cloudera, Inc.*

## Summary
<a name="migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws-summary"></a>

此模式描述了将本地 Cloudera 分布式 Hadoop (CDH)、Hortonworks 数据平台 (HDP) 和 Cloudera 数据平台 (CDP) 工作负载迁移到 CDP Public Cloud on AWS 的高级步骤。我们建议您与 Cloudera Professional Services 和系统集成商 (SI) 合作来实施这些步骤。

Cloudera 客户希望将其本地 CDH、HDP 和 CDP 工作负载迁移到云端的原因有很多。部分常见原因包括：
+ 简化新数据平台范例（例如数据湖屋或数据网格）的采用
+ 提高业务敏捷性，实现现有数据资产的访问和推理民主化
+ 降低总拥有成本（TCO）
+ 增强工作负载弹性
+ 实现更大的可扩展性；与遗留的本地安装基础相比，大大减少了预调配数据服务的时间
+ 停用遗留硬件；大大减少了硬件刷新周期
+ 利用定价优势，该 pay-as-you-go定价已扩展到采用 Cloudera 许可模式 (CCU) 的 AWS 上的 Cloudera 工作负载
+ 利用持续集成和持续交付 (CI/CD) 平台，实现更快的部署和改进的集成
+ 使用单个统一平台 (CDP) 处理多工作负载

Cloudera 支持所有主要工作负载，包括机器学习、数据工程、数据仓库、操作数据库、流处理 (CSP) 及数据安全和治理。Cloudera 多年来一直在本地提供这些工作负载，您可以通过将 CDP 公共云与Workload Manager和Replication Manager结合使用，将这些工作负载迁移到 Amazon Web Services Cloud。 

Cloudera Shared Data Experience (SDX) 提供跨这些工作负载的共享元数据目录，以促进一致的数据管理和操作。SDX 还包括全面、精细的安全性，以防范威胁，以及审计和搜索功能的统一治理，以符合支付卡行业数据安全标准 (PCI DSS) 和 GDPR 等标准。 

**CDP 迁移一览**


|  |  | 
| --- |--- |
|    工作负载 | 源工作负载 | CDH、HDP 和 CDP Private Cloud | 
| --- |--- |--- |
| 源环境 | Windows、Linux本地、主机托管或任何非 AWS 环境 | 
| 目标工作负载 | CDP Public Cloud on AWS | 
| 目标环境 | 部署模式：客户账户操作模式： customer/Cloudera 控制平面 | 
| ** **** ****迁移** | 迁移策略 (7R) | 更换主机、更换平台或重构 | 
| 这是工作负载版本的升级吗？ | 是 | 
| 迁移持续时间 | 部署：创建客户账户、虚拟私有云（VPC）和 CDP 公有云客户管理的环境大约需要 1 周。迁移时间：1-4 个月，具体取决于工作负载的复杂性与规模。 | 
| **成本** | 在 AWS 上运行工作负载的成本 | 在较高层面上，CDH 工作负载迁移到 AWS 的成本的前提条件是您将在 AWS 上建立一个新环境。它包括对人员时间和精力的核算，以及为新环境预调配计算资源和许可软件。Cloudera 基于云消费定价模型使您能够灵活地利用突发和自动扩缩功能。有关更多信息，请参阅 Cloudera 网站上的 [CDP 公有云服务费率](https://www.cloudera.com/products/pricing/cdp-public-cloud-service-rates.html)。Cloudera Enterprise [Data Hub](https://www.cloudera.com/products/enterprise-data-hub.html) 基于亚马逊弹性计算云 (Amazon EC2)，与传统集群非常接近。Data Hub 可[自定义](https://docs.cloudera.com/data-hub/cloud/create-cluster-aws/topics/mc-creating-a-cluster.html)，但这会影响成本。[CDP Public Cloud Data Warehouse](https://docs.cloudera.com/data-warehouse/cloud/index.html)、[Cloudera Machine Learning](https://docs.cloudera.com/machine-learning/cloud/product/topics/ml-product-overview.html) 和 [Cloudera Data Engineering (CDE)](https://docs.cloudera.com/data-engineering/cloud/index.html) 基于容器，可以配置为自动扩缩。 | 
| ** **** ****基础设施协议与框架** | 系统要求 | 请参阅[先决条件](#migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws-prereqs)部分。 | 
| SLA | 请参阅 [CDP 公共云的 Cloudera 服务级别协议](https://www.cloudera.com/legal/terms-and-conditions/cdp-public-cloud-sla.html)。 | 
| DR | 请参阅 Cloudera 文档中的[灾难恢复](https://docs.cloudera.com/cdp-reference-architectures/latest/cdp-ra-operations/topics/cdp-ra-abstract.html)。 | 
| （目标 Amazon Web Services account 的）许可和运营模式 | 自带许可（BYOL）模式 | 
| ** ****合规** | 安全要求 | 请参阅 Cloudera 文档中的 [Cloudera 安全概述](https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/security-overview/topics/cm-security-overview.html)。 | 
| 其他[合规性认证](https://aws.amazon.com/compliance/programs) | 在 Cloudera 网站查看关于[通用数据保护条例 (GDPR)](https://www.cloudera.com/solutions/lower-business-risks/general-data-protection-regulation.html) 合规和 [CDP Trust Center](https://www.cloudera.com/products/trust-center.html) 的信息。 | 

## 先决条件和限制
<a name="migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws-prereqs"></a>

**先决条件**
+ [Amazon Web Services account 要求](https://docs.cloudera.com/cdp-public-cloud/cloud/requirements-aws/topics/mc-requirements-aws.html)，包括账户、资源、服务和权限，如 AWS Identity and Access Management (IAM) 角色和策略设置
+ 在 Cloudera 网站[部署 CDP 的先决条件](https://docs.cloudera.com/cdp-public-cloud/cloud/getting-started/topics/cdp-set_up_cdp_prerequisites.html)

迁移需要以下角色和专长：


| 
| 
|  角色 | 技能和责任 | 
| --- |--- |
| 迁移主管 | 确保执行支持、团队协作、规划、实施和评测 | 
| Cloudera SME | CDH、HDP 以及 CDP 管理、系统管理和架构方面的专业技能 | 
| AWS 架构师 | Amazon Web Services、联网、安全和架构方面的技能 | 

## 架构
<a name="migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws-architecture"></a>

构建适当的架构是确保迁移和性能满足用户期望的关键步骤。为了使您的迁移工作满足本行动手册的假设，您在 Amazon Web Services Cloud 中的目标数据环境，无论是在虚拟私有云（VPC）托管的实例上还是在 CDP 上，都必须在操作系统和软件版本以及主要机器规范方面与您的源环境完全匹配。

下图（经许可转载自 [Cloudera Shared Data Experience 数据表](https://www.cloudera.com/content/dam/www/marketing/resources/datasheets/cloudera-sdx-datasheet.pdf?daqp=true)）显示 CDP 环境的基础设施组件以及各层或基础设施组件如何交互。

![\[CDP 环境组件\]](http://docs.aws.amazon.com/zh_cn/prescriptive-guidance/latest/patterns/images/pattern-img/bb47435e-2638-425c-ac37-7d55053452ac/images/91d62277-7fde-4ec6-8e2b-86a446e2f6ee.png)


该架构包括以下 CDP 组件：
+ Data Hub 是一项用于启动和管理由 Cloudera 运行时系统支持的工作负载集群的服务。您可使用 Data Hub 中的集群定义为自定义用例预调配和访问工作负载集群，并定义自定义集群配置。有关更多信息，请参阅 [Cloudera 网站](https://docs.cloudera.com/data-hub/cloud/index.html)。
+ 数据流和流处理解决了企业在动态数据方面面临的主要挑战。它将管理以下内容：
  + 处理大容量、高规模的实时数据流
  + 跟踪流数据的数据来源和沿袭
  + 管理和监控边缘应用程序与流媒体源

  欲了解更多信息，请参阅 [Cloudera 网站上的 Cloudera DataFlow](https://www.cloudera.com/products/dataflow.html) 和 [CSP](https://www.cloudera.com/products/stream-processing.html)。
+ 数据工程包括数据集成、数据质量和数据治理，帮助组织构建和维护数据管线和工作流。有关更多信息，请参阅 [Cloudera 网站](https://docs.cloudera.com/data-engineering/cloud/index.html)。了解[对竞价型实例的支持，以便于在 AWS 上](https://docs.cloudera.com/data-engineering/cloud/cost-management/topics/cde-spot-instances.html)为 Cloudera Data Engineering 工作负载节省成本。
+ Data Warehouse** **使您能够创建独立的数据仓库和数据集市，这些数据仓库和数据集市可以自动扩缩以满足工作负载需求。该服务为每个数据仓库和数据集市提供隔离的计算实例和自动优化，可帮助您在开会时节省成本 SLAs。有关更多信息，请参阅 [Cloudera 网站](https://docs.cloudera.com/data-warehouse/cloud/index.html)。了解如何对 Cloudera Data Warehouse on AWS [管理成本](https://docs.cloudera.com/data-warehouse/cloud/planning/topics/dw-manage-cloud-costs.html)和[自动扩缩](https://docs.cloudera.com/data-warehouse/cloud/auto-scaling/topics/dw-public-cloud-autoscaling-overview.html)。
+ CDP 中的操作数据库为可扩展、高性能应用程序提供了可靠而灵活的基础。它提供实时、始终可用、可扩展的数据库，在统一的运营和仓储平台内提供传统的结构化数据以及新的非结构化数据。有关更多信息，请参阅 [Cloudera 网站](https://www.cloudera.com/products/operational-db.html)。
+ 机器学习是一个云原生机器学习平台，它将自助数据科学和数据工程功能合并到企业数据云中的单一便携式服务中。它支持在任何地方的数据上可扩展地部署机器学习和人工智能（AI）。有关更多信息，请参阅 [Cloudera 网站](https://docs.cloudera.com/machine-learning/cloud/index.html)。

**CDP on AWS**

下图（经 Cloudera 网站许可改编）显示了 CDP on AWS 的高级架构。CDP 实施[自有安全模型](https://docs.cloudera.com/runtime/7.1.0/cdp-security-overview/topics/security-management-console-security.html)来管理账户和数据流。这些通过使用[跨账户角色](https://docs.cloudera.com/cdp-public-cloud/cloud/requirements-aws/topics/mc-aws-req-credential.html)与 [IAM](https://aws.amazon.com/iam/) 集成。 

![\[CDP on AWS 高级架构\]](http://docs.aws.amazon.com/zh_cn/prescriptive-guidance/latest/patterns/images/pattern-img/bb47435e-2638-425c-ac37-7d55053452ac/images/54420517-38b4-4e82-bd19-9ded50ed009c.png)


CDP 控制面板位于自己的 VPC 中的 Cloudera 主账户中。每个客户账户都有自己的子账户和唯一 VPC。跨账户 IAM 角色和 SSL 技术将控制面板之间的管理流量路由到位于每个客户 VPC 内可通过互联网路由的公有子网上的客户服务。在客户的 VPC 上，Cloudera Shared Data Experience (SDX) 通过统一的治理和合规性提供企业级安全性，因此您可以更快地从数据中获得见解。SDX 是融入所有 Cloudera 产品的设计理念。有关 [SDX](https://docs.cloudera.com/cdp-public-cloud/cloud/overview/topics/cdp-services.html) 和 [AWS 的 CDP 公有云网络架构](https://docs.cloudera.com/cdp-public-cloud/cloud/aws-refarch/topics/cdp-pc-aws-refarch-overview.html)的更多信息，请参阅 Cloudera 文档。

## 工具
<a name="migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws-tools"></a>

**AWS 服务**
+ [亚马逊弹性计算云 (Amazon EC2)](https://docs.aws.amazon.com/ec2/) 在 AWS 云中提供可扩展的计算容量。您可以根据需要启动任意数量的虚拟服务器，并快速纵向扩展或缩减这些服务器。
+ [Amazon Elastic Kubernetes Service (Amazon EKS)](https://docs.aws.amazon.com/eks/latest/userguide/getting-started.html) 可帮助您在 AWS 上运行 Kubernetes，而无需安装或维护您自己的 Kubernetes 控制面板或节点。
+ [AWS Identity and Access Management (AWS IAM) ](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html)通过控制验证和授权使用您 AWS 资源的用户，帮助您安全地管理对您 AWS 资源的访问。
+ [Amazon Relational Database Service (Amazon RDS)](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Welcome.html) 可帮助您在 Amazon Web Services Cloud 中设置、操作和扩展关系数据库。
+ [Amazon Simple Storage Service(Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) 是一项基于云的对象存储服务，可帮助您存储、保护和检索任意数量的数据。

**自动化和工具**
+ 要获得其他工具，您可以使用 [Cloudera Backup Data Recovery (BDR)](https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_bdr_tutorials.html)、[AWS Snowball](https://aws.amazon.com/snowball/) 和 [AWS Snowmobile](https://aws.amazon.com/snowmobile/)，帮助将数据从本地 CDH、HDP 和 CDP 迁移到 AWS 托管的 CDP。
+ 对于新的部署，我们建议您使用[适用于 CDP 的 AWS 合作伙伴解决方案](https://aws.amazon.com/solutions/partners/terraform-modules/cdp-public-cloud/)。

## 操作说明
<a name="migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws-epics"></a>

### 准备迁移
<a name="prepare-for-migration"></a>


| Task | 说明 | 所需技能 | 
| --- | --- | --- | 
| 与 Cloudera 团队合作。 | Cloudera 追求与客户的标准化参与模式，并可以与您的系统集成商 (SI) 合作推广相同的方法。联系 Cloudera 客户团队，以便他们可以提供指导和必要的技术资源来启动项目。联系 Cloudera 团队，以确保所有必要的团队能够在迁移日期临近时为迁移做好准备。 您可联系 Cloudera 专业服务部门，以更低的成本快速将您的 Cloudera 部署从试点转移到生产环境，同时保持最佳性能。有关产品的完整列表，请参阅 [Cloudera 网站](https://www.cloudera.com/about/services-and-support/professional-services.html)。 | 迁移主管 | 
| 在 AWS 上为您的 VPC 创建 CDP 公有云环境。 | 与 Cloudera Professional Services 或您的 SI 合作，规划 CDP 公共云并将其部署到 AWS 上的 VPC 中。 | 云架构师、Cloudera SME | 
| 确定要迁移的工作负载的优先级，并对其进行评测。 | 评估所有本地工作负载，以确定最容易迁移的工作负载。非关键任务的应用程序最好首先移动，因为它们对客户的影响最小。成功迁移其他工作负载后，将任务关键型工作负载保存至最后。瞬态（CDP 数据工程）工作负载比持久（CDP 数据仓库）工作负载更容易迁移。迁移时考虑数据量与位置也很重要。挑战可能包括将数据从本地环境连续复制到云，以及更改数据摄取管线以将数据直接导入到云。 | 迁移主管 | 
| 讨论 CDH、HDP、CDP 以及遗留应用程序迁移活动。 | 考虑和开始使用 Cloudera Workload Manager 计划以下活动：[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/prescriptive-guidance/latest/patterns/migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws.html) | 迁移主管 | 
| 完成 Cloudera Replication Manager 的要求和建议。 | 与 Cloudera Professional Services 和您的 SI 合作，准备将工作负载迁移到 AWS 上的 CDP Public Cloud 环境。了解以下要求和建议可以帮助您避免安装 Replication Manager 服务期间和之后的常见问题。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_cn/prescriptive-guidance/latest/patterns/migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws.html) | 迁移主管 | 

### 将 CDP 迁移到 AWS
<a name="migrate-cdp-to-aws"></a>


| Task | 说明 | 所需技能 | 
| --- | --- | --- | 
| 使用 Cloudera 工作负载管理器迁移 dev/test 环境的第一个工作负载。 | 您的 SI 可以帮助您将第一个工作负载迁移到 AWS Cloud。这应该是一个不面向客户或任务关键型作业的应用程序。理想的 dev/test 迁移对象是具有云端可以轻松摄取的数据的应用程序，例如 CDP 数据工程工作负载。这是一种瞬态工作负载，访问它的用户通常较少，而持久工作负载（例如 CDP 数据仓库工作负载）可能有许多需要不间断访问的用户。数据工程工作负载不是持久的，这可以最大限度地减少出现问题时对业务的影响。然而，这些工作对于生产报告可能至关重要，因此首先优先考虑影响较小的数据工程工作负载。 | 迁移主管 | 
| 根据需要重复迁移的步骤。 | Cloudera Workload Manager 可以帮助识别最适合云端的工作负载。它提供诸如云性能评级、目标环境 sizing/capacity 计划和复制计划等指标。迁移的最佳选择是季节性工作负载、临时报告和不消耗大量资源的间歇性工作。Cloudera Replication Manager 将数据从本地移动至云端，以及从云端移动到本地。使用工作负载管理器主动优化数据仓库、数据工程和机器学习的工作负载、应用程序、性能和基础设施容量。有关如何实现数据仓库现代化的完整指南，请参阅 [Cloudera 网站](https://www.cloudera.com/content/dam/www/marketing/resources/webinars/modern-data-warehouse-fundamentals.png.landing.html)。 | Cloudera SME | 

## 相关资源
<a name="migrate-on-premises-cloudera-workloads-to-cloudera-data-platform-on-aws-resources"></a>

Cloudera 文档：
+ [通过 CDP、Cloudera Manager 和 Replication Manager 注册经典集群：](https://docs.cloudera.com/replication-manager/cloud/operations/topics/rm-requirements-for-bdr-cdh-clusters.html)
  + [管理控制台](https://docs.cloudera.com/management-console/cloud/overview/topics/mc-management-console.html)
  + [Replication Manager Hive 复制](https://docs.cloudera.com/replication-manager/cloud/core-concepts/topics/rm-replication-of-data-using-hive.html)
+ [Sentry 复制](https://docs.cloudera.com/replication-manager/cloud/core-concepts/topics/rm-sentry-policy-replication.html) 
+ [Sentry 权限](https://docs.cloudera.com/replication-manager/cloud/core-concepts/topics/rm-sentry-ranger-permissions.html)
+ [Data Hub 集群规划清单](https://docs.cloudera.com/data-hub/cloud/cluster-planning/topics/dh-cluster-checklist.html)
+ [Workload Manager 架构](https://docs.cloudera.com/workload-manager/cloud/configuration/topics/wm-public-architecture-wm.html)
+ [Replication Manager 要求](https://docs.cloudera.com/replication-manager/cloud/index.html)
+ [Cloudera 数据平台可观测性](https://www.cloudera.com/products/observability.html)
+ [AWS 要求](https://docs.cloudera.com/cdp-public-cloud/cloud/requirements-aws/topics/mc-requirements-aws.html)

AWS 文档：
+ [云数据迁移](https://aws.amazon.com/cloud-data-migration/)