本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # 使用 Percona XtraBackup、Amazon EFS 和 Amazon S3 將內部部署 MySQL 資料庫遷移至 Aurora MySQL *Rohan Jamadagni、Udayasimha Theepireddy 和 Sajith menon，Amazon Web Services* ## 總結 此模式說明如何使用 Percona XtraBackup，有效率地將大型內部部署 MySQL 資料庫遷移至 Amazon Aurora MySQL。Percona XtraBackup 是 MySQL 型伺服器的開放原始碼、非封鎖備份公用程式。模式顯示如何使用 Amazon Elastic File System (Amazon EFS) 減少將備份上傳至 Amazon Simple Storage Service (Amazon S3) 的時間，並將備份還原至 Amazon Aurora MySQL。模式也提供如何進行增量 Percona 備份的詳細資訊，以將要套用至目標 Aurora MySQL 資料庫的二進位日誌數目降至最低。  ## 先決條件和限制 **先決條件** + 作用中的 AWS 帳戶 + 建立 AWS Identity and Access Management (IAM) 角色和政策的許可 + 內部部署 MySQL 資料庫與 AWS 虛擬私有雲端 (VPC) 之間的網路連線 **限制** + 來源伺服器必須是 Linux 系統，可以安裝網路檔案系統 (NFS) 用戶端 (nfs-utils/nfs-common)。 + 用於上傳備份檔案的 S3 儲存貯體僅支援伺服器端加密 (SSE-S3/SSE-KMS)。 + Amazon S3 會將備份檔案的大小限制為 5 TB。如果您的備份檔案超過 5 TB，您可以將其分割成多個較小的檔案。 + 上傳至 S3 儲存貯體的來源檔案數目不能超過一百萬個檔案。 + 模式僅支援 Percona XtraBackup 完整備份和增量備份。它不支援使用 `--tables`、`--tables-exclude`、`--tables-file``--databases`、`--databases-exclude`、 或 的部分備份`--databases-file`。 + Aurora 不會從來源 MySQL 資料庫還原使用者、函數、預存程序或時區資訊。 **產品版本** + 來源資料庫必須是 MySQL 5.5、5.6 或 5.7 版。 + 對於 MySQL 5.7，您必須使用 Percona XtraBackup 2.4。 + 對於 MySQL 5.6 和 5.6，您必須使用 Percona XtraBackup 2.3 或 2.4。 ## Architecture **來源技術堆疊** + Linux 作業系統 + MySQL 伺服器 + Percona XtraBackup **目標技術堆疊** + Amazon Aurora + Amazon S3 + Amazon EFS **目標架構** ![\[使用 Percona XtraBackup 將大型 MySQL 資料庫遷移至 Amazon Aurora MySQL 的架構。\]](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/images/pattern-img/bf327776-bafd-484d-9ae2-a6f5c8af6edd/images/7a410539-1511-4106-90e2-8c0c8e95f92b.png) ## 工具 *AWS 服務* + [Amazon Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraMySQL.html) 是全受管關聯式資料庫引擎，可讓您輕鬆且符合成本效益地設定、操作和擴展 MySQL 部署。Aurora MySQL 是 MySQL 的下拉式選單。 + [Amazon Elastic File System (Amazon EFS)](https://docs.aws.amazon.com/efs/latest/ug/whatisefs.html) 可協助您在 AWS 雲端中建立和設定共用檔案系統。 + [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) 是一種雲端型物件儲存服務，可協助您儲存、保護和擷取任何數量的資料。 **其他工具** + [Percona XtraBackup](https://www.percona.com/doc/percona-xtrabackup/2.4/index.html) 是一種開放原始碼公用程式，可執行 MySQL 資料庫的串流、壓縮和增量備份，而不會中斷或封鎖資料庫。 ## 史詩 ### 建立 Amazon EFS 檔案系統 | 任務 | Description | 所需的技能 | | --- | --- | --- | | 建立安全群組以與 Amazon EFS 掛載目標建立關聯。 | 在 VPC 中建立安全群組，該安全群組使用透過 AWS Transit Gateway 連接至現場部署資料庫的 VPN 連接進行設定。如需此和其他案例所述命令和步驟的詳細資訊，請參閱此模式結尾的「相關資源」一節中的連結。 | AWS DevOps/資料庫管理員 | | 編輯安全群組規則。 | 新增傳入規則，使用類型 NFS、連接埠 2049 和現場部署資料庫伺服器的 IP 範圍做為來源。根據預設，傳出規則允許所有流量離開。如果不是這種情況 ，請新增傳出規則以開啟 NFS 連接埠的連線。新增另外兩個傳入規則：連接埠 2049 （來源：相同安全群組的安全群組 ID) 和連接埠 22 （來源：IP 範圍，您將從中連線至 EC2 執行個體）。 | AWS DevOps/資料庫管理員 | | 建立檔案系統。 | 在掛載目標中，使用您在上一個案例中建立的 VPC 和安全群組。根據內部部署資料庫的 I/O 需求，選擇輸送量模式和效能。或者，啟用靜態加密。 | AWS DevOps/資料庫管理員 | ### 掛載檔案系統 | 任務 | Description | 所需的技能 | | --- | --- | --- | | 建立要與 EC2 執行個體建立關聯的 IAM 執行個體描述檔角色。 | 建立具有在 Amazon S3 中上傳和存取物件許可的 IAM 角色。選擇將備份儲存為政策資源的 S3 儲存貯體。 | AWS DevOps | | 建立 EC2 執行個體。 | 啟動以 Linux 為基礎的 EC2 執行個體，並連接您在上一個步驟中建立的 IAM 執行個體描述檔角色，以及您先前建立的安全群組。 | AWS DevOps | | 安裝 NFS 用戶端。 | 在內部部署資料庫伺服器和 EC2 執行個體上安裝 NFS 用戶端。如需安裝說明，請參閱「其他資訊」一節。 | DevOps | | 掛載 Amazon EFS 檔案系統。 | 在內部部署和 EC2 執行個體上掛載 Amazon EFS 檔案系統。在每個伺服器上，建立用於存放備份的目錄，並使用掛載目標端點掛載檔案系統。如需範例，請參閱「其他資訊」一節。 | DevOps | ### 進行 MySQL 來源資料庫的備份 | 任務 | Description | 所需的技能 | | --- | --- | --- | | 安裝 Percona XtraBackup。 | 在內部部署資料庫伺服器上安裝 Percona XtraBackup 2.3 或 2.4 （取決於 MySQL 資料庫的版本）。如需安裝連結，請參閱「相關資源」一節。 | 資料庫管理員 | | 計算來源資料庫中的結構描述和資料表。 | 收集並記下來源 MySQL 資料庫中的結構描述和物件數量。遷移後，您將使用這些計數來驗證 Aurora MySQL 資料庫。 | 資料庫管理員 | | （選用） 記下來源資料庫的最新二進位日誌序列。 | 如果您想要在來源資料庫和 Aurora MySQL 之間建立二進位日誌複寫，以將停機時間降至最低，請執行此步驟。必須啟用 log-bin，且 server\$1id 必須是唯一的。請記下來源資料庫中目前的二進位日誌序列，就在啟動備份之前。如果您打算僅使用完整備份，請在完整備份之前執行此步驟。如果您打算在完整備份之後進行增量備份，請在 Aurora MySQL 資料庫執行個體上還原的最終增量備份之前執行此步驟。 | 資料庫管理員 | | 啟動來源 MySQL 資料庫的完整備份。 | 使用 Percona XtraBackup 完整備份 MySQL 來源資料庫。如需完整和增量備份的範例命令，請參閱「其他資訊」一節。 | 資料庫管理員 | | （選用） 使用 Percona XtraBackup 進行增量備份。 | 增量備份可用來減少您需要套用的二進位日誌數量，以便將來源資料庫與 Aurora MySQL 同步。大型和交易密集型資料庫可能會在備份期間產生大量二進位日誌。透過取得增量備份並將其儲存在共用的 Amazon EFS 檔案系統上，您可以大幅縮短備份和上傳資料庫的時間。如需詳細資訊，請參閱「其他資訊」一節。繼續進行增量備份，直到您準備好開始遷移至 Aurora。 | 資料庫管理員 | | 準備備份。 | 在此步驟中，交易日誌會套用至備份期間進行中交易的備份。繼續將交易日誌 （僅限 --apply-log-only) 套用至每個增量備份，以合併備份，但上次備份除外。如需範例，請參閱「其他資訊」一節。在此步驟之後，完整的合併備份將以 \$1//fullbackup 顯示。 | 資料庫管理員 | | 壓縮並分割最終合併的備份。 | 在您準備最終的合併備份之後，請使用 tar、zip 和 split 命令來建立較小的備份壓縮檔案。如需範例，請參閱「其他資訊」一節。 | 資料庫管理員 | ### 將備份還原至 Aurora MySQL 資料庫叢集 | 任務 | Description | 所需的技能 | | --- | --- | --- | | 將備份上傳至 Amazon S3。 | 存放備份檔案的 Amazon EFS 檔案系統會同時掛載在現場部署資料庫和 EC2 執行個體上，因此備份檔案隨時可供 EC2 執行個體使用。使用 Secure Shell (SSH) 連線至 EC2 執行個體，並將壓縮的備份檔案上傳至新的或現有的 S3 儲存貯體；例如：aws s3 sync \$1//fullbackup s3：///fullbackup。如需其他詳細資訊，請參閱「相關資源」一節中的連結。 | AWS DevOps | | 為 Aurora 建立服務角色以存取 Amazon S3。 | 使用信任 "rds.amazonaws.com" 和政策建立 IAM 角色，讓 Aurora 存取存放備份檔案的 S3 儲存貯體。所需的許可為 ListBucket、GetObject 和 GetObjectVersion。 | AWS DevOps | | 建立 Aurora 的聯網組態。 | 建立具有至少兩個可用區域的叢集資料庫子網路群組，以及允許傳出連線至來源資料庫的子網路路由表組態。建立安全群組，允許對外連線至現場部署資料庫，並允許管理員連線至 Aurora 資料庫叢集。如需詳細資訊，請參閱「相關資源」一節中的連結。 | AWS DevOps/資料庫管理員 | | 將備份還原至 Aurora MySQL 資料庫叢集。 | 從您上傳至 Amazon S3 的備份還原資料。指定來源資料庫的 MySQL 版本、提供上傳備份檔案的 S3 儲存貯體名稱和資料夾路徑字首 （例如「其他資訊」區段中的範例為「完整備份」)，並提供您建立的 IAM 角色，以授權 Aurora 存取 Amazon S3。 | AWS DevOps/資料庫管理員 | | 驗證 Aurora MySQL 資料庫。 | 根據從來源資料庫取得的計數，驗證還原的 Aurora 資料庫叢集中的結構描述和物件計數。 | 資料庫管理員 | | 設定 binlog 複寫。 | 在進行還原至 Aurora 資料庫叢集的最後一個備份之前，請使用您先前記下的二進位日誌序列。在來源資料庫上建立複寫使用者，並遵循「其他資訊」一節中的指示提供適當的權限、在 Aurora 上啟用複寫，並確認複寫是同步的。 | AWS DevOps/資料庫管理員 | ## 相關資源 **建立 Amazon EFS 檔案系統** + [建立安全群組](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_SecurityGroups.html#CreatingSecurityGroups) (Amazon VPC 文件） + [傳輸閘道 VPN 連接](https://docs.aws.amazon.com/vpc/latest/tgw/tgw-vpn-attachments.html) (Amazon VPC 文件） + [使用 AWS Transit Gateway 擴展 VPN 輸送量](https://aws.amazon.com/blogs/networking-and-content-delivery/scaling-vpn-throughput-using-aws-transit-gateway/) （網路與內容交付部落格） + [建立 Amazon EFS 檔案系統](https://docs.aws.amazon.com/efs/latest/ug/efs-onpremises.html#wt5-step1-efs) (Amazon EFS 文件） + [建立掛載目標](https://docs.aws.amazon.com/efs/latest/ug/accessing-fs.html) (Amazon EFS 文件） + [加密靜態資料 ](https://docs.aws.amazon.com/efs/latest/ug/encryption-at-rest.html)(Amazon EFS 文件） **掛載檔案系統** + [Amazon EC2 的 IAM 角色](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/iam-roles-for-amazon-ec2.html) (Amazon EC2 文件) + [啟動 Amazon EC2 Linux 執行個體 ](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EC2_GetStarted.html#ec2-launch-instance)(Amazon EC2 文件） + [安裝 NFS 用戶端 ](https://docs.aws.amazon.com/efs/latest/ug/efs-onpremises.html#wt5-step4-install-nfs)(Amazon EFS 文件） + [在內部部署用戶端上掛載 Amazon EFS 檔案系統 ](https://docs.aws.amazon.com/efs/latest/ug/efs-onpremises.html#wt5-step3-connect)(Amazon EFS 文件） + [掛載 EFS 檔案系統](https://docs.aws.amazon.com/efs/latest/ug/mounting-fs.html) (Amazon EFS 文件） **進行 MySQL 來源資料庫的備份** + [安裝 Percona XtraBackup 2.3](https://www.percona.com/doc/percona-xtrabackup/2.3/installation.html) (Percona XtraBackup 文件） + [安裝 Percona XtraBackup 2.4](https://www.percona.com/doc/percona-xtrabackup/2.4/installation.html) (Percona XtraBackup 文件）  + [設定複寫主組態 ](https://dev.mysql.com/doc/refman/5.7/en/replication-howto-masterbaseconfig.html)(MySQL 文件） + [將資料從外部 MySQL 資料庫遷移至 Aurora MySQL 資料庫叢集 ](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Migrating.ExtMySQL.html)(Aurora 文件） + [增量備份](https://www.percona.com/doc/percona-xtrabackup/2.4/backup_scenarios/incremental_backup.html) (Percona XtraBackup 文件） **將備份還原至 Amazon Aurora MySQL** + [建立儲存貯](https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingBucket.html#create-bucket-intro)體 (Amazon S3 文件） + [使用 SSH 連線至 Linux 執行個體](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AccessingInstancesLinux.html) (Amazon Ec2 文件） + [設定 AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-configure.html) (AWS CLI 文件） + [sync 命令](https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html) (AWS CLI 命令參考） + [建立 IAM 政策以存取 Amazon S3 資源](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Integrating.Authorizing.IAM.S3CreatePolicy.html) (Aurora 文件） + [資料庫叢集先決條件 ](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.CreateInstance.html#Aurora.CreateInstance.Prerequisites)(Aurora 文件） + [使用資料庫子網路群組 ](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/USER_VPC.WorkingWithRDSInstanceinaVPC.html#USER_VPC.Subnets)(Aurora 文件） + [為私有資料庫執行個體建立 VPC 安全群組](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/CHAP_Tutorials.WebServerDB.CreateVPC.html#CHAP_Tutorials.WebServerDB.CreateVPC.SecurityGroupDB) (Aurora 文件） + [從 S3 儲存貯體還原 Aurora MySQL 資料庫叢集](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Migrating.ExtMySQL.html#AuroraMySQL.Migrating.ExtMySQL.S3.Restore) (Aurora 文件） + [使用 MySQL 或其他 Aurora 資料庫叢集設定複寫 ](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Replication.MySQL.html#AuroraMySQL.Replication.MySQL.SettingUp)(Aurora 文件） + [mysql.rds\$1set\$1external\$1master 程序](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/mysql_rds_set_external_master.html) (Amazon RDS SQL 上的 MySQL 參考） + [mysql.rds\$1start\$1replication 程序](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/mysql_rds_start_replication.html) (Amazon RDS SQL 上的 MySQL 參考） **其他參考** + [將資料從外部 MySQL 資料庫遷移至 Aurora MySQL 資料庫叢集 ](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Migrating.ExtMySQL.html)(Aurora 文件） + [MySQL 伺服器下載 ](https://downloads.mysql.com/archives/community/)(Oracle 網站） **教學課程和影片** +  [使用 Amazon S3 將 MySQL 資料遷移至 Aurora MySQL 資料庫叢集 ](https://aws.amazon.com/premiumsupport/knowledge-center/migrate-mysql-aurora-innobackup/)(AWS 知識中心） +  [Amazon EFS 設定和掛載](https://www.youtube.com/watch?v=NR8rVsSn_dY) （影片） ## 其他資訊 **安裝 NFS 用戶端** + 如果您使用的是 Red Hat 或類似的 Linux 作業系統，請使用 命令：  ``` $ sudo yum -y install nfs-utils ``` + 如果您使用的是 Ubuntu 或類似的 Linux 作業系統，請使用 命令：  ``` $ sudo apt-get -y install nfs-common ``` 如需詳細資訊，請參閱 Amazon EFS 文件中的[逐步解說](https://docs.aws.amazon.com/efs/latest/ug/efs-onpremises.html#wt5-step4-install-nfs)。 **掛載 Amazon EFS 檔案系統** 使用 命令： ``` mkdir ~/ $ sudo mount -t nfs -o nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport mount-target-IP:/ ~/ ``` 如需詳細資訊，請參閱 Amazon EFS 文件中的[逐步解說](https://docs.aws.amazon.com/efs/latest/ug/efs-onpremises.html#wt5-step3-connect)和掛載 EFS 檔案系統。 [ EFS ](https://docs.aws.amazon.com/efs/latest/ug/mounting-fs.html) **進行 MySQL 來源資料庫的備份** *完整備份* 使用類似下列的命令，它會進行備份、壓縮，並將其分割成每個 1 GB 的較小區塊： ``` xtrabackup --backup --user=dbuser --password= --binlog-info=AUTO --stream=tar --target-dir=~//fullbackup | gzip - | split -d --bytes=1024MB - ~//fullbackup/backup.tar.gz & ``` 如果您打算在完整備份之後進行後續增量備份，請勿壓縮和分割備份。請改用類似以下的命令： ``` xtrabackup --backup --user=dbuser --password= --target-dir=~//fullbackup/ ``` *增量備份* 使用 `--incremental-basedir` 參數的完整備份路徑；例如： ``` xtrabackup --backup --user=dbuser --password= --target-dir=~//incremental/backupdate --incremental-basedir=~//fullbackup ``` 其中 *basedir* 是完整備份和 xtrabackup\$1checkpoints 檔案的路徑。 如需進行備份的詳細資訊，請參閱 [Aurora 文件中的將資料從外部 MySQL 資料庫遷移至 Amazon Aurora MySQL 資料庫叢集](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Migrating.ExtMySQL.html)。 **準備備份** 若要準備完整備份： ``` xtrabackup --prepare --apply-log-only --target-dir=~//fullbackup ``` 若要準備增量備份： ``` xtrabackup --prepare --apply-log-only --target-dir=~//fullbackup --incremental-dir=~//incremental/06062020 ``` 若要準備最終備份： ``` xtrabackup --prepare --target-dir=~//fullbackup --incremental-dir=~//incremental/06072020 ``` 如需詳細資訊，請參閱 Percona XtraBackup 文件中的[增量備份](https://www.percona.com/doc/percona-xtrabackup/2.4/backup_scenarios/incremental_backup.html)。 **壓縮和分割合併的備份** 若要壓縮位於 \$1//fullbackup 的合併備份： ``` tar -zcvf ~//fullbackup ``` 若要分割備份： ``` split -d -b1024M --verbose ``` **設定 binlog 複寫** 若要在來源資料庫上建立複寫使用者並提供適當的權限： ``` CREATE USER 'repl_user'@'' IDENTIFIED BY ''; GRANT REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'repl_user'@''; ``` 若要透過連線至 Aurora 資料庫叢集在 Aurora 上啟用複寫，請在資料庫叢集參數群組中啟用二進位日誌。Set `binlog_format = mixed`（偏好混合模式）。此變更需要您重新啟動執行個體才能套用更新。 ``` CALL mysql.rds_set_external_master ('sourcedbinstanceIP', sourcedbport, 'repl_user', '', 'binlog_file_name', binlog_file_position, 0); CALL mysql.rds_start_replication; ``` 若要確認複寫是同步的： ``` SHOW Slave Status \G; ``` **主欄位後面的秒**數會顯示 Aurora 與內部部署資料庫的距離。