本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
# 使用來自 Precisely 的 Connect 將 VSAM 檔案遷移和複寫至 Amazon RDS 或 Amazon MSK
*Prachi Khanna 和 Bopath GOPALSAMY，Amazon Web Services*
## 總結
此模式說明如何使用 Connect [https://www.precisely.com/product/precisely-connect/connect](https://www.precisely.com/product/precisely-connect/connect) from Precisely，將虛擬儲存存取方法 (VSAM) 檔案從大型主機遷移並複寫至 AWS 雲端中的目標環境。此模式涵蓋的目標環境包括 Amazon Relational Database Service (Amazon RDS) 和 Amazon Managed Streaming for Apache Kafka (Amazon MSK)。Connect 使用[變更資料擷取 (CDC)](https://www.precisely.com/resource-center/productsheets/change-data-capture-with-connect) 持續監控來源 VSAM 檔案的更新，然後將這些更新傳輸到一或多個 AWS 目標環境。您可以使用此模式來滿足您的應用程式現代化或資料分析目標。例如，您可以使用 Connect 將 VSAM 應用程式檔案遷移至低延遲的 AWS 雲端，或將 VSAM 資料遷移至 AWS 資料倉儲或資料湖進行分析，以容忍高於應用程式現代化所需的同步延遲。
## 先決條件和限制
**先決條件**
+ [IBM z/OS V2R1](https://www-40.ibm.com/servers/resourcelink/svc00100.nsf/pages/zosv2r1-pdf-download?OpenDocument) 或更新版本
+ [適用於 z/OS 的 CICS 交易伺服器 (CICS TS) V5.1](https://www.ibm.com/support/pages/cics-transaction-server-zos-51-detailed-system-requirements) 版或更新版本 (CICS/VSAM 資料擷取）
+ [IBM MQ 8.0](https://www.ibm.com/support/pages/downloading-ibm-mq-80) 或更新版本
+ 符合 [z/OS 安全要求](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Installation/Install-Connect-CDC-SQData-on-zOS/Prerequisites-for-z/OS/Security-authorization-requirements-for-z/OS) （例如 SQData 載入程式庫的 APF 授權）
+ VSAM 復原日誌已開啟
+ （選用） [CICS VSAM 復原版本 (CICS VR)](https://www.ibm.com/docs/en/cics-vr/5.1?topic=started-introducing-cics-vr) 以自動擷取 CDC 日誌
+ 作用中的 AWS 帳戶
+ [Amazon Virtual Private Cloud (VPC)](https://docs.aws.amazon.com/vpc/latest/userguide/vpc-getting-started.html)，具有傳統平台可存取的子網路
+ 來自 Precisely 的 VSAM Connect 授權
**限制**
+ Connect 不支援根據來源 VSAM 結構描述或複製手冊自動建立目標資料表。您必須首次定義目標資料表結構。
+ 對於非串流目標，例如 Amazon RDS，您必須在套用引擎組態指令碼中指定目標映射的轉換來源。
+ 記錄、監控和提醒功能是透過 APIs且需要外部元件 （例如 Amazon CloudWatch) 才能完全運作。
**產品版本**
+ z/OS 的 SQData 40134
+ Amazon Elastic Compute Cloud (Amazon EC2) 上 Amazon Linux Amazon Machine Image (AMI) 的 SQData 4.0.43
## Architecture
**來源技術堆疊**
+ 任務控制語言 (JCL)
+ z/OS Unix shell 和互動式系統生產力設施 (ISPF)
+ VSAM 公用程式 (IDCAMS)
**目標技術堆疊**
+ Amazon EC2
+ Amazon MSK
+ Amazon RDS
+ Amazon VPC
**目標架構**
*將 VSAM 檔案遷移至 Amazon RDS*
下圖顯示如何在來源環境 （內部部署大型主機） 中使用 CDC 代理程式/發佈者，以及在目標環境 (AWS 雲端） 中使用[套用引擎](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Apply-engine)，即時或近乎即時地將 VSAM 檔案遷移至關聯式資料庫，例如 Amazon RDS。
下圖顯示下列批次工作流程：
1. Connect 會比較備份檔案中的 VSAM 檔案以識別變更，然後將變更傳送至日誌串流，藉此擷取檔案的變更。
1. 發佈者會從系統日誌串流取用資料。
1. 發佈者會透過 TCP/IP 將擷取的資料變更傳達給目標引擎。Controller Daemon 會驗證來源和目標環境之間的通訊。
1. 目標環境中的套用引擎會從發佈者代理程式接收變更，並將其套用至關聯式或非關聯式資料庫。
圖表顯示下列線上工作流程：
1. Connect 會使用日誌複寫擷取線上檔案中的變更，然後將擷取的變更串流至日誌串流。
1. 發佈者會從系統日誌串流取用資料。
1. 發佈者會透過 TCP/IP 將擷取的資料變更傳達給目標引擎。控制器協助程式會驗證來源和目標環境之間的通訊。
1. 目標環境中的套用引擎會從發佈者代理程式接收變更，然後將其套用至關聯式或非關聯式資料庫。
*將 VSAM 檔案遷移至 Amazon MSK*
下圖顯示如何在高效能模式下將 VSAM 資料結構從大型主機串流至 Amazon MSK，並自動產生與 Amazon MSK 整合的 JSON 或 AVRO 結構描述轉換。
下圖顯示下列批次工作流程：
1. Connect 使用 CICS VR 或比較備份檔案的 VSAM 檔案來識別變更，以擷取檔案的變更。擷取的變更會傳送至日誌串流。
1. 發佈者會從系統日誌串流取用資料。
1. 發佈者會透過 TCP/IP 將擷取的資料變更傳達給目標引擎。控制器協助程式會驗證來源和目標環境之間的通訊。
1. 在平行處理模式下操作的複寫器引擎會將資料分割為工作快取單位。
1. 工作者執行緒會從快取擷取資料。
1. 資料會從工作者執行緒發佈至 Amazon MSK 主題。
1. 使用者使用[連接器](https://docs.aws.amazon.com/msk/latest/developerguide/msk-connect-connectors.html)，將 Amazon MSK 的變更套用至 Amazon DynamoDB、Amazon Simple Storage Service (Amazon S3) 或 Amazon OpenSearch Service 等目標。
圖表顯示下列線上工作流程：
1. 使用日誌複寫擷取線上檔案中的變更。擷取的變更會串流至日誌串流。
1. 發佈者會從系統日誌串流取用資料。
1. 發佈者會透過 TCP/IP 將擷取的資料變更傳達給目標引擎。控制器協助程式會驗證來源和目標環境之間的通訊。
1. 在平行處理模式下操作的複寫器引擎會將資料分割為工作快取單位。
1. 工作者執行緒會從快取擷取資料。
1. 資料會從工作者執行緒發佈至 Amazon MSK 主題。
1. 使用者使用[連接器](https://docs.aws.amazon.com/msk/latest/developerguide/msk-connect-connectors.html)將 Amazon MSK 的變更套用到 DynamoDB、Amazon S3 或 OpenSearch Service 等目標。
## 工具
+ [Amazon Managed Streaming for Apache Kafka (Amazon MSK)](https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html) 是一項全受管服務，可協助您建置和執行使用 Apache Kafka 處理串流資料的應用程式。
+ [Amazon Relational Database Service (Amazon RDS)](https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Welcome.html) 可協助您在 AWS 雲端中設定、操作和擴展關聯式資料庫。
## 史詩
### 準備來源環境 （大型主機）
| 任務 | Description | 所需的技能 |
| --- | --- | --- |
| 安裝 Connect CDC 4.1。 | [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | IBM 大型主機開發人員/管理員 |
| 設定 zFS 目錄。 | 若要設定 zFS 目錄，請遵循精確文件中 [zFS 變數目錄](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Installation/Install-Connect-CDC-SQData-on-zOS/Prerequisites-for-z/OS/Security-authorization-requirements-for-z/OS/zFS-variable-directories)的指示。控制器協助程式和擷取/發佈代理程式組態存放在 z/OS UNIX Systems Services 檔案系統中 （稱為 zFS)。Controller Daemon、Capture、Storage 和 Publisher 代理程式需要預先定義的 zFS 目錄結構，才能存放少量檔案。 | IBM 大型主機開發人員/管理員 |
| 設定 TCP/IP 連接埠。 | 若要設定 TCP/IP 連接埠，請遵循精確文件中 [TCP/IP 連接埠](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Installation/Install-Connect-CDC-SQData-on-UNIX/Prerequisites-for-UNIX/Security-authorization-requirements-for-UNIX/TCP/IP-ports)的指示。Controller Daemon 需要來源系統的 TCP/IP 連接埠。引擎會在目標系統上參考連接埠 （其中處理擷取的變更資料）。 | IBM 大型主機開發人員/管理員 |
| 建立 z/OS 日誌串流。 | 若要建立 [z/OS 日誌串流](https://www.ibm.com/docs/en/was/8.5.5?topic=SSEQTP_8.5.5/com.ibm.websphere.installation.zseries.doc/ae/cins_logstrm.html)，請遵循精確文件中[建立 z/OS 系統 logStreams](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Setup-and-configure-sources/IMS-z/OS/IMS-TM-EXIT-capture/Prepare-environment/Create-z/OS-system-logStreams?tocId=wy6243SXlIiEczwR8JE8WA) 的指示。Connect 使用 logstream 在遷移期間擷取和串流來源環境和目標環境之間的資料。
如需建立 z/OS LogStream 的範例 JCL，請參閱精確文件中的[建立 z/OS 系統 logStreams](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Setup-and-configure-sources/IMS-z/OS/IMS-TM-EXIT-capture/Prepare-environment/Create-z/OS-system-logStreams?tocId=wy6243SXlIiEczwR8JE8WA)。 | IBM 大型主機開發人員 |
| 識別並授權 zFS 使用者和已啟動任務IDs。 | 使用 RACF 授予 OMVS zFS 檔案系統的存取權。如需範例 JCL，請參閱精確文件中的[識別和授權 zFS 使用者和啟動的任務 IDs](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Setup-and-configure-sources/IMS-z/OS/IMS-log-reader-capture/Prepare-environment/Identify-and-authorize-zFS-user-and-started-task-IDs?tocId=MrBXpFu~N0iAy~8VTrH0tQ)。 | IBM 大型主機開發人員/管理員 |
| 產生 z/OS 公有/私有金鑰和授權金鑰檔案。 | 執行 JCL 以產生金鑰對。如需範例，請參閱此模式*額外資訊*區段中的*金鑰對範例*。
如需說明，請參閱精確文件中的[產生 z/OS 公有和私有金鑰和授權金鑰檔案](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Setup-and-configure-sources/Db2-z/OS/Prepare-the-environment/Generate-z/OS-public-and-private-keys-and-authorized-key-file?tocId=fceE77dWT8smZsSaE~FeMQ)。 | IBM 大型主機開發人員/管理員 |
| 啟用 CICS VSAM Log Replicate 並將其連接至日誌串流。 | 執行下列 JCL 指令碼： //STEP1 EXEC PGM=IDCAMS
//SYSPRINT DD SYSOUT=*
//SYSIN DD *
ALTER SQDATA.CICS.FILEA -
LOGSTREAMID(SQDATA.VSAMCDC.LOG1) -
LOGREPLICATE
| IBM 大型主機開發人員/管理員 |
| 透過 FCT 啟用 VSAM 檔案復原日誌。 | 修改檔案控制表 (FCT)，以反映下列參數變更： Configure FCT Parms
CEDA ALT FILE(name) GROUP(groupname)
DSNAME(data set name)
RECOVERY(NONE|BACKOUTONLY|ALL)
FWDRECOVLOG(NO|1–99)
BACKUPTYPE(STATIC|DYNAMIC)
RECOVERY PARAMETERS
RECOVery : None | Backoutonly | All
Fwdrecovlog : No | 1-99
BAckuptype : Static | Dynamic
| IBM 大型主機開發人員/管理員 |
| 設定發佈者代理程式的 CDCzLog。 | [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | IBM 大型主機開發人員/管理員 |
| 啟用控制器協助程式。 | [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | IBM 大型主機開發人員/管理員 |
| 啟用發佈者。 | [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | IBM 大型主機開發人員/管理員 |
| 啟用 logstream。 | [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | IBM 大型主機開發人員/管理員 |
### 準備目標環境 (AWS)
| 任務 | Description | 所需的技能 |
| --- | --- | --- |
| 在 EC2 執行個體上精確安裝 。 | 若要在 Amazon EC2 的 Amazon Linux AMI 上從 Precisely 安裝 Connect，請遵循 Precisely 文件中 [UNIX 上的 Install Connect CDC (SQData)](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Installation/Install-Connect-CDC-SQData-on-UNIX) 的指示。 | 一般 AWS |
| 開啟 TCP/IP 連接埠。 | 若要修改安全群組以包含用於傳入和傳出存取的控制器協助程式連接埠，請遵循精確文件中 [TCP/IP](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Setup-and-configure-sources/Change-data-capture/Transient-storage-and-publishing/TCP/IP) 的指示。 | 一般 AWS |
| 建立檔案目錄。 | 若要建立檔案目錄，請遵循 Precisely 文件中[準備目標套用環境](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Setup-and-configure-targets/Kafka/Prepare-target-apply-environment)的指示。 | 一般 AWS |
| 建立 Apply Engine 組態檔案。 | 在 Apply Engine 的工作目錄中建立 Apply Engine 組態檔案。下列範例組態檔案顯示 Apache Kafka 為目標：builtin.features=SASL_SCRAM
security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
sasl.username=
sasl.password=
metadata.broker.list=
如需詳細資訊，請參閱 Apache Kafka 文件中[的安全性](https://kafka.apache.org/documentation/#security)。 | 一般 AWS |
| 建立套用引擎處理的指令碼。 | 建立套用引擎的指令碼，以處理來源資料並將來源資料複寫至目標。如需詳細資訊，請參閱精確文件中[的建立套用引擎指令碼](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Apply-engine/Apply-engine-script-development/Create-an-apply-engine-script)。 | 一般 AWS |
| 執行指令碼。 | 使用 `SQDPARSE`和 `SQDENG`命令來執行指令碼。如需詳細資訊，請參閱精確說明文件中[剖析 zOS 的指令碼](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Apply-engine/Apply-engine-script-development/Parse-a-script/Parse-a-script-for-zOS)。 | 一般 AWS |
### 驗證環境
| 任務 | Description | 所需的技能 |
| --- | --- | --- |
| 驗證用於 CDC 處理的 VSAM 檔案和目標資料表清單。 | [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | 一般 AWS、大型主機 |
| 確認 Connect CDC SQData 產品已連結。 | 執行測試任務，並確認此任務的傳回碼為 0 （成功）。Connect CDC SQData Apply Engine 狀態訊息應會顯示作用中的連線訊息。 | 一般 AWS、大型主機 |
### 執行並驗證測試案例 （批次）
| 任務 | Description | 所需的技能 |
| --- | --- | --- |
| 在大型主機中執行批次任務。 | 使用修改過的 JCL 執行批次應用程式任務。在修改後的 JCL 中包含執行下列動作的步驟：[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | 一般 AWS、大型主機 |
| 檢查日誌串流。 | 檢查 logstream 以確認您可以查看已完成大型主機批次任務的變更資料。 | 一般 AWS、大型主機 |
| 驗證來源差異變更和目標資料表的計數。 | 若要確認記錄的高度，請執行下列動作：[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | 一般 AWS、大型主機 |
### 執行並驗證測試案例 （線上）
| 任務 | Description | 所需的技能 |
| --- | --- | --- |
| 在 CICS 區域中執行線上交易。 | [See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/patterns/migrate-and-replicate-vsam-files-to-amazon-rds-or-amazon-msk-using-connect-from-precisely.html) | IBM 大型主機開發人員 |
| 檢查日誌串流。 | 確認日誌串流已填入特定的記錄層級變更。 | AWS Mainframe 開發人員 |
| 驗證目標資料庫中的計數。 | 監控 Apply Engine 的記錄層級計數。 | 精確，Linux |
| 驗證目標資料庫中的記錄計數和資料記錄。 | 查詢目標資料庫以驗證記錄計數和資料記錄。 | 一般 AWS |
## 相關資源
+ [VSAM z/OS](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Setup-and-configure-sources/VSAM-z/OS) （正確文件）
+ [套用引擎](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Apply-engine) （準確文件）
+ [複寫器引擎](https://help.precisely.com/r/Connect-CDC-SQData/4.1.43/en-US/Connect-CDC-SQData-Help/Source-and-Target-Configuration/Replicator-engine) （正確文件）
+ [日誌串流 ](https://www.ibm.com/docs/en/zos/2.3.0?topic=logger-log-stream)(IBM 文件）
## 其他資訊
**組態檔案範例**
這是日誌串流的範例組態檔案，其中來源環境是大型主機，而目標環境是 Amazon MSK：
```
-- JOBNAME -- PASS THE SUBSCRIBER NAME
-- REPORT progress report will be produced after "n" (number) of Source records processed.
JOBNAME VSMTOKFK;
--REPORT EVERY 100;
-- Change Op has been ‘I’ for insert, ‘D’ for delete , and ‘R’ for Replace. For RDS it is 'U' for update
-- Character Encoding on z/OS is Code Page 1047, on Linux and UNIX it is Code Page 819 and on Windows, Code Page 1252
OPTIONS
CDCOP('I', 'U', 'D'),
PSEUDO NULL = NO,
USE AVRO COMPATIBLE NAMES,
APPLICATION ENCODING SCHEME = 1208;
-- SOURCE DESCRIPTIONS
BEGIN GROUP VSAM_SRC;
DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
END GROUP;
-- TARGET DESCRIPTIONS
BEGIN GROUP VSAM_TGT;
DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
END GROUP;
-- SOURCE DATASTORE (IP & Publisher name)
DATASTORE cdc://10.81.148.4:2626/vsmcdct/VSMTOKFK
OF VSAMCDC
AS CDCIN
DESCRIBED BY GROUP VSAM_SRC ACCEPT ALL;
-- TARGET DATASTORE(s) - Kafka and topic name
DATASTORE 'kafka:///MSKTutorialTopic/key'
OF JSON
AS CDCOUT
DESCRIBED BY GROUP VSAM_TGT FOR INSERT;
-- MAIN SECTION
PROCESS INTO
CDCOUT
SELECT
{
SETURL(CDCOUT, 'kafka:///MSKTutorialTopic/key')
REMAP(CDCIN, account_file, GET_RAW_RECORD(CDCIN, AFTER), GET_RAW_RECORD(CDCIN, BEFORE))
REPLICATE(CDCOUT, account_file)
}
FROM CDCIN;
```
**金鑰對範例**
此範例說明如何執行 JCL 來產生金鑰對：
```
//SQDUTIL EXEC PGM=SQDUTIL //SQDPUBL DD DSN=&USER..NACL.PUBLIC, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPKEY DD DSN=&USER..NACL.PRIVATE, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPARMS DD keygen //SYSPRINT DD SYSOUT= //SYSOUT DD SYSOUT=* //SQDLOG DD SYSOUT=* //*SQDLOG8 DD DUMMY
```